(57)【要約】【課題】テレビ会議にて複数のユーザが時間的に重複する発言を行ったときに、各発言の先後関係に基づいてスムーズな会話を実現することができる通信制御装置を提供する。【解決手段】一の端末装置では、複数のユーザについて同時発言の開始および同時発言の停止が検出されると、一の会議端末にて各ユーザの発言が開始された時間差Δｔから、他の会議端末から送信されたデータのネットワーク伝送時間Ｔｂａを減算して、差分Ｈが求められる（Ｓ２０１）。差分Ｈが０以上である場合は、一の端末装置のユーザに対して発言を喚起する報知が行われる（Ｓ２０５）。差分Ｈが０未満である場合は、一の端末装置のユーザに対して発言を抑制する報知が行われる（Ｓ２０７）。【選択図】図８
2011061634.tif 000002
【特許請求の範囲】
【請求項１】
複数のユーザに関する画像データおよび音声データを含む会議データを出力して遠隔会議を実行可能な複数の端末装置にそれぞれ設けられ、前記複数の端末装置の各々で取得されるユーザに関する画像データおよび音声データを、前記複数の端末装置間で前記ネットワークを介して送受信するためのデータ通信を制御する通信制御装置であって、
前記通信制御装置が設けられる一の前記端末装置から取得された音声データに基づいて、前記一の端末装置を使用する第１ユーザの発言開始を検出する第１検出手段と、
前記ネットワークを介して他の前記端末装置から受信された音声データに基づいて、前記他の端末装置を使用する第２ユーザの発言開始を検出する第２検出手段と、
前記第１検出手段および前記第２検出手段のいずれか一方によって発言開始が検出された時点から起算した第１所定時間内に、前記第１検出手段および前記第２検出手段のいずれか他方によって発言開始が検出された場合に、同時発言の開始を認識する同時開始認識手段と、
前記同時開始認識手段によって前記同時発言の開始が認識されたのち、前記第１検出手段および前記第２検出手段のいずれか一方によって発言開始が検出された時点から起算した第２所定時間内に、前記第１ユーザの発言および前記第２ユーザの発言がいずれも未検出となった場合に、前記同時発言の停止を認識する同時停止認識手段と、
前記他の端末装置にてデータの送信に関する処理が開始される時点から起算して、前記一の端末装置にてそのデータの受信に関する処理が終了されるまでに要する時間である遅延時間を計測する遅延時間計測手段と、
前記同時停止認識手段によって前記同時発言の停止が認識された場合、前記遅延時間計測手段によって計測された前記遅延時間に基づいて、前記第１ユーザの発言開始と前記第２ユーザの発言開始との先後関係を判断する先後関係判断手段と、
前記先後関係判断手段によって判断された先後関係に基づいて、少なくとも前記一の端末装置において発言の喚起または抑制に関する報知を行う報知手段と
を備えたことを特徴とする通信制御装置。
【請求項２】
前記第１検出手段および前記第２検出手段のいずれか一方によって発言開始が検出された時点から、前記第１検出手段および前記第２検出手段のいずれか他方によって発言開始が検出されるまでの時間差を計測する時間差計測手段を備え、
前記先後関係判断手段は、
前記時間差計測手段によって計測された前記時間差が、前記遅延時間計測手段によって計測された前記遅延時間以上である場合、前記第１ユーザの発言開始は前記第２ユーザの発言開始よりも先であると判断する一方、
前記時間差計測手段によって計測された前記時間差が、前記遅延時間計測手段によって計測された前記遅延時間未満である場合、前記第１ユーザの発言開始は前記第２ユーザの発言開始よりも後であると判断することを特徴とする請求項１に記載の通信制御装置。
【請求項３】
前記遅延時間計測手段は、前記遅延時間として、前記他の端末装置から送信されるデータが前記一の端末装置に到達するまでに前記ネットワークで伝送される所要時間を計測することを特徴とする請求項１または２に記載の通信制御装置。
【請求項４】
前記遅延時間計測手段は、前記遅延時間として、前記ネットワークで伝送される所要時間と、前記他の端末装置におけるデータの符号化に要する処理時間と、前記一の端末装置におけるデータの復号化に要する処理時間との合計時間を計測することを特徴とする請求項３に記載の通信制御装置。
【請求項５】
前記報知手段は、
前記先後関係判断手段によって前記第１ユーザの発言開始が前記第２ユーザの発言開始よりも先であると判断された場合、前記第１ユーザの発言を喚起する報知を行う一方、
前記先後関係判断手段によって前記第１ユーザの発言開始が前記第２ユーザの発言開始よりも後であると判断された場合、前記第１ユーザの発言を抑制する報知を行うことを特徴とする請求項１乃至４のいずれかに記載の通信制御装置。
【請求項６】
前記報知手段は、
前記先後関係判断手段によって判断された先後関係に基づいて、さらに前記他の端末装置において発言の喚起または抑制に関する報知を行うものであって、
前記先後関係判断手段によって前記第１ユーザの発言開始が前記第２ユーザの発言開始よりも先であると判断された場合、前記他の端末装置に対して前記第２ユーザの発言を抑制する報知を実行させる信号を送信する一方、
前記先後関係判断手段によって前記第１ユーザの発言開始が前記第２ユーザの発言開始よりも後であると判断された場合、前記他の端末装置に対して前記第２ユーザの発言を喚起する報知を実行させる信号を送信することを特徴とする請求項５に記載の通信制御装置。
【請求項７】
複数のユーザに関する画像データおよび音声データを含む会議データを出力して遠隔会議を実行可能な複数の端末装置で実行され、前記複数の端末装置の各々で取得されるユーザに関する画像データおよび音声データを、前記複数の端末装置間で前記ネットワークを介して送受信するためのデータ通信を制御する通信制御方法であって、
前記通信制御方法が実行される一の前記端末装置から取得された音声データに基づいて、前記一の端末装置を使用する第１ユーザの発言開始を検出する第１検出ステップと、
前記ネットワークを介して他の前記端末装置から受信された音声データに基づいて、前記他の端末装置を使用する第２ユーザの発言開始を検出する第２検出ステップと、
前記第１検出ステップおよび前記第２検出ステップのいずれか一方によって前記第１ユーザの発言開始が検出された時点から起算した第１所定時間内に、前記第１検出ステップおよび前記第２検出ステップのいずれか他方によって前記第２ユーザの発言開始が検出された場合に、同時発言の開始を認識する同時開始認識ステップと、
前記同時開始認識ステップによって前記同時発言の開始が認識されたのち、前記第１検出ステップおよび前記第２検出ステップのいずれか一方によって前記第１ユーザの発言開始が検出された時点から起算した第２所定時間内に、前記第１ユーザの発言および前記第２ユーザの発言がいずれも未検出となった場合に、前記同時発言の停止を認識する同時停止認識ステップと、
前記他の端末装置にてデータの送信に関する処理が開始される時点から起算して、前記一の端末装置にてそのデータの受信に関する処理が終了されるまでに要する時間である遅延時間を計測する遅延時間計測ステップと、
前記同時停止認識ステップによって前記同時発言の停止が認識された場合、前記遅延時間計測ステップによって計測された前記遅延時間に基づいて、前記第１ユーザの発言開始と前記第２ユーザの発言開始との先後関係を判断する先後関係判断ステップと、
前記先後関係判断ステップによって判断された先後関係に基づいて、少なくとも前記一の端末装置において発言の喚起または抑制に関する報知を行う報知ステップと
を備えたことを特徴とする通信制御方法。
【請求項８】
複数のユーザに関する画像データおよび音声データを含む会議データを出力して遠隔会議を実行可能な複数の端末装置で実行され、前記複数の端末装置の各々で取得されるユーザに関する画像データおよび音声データを、前記複数の端末装置間で前記ネットワークを介して送受信するためのデータ通信を制御する通信制御プログラムであって、コンピュータを、
前記通信制御プログラムが実行される一の前記端末装置から取得された音声データに基づいて、前記一の端末装置を使用する第１ユーザの発言開始を検出する第１検出手段、
前記ネットワークを介して他の前記端末装置から受信された音声データに基づいて、前記他の端末装置を使用する第２ユーザの発言開始を検出する第２検出手段、
前記第１検出手段および前記第２検出手段のいずれか一方によって前記第１ユーザの発言開始が検出された時点から起算した第１所定時間内に、前記第１検出手段および前記第２検出手段のいずれか他方によって前記第２ユーザの発言開始が検出された場合に、同時発言の開始を認識する同時開始認識手段、
前記同時開始認識手段によって前記同時発言の開始が認識されたのち、前記第１検出手段および前記第２検出手段のいずれか一方によって前記第１ユーザの発言開始が検出された時点から起算した第２所定時間内に、前記第１ユーザの発言および前記第２ユーザの発言がいずれも未検出となった場合に、前記同時発言の停止を認識する同時停止認識手段、
前記他の端末装置にてデータの送信に関する処理が開始される時点から起算して、前記一の端末装置にてそのデータの受信に関する処理が終了されるまでに要する時間である遅延時間を計測する遅延時間計測手段、
前記同時停止認識手段によって前記同時発言の停止が認識された場合、前記遅延時間計測手段によって計測された前記遅延時間に基づいて、前記第１ユーザの発言開始と前記第２ユーザの発言開始との先後関係を判断する先後関係判断手段、
前記先後関係判断手段によって判断された先後関係に基づいて、少なくとも前記一の端末装置において発言の喚起または抑制に関する報知を行う報知手段
として機能させることを特徴とする通信制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信制御装置、通信制御方法および通信制御プログラムに関し、詳細には、テレビ会議においてデータの送受信を制御する通信制御装置、通信制御方法および通信制御プログラムに関する。
【背景技術】
【０００２】
従来、ユーザが存在する複数拠点に端末装置が設けられ、各端末装置をネットワーク経由で接続してテレビ会議を実行するテレビ会議システムが知られている。テレビ会議の実行時には、通信制御装置が各端末装置間のデータ送受信を制御することで、各端末装置にて複数のユーザの画像および音声がほぼ同期して出力される。このようなテレビ会議システムにおいて、複数のユーザが時間的に重複する発言を行った場合（例えば、複数のユーザが同時に発言した場合）、各ユーザがお互いに遠慮して発言を止めてしまうことがあった。この場合、テレビ会議の進行が一時的に中断されるのみならず、各ユーザは再度発言を行うべきタイミングが計りづらくなる。
【０００３】
そこで、テレビ会議にて複数のユーザが同時に発言した場合に、あらかじめ設定された優先順位に基づいて各ユーザの音声および画像を時間的にずらして出力することが提案されている（例えば、特許文献１、２参照）。また、テレビ会議にて複数のユーザが同時に発言した場合に、その発言を内容に応じて分類したり、一部のユーザの発言をテキストに変換して出力したりすることが提案されている（例えば、特許文献２参照）。これにより、各端末装置を使用するユーザは、テレビ会議で発生した同時発言の内容を容易に認識および理解することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２３２５７６号公報
【特許文献２】特開２００６−２２９９０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１および２に記載の発明では、テレビ会議にて複数のユーザが同時に発言した場合に、優先順位が低いユーザの音声および画像は、そのユーザが実際に発言したタイミングよりも遅れて出力される。すると、テレビ会議に参加するユーザが会話の流れに違和感を覚えてしまって、テレビ会議のスムーズな進行が妨げられるおそれがあった。また、優先順位があらかじめ設定されているため、テレビ会議における会話の自然な流れに合わせて発言を優先させるユーザを切り替えることができなかった。
【０００６】
本発明は、上述した課題を解決するためになされたものであり、テレビ会議にて複数のユーザが時間的に重複する発言を行ったときに、各発言の先後関係に基づいてスムーズな会話を実現することができる通信制御装置、通信制御方法および通信制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１態様に係る通信制御装置は、複数のユーザに関する画像データおよび音声データを含む会議データを出力して遠隔会議を実行可能な複数の端末装置にそれぞれ設けられ、前記複数の端末装置の各々で取得されるユーザに関する画像データおよび音声データを、前記複数の端末装置間で前記ネットワークを介して送受信するためのデータ通信を制御する通信制御装置であって、前記通信制御装置が設けられる一の前記端末装置から取得された音声データに基づいて、前記一の端末装置を使用する第１ユーザの発言開始を検出する第１検出手段と、前記ネットワークを介して他の前記端末装置から受信された音声データに基づいて、前記他の端末装置を使用する第２ユーザの発言開始を検出する第２検出手段と、前記第１検出手段および前記第２検出手段のいずれか一方によって発言開始が検出された時点から起算した第１所定時間内に、前記第１検出手段および前記第２検出手段のいずれか他方によって発言開始が検出された場合に、同時発言の開始を認識する同時開始認識手段と、前記同時開始認識手段によって前記同時発言の開始が認識されたのち、前記第１検出手段および前記第２検出手段のいずれか一方によって発言開始が検出された時点から起算した第２所定時間内に、前記第１ユーザの発言および前記第２ユーザの発言がいずれも未検出となった場合に、前記同時発言の停止を認識する同時停止認識手段と、前記他の端末装置にてデータの送信に関する処理が開始される時点から起算して、前記一の端末装置にてそのデータの受信に関する処理が終了されるまでに要する時間である遅延時間を計測する遅延時間計測手段と、前記同時停止認識手段によって前記同時発言の停止が認識された場合、前記遅延時間計測手段によって計測された前記遅延時間に基づいて、前記第１ユーザの発言開始と前記第２ユーザの発言開始との先後関係を判断する先後関係判断手段と、前記先後関係判断手段によって判断された先後関係に基づいて、少なくとも前記一の端末装置において発言の喚起または抑制に関する報知を行う報知手段とを備えている。
【０００８】
第１態様によれば、複数のユーザによる同時発言の開始および停止が認識されると、データの送受信時に発生する遅延時間に基づいて、複数のユーザの発言開始について先後関係が判断される。その判断された先後関係に基づいて、ユーザに対して発言の喚起または抑制に関する報知が行われる。これにより、テレビ会議にて複数のユーザが時間的に重複する発言を行ったときには、各ユーザの発言が現実に行われた時点の先後関係に応じた報知が行われるため、ユーザ間のスムーズな会話を実現することができる。
【０００９】
また、第１態様において、前記第１検出手段および前記第２検出手段のいずれか一方によって発言開始が検出された時点から、前記第１検出手段および前記第２検出手段のいずれか他方によって発言開始が検出されるまでの時間差を計測する時間差計測手段を備え、前記先後関係判断手段は、前記時間差計測手段によって計測された前記時間差が、前記遅延時間計測手段によって計測された前記遅延時間以上である場合、前記第１ユーザの発言開始は前記第２ユーザの発言開始よりも先であると判断する一方、前記時間差計測手段によって計測された前記時間差が、前記遅延時間計測手段によって計測された前記遅延時間未満である場合、前記第１ユーザの発言開始は前記第２ユーザの発言開始よりも後であると判断してもよい。これにより、データの送受信時に発生する遅延時間と、一の端末装置において各ユーザの発言が開始された時間差とを比較して、各ユーザの発言が現実に行われた時点の先後関係をより正確に特定することができる。
【００１０】
また、第１態様において、前記遅延時間計測手段は、前記遅延時間として、前記他の端末装置から送信されるデータが前記一の端末装置に到達するまでに前記ネットワークで伝送される所要時間を計測してもよい。これにより、ネットワークを介して複数端末間で実行されるテレビ会議において、ネットワーク遅延によって一の端末装置で出力される発言に時間差が生じる場合でも、各ユーザの発言が現実に行われた時点の先後関係をより正確に特定することができる。
【００１１】
また、第１態様において、前記遅延時間計測手段は、前記遅延時間として、前記ネットワークで伝送される所要時間と、前記他の端末装置におけるデータの符号化に要する処理時間と、前記一の端末装置におけるデータの復号化に要する処理時間との合計時間を計測してもよい。これにより、ネットワークを介して複数端末間で実行されるテレビ会議において、データ処理遅延によって一の端末装置で出力される発言に時間差が生じる場合でも、各ユーザの発言が現実に行われた時点の先後関係をより正確に特定することができる。
【００１２】
また、第１態様において、前記報知手段は、前記先後関係判断手段によって前記第１ユーザの発言開始が前記第２ユーザの発言開始よりも先であると判断された場合、前記第１ユーザの発言を喚起する報知を行う一方、前記先後関係判断手段によって前記第１ユーザの発言開始が前記第２ユーザの発言開始よりも後であると判断された場合、前記第１ユーザの発言を抑制する報知を行ってもよい。これにより、ユーザが現実に先の発言を行ったときには発言が喚起される一方、ユーザが現実に後の発言を行ったときには発言が抑制されるので、ユーザは同時発言が発生したのちに発言すべきか否かを容易に判断することができる。
【００１３】
また、第１態様において、前記報知手段は、前記先後関係判断手段によって判断された先後関係に基づいて、さらに前記他の端末装置において発言の喚起または抑制に関する報知を行うものであって、前記先後関係判断手段によって前記第１ユーザの発言開始が前記第２ユーザの発言開始よりも先であると判断された場合、前記他の端末装置に対して前記第２ユーザの発言を抑制する報知を実行させる信号を送信する一方、前記先後関係判断手段によって前記第１ユーザの発言開始が前記第２ユーザの発言開始よりも後であると判断された場合、前記他の端末装置に対して前記第２ユーザの発言を喚起する報知を実行させる信号を送信してもよい。これにより、テレビ会議にて複数のユーザが時間的に重複する発言を行ったときには、各ユーザに対して現実の発言順序に応じて発言が喚起または抑制されるので、各ユーザは同時発言が発生したのちに発言すべきか否かを容易に判断することができる。
【００１４】
本発明の第２態様に係る通信制御方法は、複数のユーザに関する画像データおよび音声データを含む会議データを出力して遠隔会議を実行可能な複数の端末装置で実行され、前記複数の端末装置の各々で取得されるユーザに関する画像データおよび音声データを、前記複数の端末装置間で前記ネットワークを介して送受信するためのデータ通信を制御する通信制御方法であって、前記通信制御方法が実行される一の前記端末装置から取得された音声データに基づいて、前記一の端末装置を使用する第１ユーザの発言開始を検出する第１検出ステップと、前記ネットワークを介して他の前記端末装置から受信された音声データに基づいて、前記他の端末装置を使用する第２ユーザの発言開始を検出する第２検出ステップと、前記第１検出ステップおよび前記第２検出ステップのいずれか一方によって前記第１ユーザの発言開始が検出された時点から起算した第１所定時間内に、前記第１検出ステップおよび前記第２検出ステップのいずれか他方によって前記第２ユーザの発言開始が検出された場合に、同時発言の開始を認識する同時開始認識ステップと、前記同時開始認識ステップによって前記同時発言の開始が認識されたのち、前記第１検出ステップおよび前記第２検出ステップのいずれか一方によって前記第１ユーザの発言開始が検出された時点から起算した第２所定時間内に、前記第１ユーザの発言および前記第２ユーザの発言がいずれも未検出となった場合に、前記同時発言の停止を認識する同時停止認識ステップと、前記他の端末装置にてデータの送信に関する処理が開始される時点から起算して、前記一の端末装置にてそのデータの受信に関する処理が終了されるまでに要する時間である遅延時間を計測する遅延時間計測ステップと、前記同時停止認識ステップによって前記同時発言の停止が認識された場合、前記遅延時間計測ステップによって計測された前記遅延時間に基づいて、前記第１ユーザの発言開始と前記第２ユーザの発言開始との先後関係を判断する先後関係判断ステップと、前記先後関係判断ステップによって判断された先後関係に基づいて、少なくとも前記一の端末装置において発言の喚起または抑制に関する報知を行う報知ステップとを備えている。
【００１５】
第２態様によれば、複数のユーザによる同時発言の開始および同時発言の停止が認識されると、データの送受信時に発生する遅延時間に基づいて、複数のユーザの発言開始について先後関係が判断される。その判断された先後関係に基づいて、ユーザに対して発言の喚起または抑制に関する報知が行われる。これにより、テレビ会議にて複数のユーザが時間的に重複する発言を行ったときには、各ユーザの発言が現実に行われた時点の先後関係に応じた報知が行われるため、ユーザ間のスムーズな会話を実現することができる。
【００１６】
本発明の第３態様に係る通信制御プログラムは、複数のユーザに関する画像データおよび音声データを含む会議データを出力して遠隔会議を実行可能な複数の端末装置で実行され、前記複数の端末装置の各々で取得されるユーザに関する画像データおよび音声データを、前記複数の端末装置間で前記ネットワークを介して送受信するためのデータ通信を制御する通信制御プログラムであって、コンピュータを、前記通信制御プログラムが実行される一の前記端末装置から取得された音声データに基づいて、前記一の端末装置を使用する第１ユーザの発言開始を検出する第１検出手段、前記ネットワークを介して他の前記端末装置から受信された音声データに基づいて、前記他の端末装置を使用する第２ユーザの発言開始を検出する第２検出手段、前記第１検出手段および前記第２検出手段のいずれか一方によって前記第１ユーザの発言開始が検出された時点から起算した第１所定時間内に、前記第１検出手段および前記第２検出手段のいずれか他方によって前記第２ユーザの発言開始が検出された場合に、同時発言の開始を認識する同時開始認識手段、前記同時開始認識手段によって前記同時発言の開始が認識されたのち、前記第１検出手段および前記第２検出手段のいずれか一方によって前記第１ユーザの発言開始が検出された時点から起算した第２所定時間内に、前記第１ユーザの発言および前記第２ユーザの発言がいずれも未検出となった場合に、前記同時発言の停止を認識する同時停止認識手段、前記他の端末装置にてデータの送信に関する処理が開始される時点から起算して、前記一の端末装置にてそのデータの受信に関する処理が終了されるまでに要する時間である遅延時間を計測する遅延時間計測手段、前記同時停止認識手段によって前記同時発言の停止が認識された場合、前記遅延時間計測手段によって計測された前記遅延時間に基づいて、前記第１ユーザの発言開始と前記第２ユーザの発言開始との先後関係を判断する先後関係判断手段、前記先後関係判断手段によって判断された先後関係に基づいて、少なくとも前記一の端末装置において発言の喚起または抑制に関する報知を行う報知手段として機能させる。
【００１７】
第３態様によれば、複数のユーザによる同時発言の開始および同時発言の停止が認識されると、データの送受信時に発生する遅延時間に基づいて、複数のユーザの発言開始について先後関係が判断される。その判断された先後関係に基づいて、ユーザに対して発言の喚起または抑制に関する報知が行われる。これにより、テレビ会議にて複数のユーザが時間的に重複する発言を行ったときには、各ユーザの発言が現実に行われた時点の先後関係に応じた報知が行われるため、ユーザ間のスムーズな会話を実現することができる。
【図面の簡単な説明】
【００１８】
【図１】テレビ会議システム１の全体構成を示す図である。
【図２】会議端末３、４の電気的構成を示すブロック図である。
【図３】同時発言制御のメイン処理を示すフローチャートである。
【図４】第１同時開始検出処理（Ｓ５）のフローチャートである。
【図５】第２同時開始検出処理（Ｓ９）のフローチャートである。
【図６】第１同時停止検出処理（Ｓ１３）のフローチャートである。
【図７】第２同時停止検出処理（Ｓ１７）のフローチャートである。
【図８】報知処理（Ｓ１９）のフローチャートである。
【図９】会議端末３にてユーザＡ、Ｂの発言が重複して出力される第１の態様を示すタイムチャートである。
【図１０】会議端末３にてユーザＡ、Ｂの発言が重複して出力される第２の態様を示すタイムチャートである。
【図１１】会議端末３にてユーザＡ、Ｂの発言が重複して出力される第３の態様を示すタイムチャートである。
【図１２】会議端末３にてユーザＡ、Ｂの発言が重複して出力される第４の態様を示すタイムチャートである。
【図１３】会議端末３における発言喚起報知（Ｓ２０５）の実行時に表示される会議画面２８１を例示する図である。
【図１４】会議端末３における発言抑制報知（Ｓ２０７）の実行時に表示される会議画面２８１を例示する図である。
【図１５】変形例に係る、会議端末３にてユーザＡ、Ｂの発言が重複して出力される態様を示すタイムチャートである。
【図１６】変形例に係る、報知処理（Ｓ１９）のフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本発明を具現化した実施の形態について、図面を参照して説明する。なお、参照する図面は、本発明が採用しうる技術的特徴を説明するために用いられるものであり、記載されている装置の構成、各種処理のフローチャートなどは、それのみに限定する趣旨ではなく、単なる説明例である。
【００２０】
図１を参照して、本実施形態に係るテレビ会議システム１の全体構成について説明する。図１に示すように、テレビ会議システム１では、ユーザが存在する複数の拠点にそれぞれ設けられた複数の会議端末（本実施形態では、会議端末３、４）と、時間同期サーバ９とが、ネットワーク２に接続されている。時間同期サーバ９は、正確な現在時刻を提供する公知のＮＴＰ（Ｎｅｔｗｏｒｋ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）サーバである。
【００２１】
本実施形態に係るテレビ会議システム１では、各拠点に設けられた会議端末３、４間で遠隔会議（ここでは、テレビ会議）が開始されると、各会議端末３、４で取得された映像および音声は、ネットワーク２を介して互いに送受信される。各会議端末３、４では、各会議端末３、４にて取得された映像および音声を合成した会議データがそれぞれ作成および出力される。これにより、各会議端末３、４では、各拠点に存在するユーザの映像および音声がリアルタイムに合成出力されてテレビ会議が進行する。
【００２２】
例えば、図１３等に示すように、会議端末３、４間でテレビ会議の実行中には、会議端末３で取得されるユーザＡの画像２８２と、会議端末４で取得されるユーザＢの画像２８３とが合成された会議画面２８１が、会議端末３、４のディスプレイ２８にそれぞれ表示される。また、会議端末３で取得されるユーザＡの音声と、会議端末４で取得されるユーザＢの音声とが合成されて、会議端末３、４のスピーカ３６からそれぞれ出力される。
【００２３】
図２を参照して、会議端末３、４の電気的構成について説明する。なお、会議端末３、４は全て同様の構成であるため、ここでは会議端末３の構成についてのみ説明し、会議端末４については説明を省略する。
【００２４】
会議端末３には、会議端末３の制御を司るコントローラとしてのＣＰＵ２０が設けられている。ＣＰＵ２０には、ＢＩＯＳ等を記憶したＲＯＭ２１と、各種データを一時的に記憶するＲＡＭ２２と、データの受け渡しの仲介を行うＩ／Ｏインタフェイス３０とが接続されている。Ｉ／Ｏインタフェイス３０には、各種記憶エリアを有するハードディスクドライブ３１（以下、ＨＤＤ３１）と、内部時計として現在時刻を計時するＲＴＣ（Ｒｅａｌ  Ｔｉｍｅ  Ｃｌｏｃｋ）３７とが接続されている。
【００２５】
さらに、Ｉ／Ｏインタフェイス３０には、ネットワーク２に通信接続するための通信装置２５と、マウス２７と、ビデオコントローラ２３と、キーコントローラ２４と、ユーザを撮影するためのカメラ３４と、ユーザの音声を取り込むためのマイク３５と、音声を出力するためのスピーカ３６と、ＣＤ−ＲＯＭドライブ２６とが各々接続されている。ビデオコントローラ２３には、ディスプレイ２８が接続されている。キーコントローラ２４には、キーボード２９が接続されている。
【００２６】
ＨＤＤ３１には、テレビ会議を実行するための各種データ（例えば、各会議端末３、４にて取得された映像・音声や、これらを合成した会議データなど）や、テレビ会議を実行するための会議実行プログラムなどが記憶されている。会議実行プログラムは、後述する同時発言制御に関する各種処理（図３〜図８参照）を実行するためのプログラムを含む。また、後述の同時発言制御に使用される閾値Ｔ１、Ｔ２も、ＨＤＤ３１に記憶されている。ＣＤ−ＲＯＭドライブ２６に挿入されるＣＤ−ＲＯＭ１１４には、上記の会議実行プログラムや閾値Ｔ１、Ｔ２などが記憶されている。会議端末３では、ＣＤ−ＲＯＭドライブ２６からＣＤ−ＲＯＭ１１４を読み込ませることで、これらのプログラムやデータをＨＤＤ３１にセットアップすることができる。
【００２７】
なお、本実施形態の会議端末３、４は、それぞれ定期的にネットワーク２を介して時間同期サーバ９に接続して、ＲＴＣ３７が計時する現在時刻を時間同期サーバ９が提供する正確な現在時刻に合わせている。よって、会議端末３、４では、互いのＲＴＣ３７が同一の現在時刻を計時している。
【００２８】
図３〜図８を参照して、会議端末３、４間でテレビ会議が実行されている場合に、会議端末３、４でそれぞれ実行される同時発言制御に関する処理について説明する。なお、会議端末３、４で実行される同時発言制御はそれぞれ同様であるため、以下では会議端末３で実行される同時発言制御に関する処理を主として説明する。また、理解を容易にするために、会議端末３を使用するユーザを「Ａ」、会議端末４を使用するユーザを「Ｂ」と表記する。
【００２９】
また、理解を容易にするために、会議端末３にてユーザＡ、Ｂの発言が重複して出力されるタイミングチャート（図９〜図１２参照）を、適宜参照しつつ説明する。図９〜図１２において、時間差Δｔは、会議端末３にてユーザＡ、Ｂのうちで一方の発言が開始されてから他方の発言が開始されるまでの経過時間を示す。所要時間Ｔｂａは、会議端末４から送信されたデータが、会議端末３で受信されるまでにネットワーク２で伝送される所要時間を示す。発言時間Ｔａは、会議端末３にてユーザＡの発言が開始されてから停止されるまでの経過時間を示す。発言時間Ｔｂは、会議端末３にてユーザＢの発言が開始されてから停止されるまでの経過時間を示す。
【００３０】
図９に示す例では、会議端末３において、マイク３５から取得される音声データに基づいてユーザＡの発言が開始されたのちに、会議端末４から受信される音声データに基づいてユーザＢの発言が開始されている。その後、ユーザＡの発言が停止されたのちに、ユーザＢの発言が停止されている。つまり、会議端末３では、ユーザＢの発言が開始された時点からユーザＡの発言が停止された時点まで、ユーザＡ、Ｂの発言が重複して出力されている。
【００３１】
図１０に示す例では、会議端末３において、会議端末４から受信される音声データに基づいてユーザＢの発言が開始されたのち、マイク３５から取得される音声データに基づいてユーザＡの発言が開始されている。その後、ユーザＢの発言が停止されたのちに、ユーザＡの発言が停止されている。つまり、会議端末３では、ユーザＡの発言が開始された時点からユーザＢの発言が停止された時点まで、ユーザＡ、Ｂの発言が重複して出力されている。
【００３２】
図１１に示す例では、会議端末３において、マイク３５から取得される音声データに基づいてユーザＡの発言が開始されたのちに、会議端末４から受信される音声データに基づいてユーザＢの発言が開始されている。その後、ユーザＢの発言が停止されたのちに、ユーザＡの発言が停止されている。つまり、会議端末３では、ユーザＢの発言が開始された時点からユーザＢの発言が停止された時点まで、ユーザＡ、Ｂの発言が重複して出力されている。
【００３３】
図１２に示す例では、会議端末３において、会議端末４から受信される音声データに基づいてユーザＢの発言が開始されたのち、マイク３５から取得される音声データに基づいてユーザＡの発言が開始されている。その後、ユーザＡの発言が停止されたのちに、ユーザＢの発言が停止されている。つまり、会議端末３では、ユーザＡの発言が開始された時点からユーザＡの発言が停止された時点まで、ユーザＡ、Ｂの発言が重複して出力されている。
【００３４】
図３を参照して、会議端末３で実行される同時発言制御のメイン処理について説明する。本処理は、会議端末３が他の会議端末（本実施形態では、会議端末４）との間でテレビ会議を開始すると、ＨＤＤ３１に記憶されている会議実行プログラムに基づいて、ＣＰＵ２０によって実行される。
【００３５】
まず、会議端末３、４間の遅延測定を行う遅延測定処理が起動される（Ｓ１）。Ｓ１で起動される遅延計測処理は、Ｓ１で起動されたのちメイン処理（図３）が終了されるまでの間、定期的に（例えば、１０分ごとに）実行される定期処理である。具体的に、会議端末３の遅延測定処理では、ＲＴＣ３７が計測する現在時刻ｔａ０を付与したパケットＰ１が、通信装置２５によってネットワーク２を介して会議端末４に送信される。一方、会議端末４においても、メイン処理（図３）にて遅延測定処理が起動されて（Ｓ１）、上記と同様に遅延計測処理が定期的に実行される。会議端末４の遅延測定処理では、ＲＴＣ３７が計測する現在時刻ｔｂ０を付与したパケットＰ２が、通信装置２５によってネットワーク２を介して会議端末３に送信される。
【００３６】
会議端末３では、通信装置２５を介してパケットＰ２を受信すると、パケットＰ２を受信した時点の現在時刻ｔｂ１が、ＲＴＣ３７から取得される。パケットＰ２がネットワーク２で伝送された所要時間Ｔｂａが、パケットＰ２が送信された時刻ｔｂ０と、パケットＰ２が受信された時刻ｔｂ１との差分によって求められる（Ｔｂａ＝ｔｂ１−ｔｂ０）。そして、遅延計測処理によって定期的に取得される所要時間Ｔｂａのうち、会議端末３のＲＡＭ２２には最新の所要時間Ｔｂａのみが記憶される。
【００３７】
同様に、会議端末４では、パケットＰ１を受信した時点の現在時刻ｔａ１が、ＲＴＣ３７から取得される。パケットＰ２がネットワーク２で伝送された所要時間Ｔｂａが、パケットＰ１が送信された時刻ｔａ０と、パケットＰ１が受信された時刻ｔａ１との差分によって求められる（Ｔａｂ＝ｔａ１−ｔａ０）。なお、所要時間Ｔａｂは、会議端末３から送信されたデータが、会議端末４で受信されるまでにネットワーク２で伝送される所要時間を示す。そして、遅延計測処理によって定期的に取得される所要時間Ｔａｂのうち、会議端末４のＲＡＭ２２には最新の所要時間Ｔａｂのみが記憶される。
【００３８】
Ｓ１で遅延計測処理が起動されたのち、ユーザＡの発言開始が検出されたか否かが判定される（Ｓ３）。Ｓ３では、会議端末３のマイク３５から取得された音声データに、人間の音声が含まれているか否かが判断される。具体的には、音声データが一定レベル以上であり、且つ、音声データの周波数が所定の周波数領域にある場合に、ユーザＡの発言開始が検出されたと判断される。一例として、所定の周波数領域は、日本語で使用される周波数領域である８０Ｈｚ〜１５００Ｈｚとする。ユーザＡの発言開始が検出されたと判断された場合（Ｓ３：ＹＥＳ）、後述の第１同時開始検出処理が実行される（Ｓ５）。
【００３９】
ユーザＡの発言開始が検出されなかった場合（Ｓ３：ＮＯ）、ユーザＢの発言開始が検出されたか否かが判定される（Ｓ７）。Ｓ７では、通信装置２５から取得された会議端末４の音声データに、人間の音声が含まれているか否かで判断される。具体的には、Ｓ３と同様に、音声データが一定レベル以上であり、且つ、音声データの周波数が所定の周波数領域にある場合に、ユーザＡの発言開始が検出されたと判断される。ユーザＢの発言開始が検出された場合（Ｓ３：ＹＥＳ）、後述の第２同時開始検出処理が実行される（Ｓ９）。ユーザＢの発言開始が検出されなかった場合（Ｓ７：ＮＯ）、Ｓ３に戻ってユーザＡまたはユーザＢの発言開始が待受けられる。
【００４０】
図４を参照して、第１同時開始検出処理（Ｓ５）について説明する。まず、ＲＴＣ３７に基づいて経過時間を計測するタイマＴがリセットされて、タイマＴのカウントが開始される（Ｓ３１）。Ｓ３１の実行後、ユーザＡの発言停止が検出されたか否かが判定される（Ｓ３３）。Ｓ３３では、会議端末３のマイク３５から取得された音声データに、人間の音声が含まれていないか否かが判断される。具体的には、音声データが一定レベル未満である場合、または、音声データの周波数が所定の周波数領域にない場合に、ユーザＡの発言停止が検出されたと判断される。ユーザＡの発言停止が検出された場合は（Ｓ３３：ＹＥＳ）、会議端末３にてユーザＢの発言が開始される前に、ユーザＡの発言が完了したことを示す。この場合、会議端末３にてユーザＡ、Ｂの発言が重複していないため、第１同時開始検出処理（図４）が終了してＳ３に戻る。
【００４１】
ユーザＡの発言停止が検出されなかった場合（Ｓ３３：ＮＯ）、ユーザＢの発言停止が検出されたか否かが判定される（Ｓ３５）。Ｓ３５では、通信装置２５から取得された会議端末４の音声データに、人間の音声が含まれていないか否かが判断される。具体的には、Ｓ３３と同様に、音声データが一定レベル未満である場合、または、音声データの周波数が所定の周波数領域にない場合に、ユーザＢの発言停止が検出されたと判断される。ユーザＢの発言停止が検出されなかった場合（Ｓ３５：ＮＯ）、Ｓ３３に戻ってユーザＡまたはユーザＢの発言停止が待受けられる。
【００４２】
ユーザＢの発言停止が検出された場合は（Ｓ３５：ＹＥＳ）、会議端末３にてユーザＡの発言中にユーザＢの発言が開始されたことを示す。この場合、会議端末３にてユーザＡ、Ｂの発言が重複しているから、タイマＴのカウント値が時間差ΔｔとしてＲＡＭ２２に記憶される（Ｓ３７）。Ｓ３７の実行後、時間差Δｔが、ＨＤＤ３１に記憶されている閾値Ｔ１未満であるか否かが判定される（Ｓ３９）。閾値Ｔ１は、会議端末３にてユーザＡ、Ｂの発言が同時に開始されたか否かを判定するための閾値であり、例えば３秒である。
【００４３】
時間差Δｔが閾値Ｔ１以上である場合は（Ｓ３９：ＮＯ）、会議端末３にてユーザＡの発言が開始されてから３秒以上経過後にユーザＢの発言が開始されたことを示す。この場合、会議端末３でのユーザＡ、Ｂの発言開始が同時でないとみなされて、第１同時開始検出処理（図４）が終了してＳ３に戻る。一方、時間差Δｔが閾値Ｔ１未満である場合は（Ｓ３９：ＹＥＳ）、会議端末３にてユーザＡの発言が開始されてから３秒経過する前にユーザＢの発言が開始されたことを示す。この場合、会議端末３でのユーザＡ、Ｂの発言開始が同時であるとみなされて、メイン処理（図３）に戻ってＳ１１が実行される。
【００４４】
図５を参照して、第２同時開始検出処理（Ｓ９）について説明する。まず、Ｓ３１と同様に、タイマＴのカウントが開始される（Ｓ５１）。Ｓ３１の実行後、Ｓ３５と同様に、ユーザＢの発言停止が検出されたか否かが判定される（Ｓ５３）。ユーザＢの発言停止が検出された場合は（Ｓ５３：ＹＥＳ）、会議端末３にてユーザＡの発言が開始される前にユーザＢの発言が完了したことを示す。この場合、会議端末３にてユーザＡ、Ｂの発言が重複していないため、第１同時開始検出処理（図４）が終了してＳ３に戻る。ユーザＢの発言停止が検出されなかった場合（Ｓ５３：ＮＯ）、Ｓ３３と同様に、ユーザＡの発言停止が検出されたか否かが判定される（Ｓ５５）。ユーザＡの発言停止が検出されなかった場合（Ｓ５５：ＮＯ）、Ｓ５３に戻ってユーザＡまたはユーザＢの発言停止が待受けられる。
【００４５】
ユーザＡの発言停止が検出された場合は（Ｓ５５：ＹＥＳ）、会議端末３にてユーザＢが発言中にユーザＡの発言が出力開始されたことを示す。この場合、会議端末３にてユーザＡ、Ｂの発言が重複しているから、Ｓ３７〜Ｓ３９と同様に、タイマＴのカウント値が時間差Δｔにセットされ、時間差Δｔが閾値Ｔ１未満であるか否かが判定される（Ｓ５７〜Ｓ５９）。時間差Δｔが閾値Ｔ１以上である場合は（Ｓ５９：ＮＯ）、会議端末３でのユーザＡ、Ｂの発言開始が同時でないとみなされて、第２同時開始検出処理（図５）が終了してＳ３に戻る。一方、時間差Δｔが閾値Ｔ１未満である場合は（Ｓ５９：ＹＥＳ）、会議端末３でのユーザＡ、Ｂの発言開始が同時であるとみなされて、メイン処理（図３）に戻ってＳ１１が実行される。
【００４６】
メイン処理（図３）に戻り、会議端末３にてユーザＡ、Ｂの発言が同時に開始されている場合、Ｓ３３と同様に、ユーザＡの発言停止が検出されたか否かが判定される（Ｓ１１）。ユーザＡの発言停止が検出された場合（Ｓ１１：ＹＥＳ）、後述の第１同時停止検出処理が実行される（Ｓ１３）。ユーザＡの発言停止が検出されなかった場合（Ｓ１１：ＮＯ）、Ｓ３５と同様に、ユーザＢの発言停止が検出されたか否かが判定される（Ｓ１５）。ユーザＢの発言停止が検出された場合（Ｓ１５：ＹＥＳ）、後述の第２同時停止検出処理が実行される（Ｓ１７）。ユーザＢの発言停止が検出されなかった場合（Ｓ１７：ＮＯ）、Ｓ１１に戻ってユーザＡまたはユーザＢの発言停止が待受けられる。
【００４７】
具体的には、図９および図１１に示すタイムチャートの例では、会議端末３にてユーザＡ、Ｂの順に発言が開始されている（Ｓ３：ＹＥＳ、Ｓ３３：ＮＯ、Ｓ３５：ＹＥＳ）。そのため、Ｓ３７で設定された時間差Δｔが閾値Ｔ１未満であれば（Ｓ３９：ＹＥＳ）、ユーザＡ、Ｂの発言開始が同時であるとみなされる。一方、図１０および図１２に示すタイムチャートの例では、会議端末３にてユーザＢ、Ａの順に発言が開始されている（Ｓ３：ＮＯ、Ｓ７：ＹＥＳ、Ｓ５３：ＮＯ、Ｓ５５：ＹＥＳ）。そのため、Ｓ５７で設定された時間差Δｔが閾値Ｔ１未満であれば（Ｓ５９：ＹＥＳ）、ユーザＡ、Ｂの発言開始が同時であるとみなされる。
【００４８】
図６を参照して、第１同時停止検出処理（Ｓ１３）について説明する。まず、Ｓ３、Ｓ７の判定結果に基づいて、会議端末３にてユーザＡの発言開始がユーザＢの発言開始よりも先に出力されたか否かが判定される（Ｓ１０１）。ユーザＡの発言開始が先である場合（Ｓ１０１：ＹＥＳ）、タイマＴのカウント値が発言時間ＴａとしてＲＡＭ２２に記憶される（Ｓ１０３）。Ｓ１０３の実行後、Ｓ３５と同様に、ユーザＢの発言停止が検出されたか否かが判定される（Ｓ１０５）。ユーザＢの発言停止が検出された場合（Ｓ１０５：ＹＥＳ）、タイマＴのカウント値から時間差Δｔを減じた値（Ｔ−Δｔ）が、発言時間ＴｂとしてＲＡＭ２２に記憶される（Ｓ１０７）。なお、ユーザＢの発言停止が検出されなかった場合（Ｓ１０５：ＮＯ）、Ｓ１０５に戻ってユーザＢの発言停止が待受けられる。
【００４９】
一方、ユーザＡの発言開始が後である場合（Ｓ１０１：ＮＯ）、タイマＴのカウント値から時間差Δｔを減じた値（Ｔ−Δｔ）が、発言時間ＴａとしてＲＡＭ２２に記憶される（Ｓ１０９）。Ｓ１０９の実行後、Ｓ３５と同様に、ユーザＢの発言停止が検出されたか否かが判定される（Ｓ１１１）。ユーザＢの発言停止が検出された場合（Ｓ１１１：ＹＥＳ）、タイマＴのカウント値が発言時間ＴｂとしてＲＡＭ２２に記憶される（Ｓ１０３）。なお、ユーザＢの発言停止が検出されなかった場合（Ｓ１１１：ＮＯ）、Ｓ１１１に戻ってユーザＢの発言停止が待受けられる。
【００５０】
Ｓ１０７またはＳ１１３の実行後、発言時間Ｔａ、ＴｂがともにＨＤＤ３１に記憶されている閾値Ｔ２未満であるか否かが判定される（Ｓ１１５）。閾値Ｔ２は、会議端末３にてユーザＡ、Ｂの発言が同時に停止されたか否か（言い換えると、ユーザＡ、Ｂの発言が短期間で中断されたか）を判定するための閾値であり、例えば３秒である。発言時間Ｔａ、Ｔｂがともに閾値Ｔ２以上である場合は（Ｓ１１５：ＮＯ）、ユーザＡ、Ｂのうち少なくとも一方の発言が、会議端末３にて長期間（３秒以上）継続して行われたことを示す。この場合、会議端末３でのユーザＡ、Ｂの発言停止が同時でないとみなされて、第１同時停止検出処理（図６）が終了してＳ３に戻る。一方、発言時間Ｔａ、Ｔｂがともに閾値Ｔ２未満である場合は（Ｓ１１５：ＹＥＳ）、ユーザＡ、Ｂの両方の発言が会議端末３にて短期間（３秒未満）で中断されたことを示す。この場合、会議端末３でのユーザＡ、Ｂの発言停止が同時であるとみなされて、メイン処理（図３）に戻ってＳ１９が実行される。
【００５１】
図７を参照して、第２同時停止検出処理（Ｓ１７）について説明する。まず、Ｓ３、Ｓ７の判定結果に基づいて、会議端末３にてユーザＢの発言開始がユーザＡの発言開始よりも先に出力されたか否かが判定される（Ｓ１５１）。ユーザＢの発言開始が先である場合（Ｓ１５１：ＹＥＳ）、タイマＴのカウント値が発言時間ＴｂとしてＲＡＭ２２に記憶される（Ｓ１５３）。Ｓ１５３の実行後、Ｓ３３と同様に、ユーザＡの発言停止が検出されたか否かが判定される（Ｓ１５５）。ユーザＡの発言停止が検出された場合（Ｓ１５５：ＹＥＳ）、タイマＴのカウント値から時間差Δｔを減じた値（Ｔ−Δｔ）が、発言時間ＴａとしてＲＡＭ２２に記憶される（Ｓ１５７）。なお、ユーザＡの発言停止が検出されなかった場合（Ｓ１５５：ＮＯ）、Ｓ１５５に戻ってユーザＡの発言停止が待受けられる。
【００５２】
一方、ユーザＢの発言開始が後である場合（Ｓ１５１：ＮＯ）、タイマＴのカウント値から時間差Δｔを減じた値（Ｔ−Δｔ）が、発言時間ＴｂとしてＲＡＭ２２に記憶される（Ｓ１５９）。Ｓ１５９の実行後、Ｓ３３と同様に、ユーザＡの発言停止が検出されたか否かが判定される（Ｓ１６１）。ユーザＡの発言停止が検出された場合（Ｓ１６１：ＹＥＳ）、タイマＴのカウント値が発言時間ＴａとしてＲＡＭ２２に記憶される（Ｓ１６３）。なお、ユーザＡの発言停止が検出されなかった場合（Ｓ１６１：ＮＯ）、Ｓ１６１に戻ってユーザＡの発言停止が待受けられる。
【００５３】
Ｓ１５７またはＳ１６３の実行後、Ｓ１１５と同様に、発言時間Ｔａ、Ｔｂがともに閾値Ｔ２未満であるか否かが判定される（Ｓ１６５）。発言時間Ｔａ、Ｔｂがともに閾値Ｔ２以上である場合は（Ｓ１６５：ＮＯ）、会議端末３でのユーザＡ、Ｂの発言停止が同時でないとみなされて、第２同時停止検出処理（図７）が終了してＳ３に戻る。一方、発言時間Ｔａ、Ｔｂがともに閾値Ｔ２未満である場合は（Ｓ１６５：ＹＥＳ）、会議端末３でのユーザＡ、Ｂの発言停止が同時であるとみなされて、メイン処理（図３）に戻ってＳ１９が実行される。
【００５４】
具体的には、図９および図１２に示すタイムチャートの例では、会議端末３にてユーザＡ、Ｂの順に発言が停止されている（Ｓ１１：ＹＥＳ、Ｓ１０５：ＹＥＳまたはＳ１１１：ＹＥＳ）。ここで、図９に示すようにユーザＡ、Ｂの順に発言が開始されている場合は（Ｓ１０１：ＹＥＳ）、Ｓ１０３、Ｓ１０７で設定された発言時間Ｔａ、Ｔｂがともに閾値Ｔ２未満であれば（Ｓ１１５：ＹＥＳ）、ユーザＡ、Ｂの発言停止が同時であるとみなされる。また、図１２に示すようにユーザＢ、Ａの順に発言が開始されている場合は（Ｓ１０１：ＮＯ）、Ｓ１０９、Ｓ１１３で設定された発言時間Ｔａ、Ｔｂがともに閾値Ｔ２未満であれば（Ｓ１１５：ＹＥＳ）、ユーザＡ、Ｂの発言停止が同時であるとみなされる。
【００５５】
一方、図１０および図１１に示すタイムチャートの例では、会議端末３にてユーザＢ、Ａの順に発言が停止されている（Ｓ１１：ＮＯ、Ｓ１５：ＹＥＳ、Ｓ１５５：ＹＥＳまたはＳ１６１：ＹＥＳ）。ここで、図１０に示すようにユーザＢ、Ａの順に発言が開始されている場合は（Ｓ１５１：ＹＥＳ）、Ｓ１５３、Ｓ１５７で設定された発言時間Ｔａ、Ｔｂがともに閾値Ｔ２未満であれば（Ｓ１６５：ＹＥＳ）、ユーザＡ、Ｂの発言停止が同時であるとみなされる。また、図１１に示すようにユーザＡ、Ｂの順に発言が開始されている場合は（Ｓ１５１：ＮＯ）、Ｓ１５９、Ｓ１６３で設定された発言時間Ｔａ、Ｔｂがともに閾値Ｔ２未満であれば（Ｓ１６５：ＹＥＳ）、ユーザＡ、Ｂの発言停止が同時であるとみなされる。
【００５６】
メイン処理（図３）に戻り、会議端末３にてユーザＡ、Ｂの発言が同時に停止されている場合、以下の報知処理が実行される（Ｓ１９）。図８を参照して、報知処理（Ｓ１９）について説明する。まず、時間差Δｔから所要時間Ｔｂａを減じた値（Δｔ−Ｔｂａ）が、差分Ｈとして算出される（Ｓ２０１）。差分Ｈは、会議端末３でのユーザＡ、Ｂの発言開始の時間差Δｔと、会議端末３、４間でデータの送受信時に発生する遅延時間との大小関係を示し、ユーザＡ、Ｂの発言が現実に行われた時点の先後関係を判断するために用いられる。Ｓ２０１の実行後、差分Ｈが０以上であるか否かが判定される（Ｓ２０３）。
【００５７】
差分Ｈが０以上である場合は（Ｓ２０３：ＹＥＳ）、ユーザＡの発言開始がユーザＢの発言開始よりも現実に先に行われたことを示す。つまり、会議端末３におけるユーザＡの発言開始時刻が、会議端末４におけるユーザＢの発言開始時刻よりも早いことを示す。よって、ユーザＡの発言を喚起する報知である発言喚起報知が実行される（Ｓ２０５）。例えば、図１３に示すように、ディスプレイ２８の会議画面２８１に、ユーザＡの画像２８２と合わせて、発言を喚起する喚起表示２８４「発言を続けてください」が表示される。また、スピーカ３６から喚起表示２８４と同様の内容が音声出力される。
【００５８】
一方、差分Ｈが０未満である場合は（Ｓ２０３：ＮＯ）、ユーザＡの発言開始がユーザＢの発言開始よりも現実に後に行われたことを示す。つまり、会議端末３におけるユーザＡの発言開始時刻が、会議端末４におけるユーザＢの発言開始時刻よりも遅いことを示す。よって、ユーザＡの発言を抑制する報知である発言抑制報知が実行される（Ｓ２０７）。例えば、図１４に示すように、ディスプレイ２８の会議画面２８１に、ユーザＡの画像２８２と合わせて、発言を抑制する抑制表示２８５「発言を待ってください」が表示される。また、スピーカ３６から抑制表示２８５と同様の内容が音声出力される。なお、Ｓ２０５またはＳ２０７の実行後、メイン処理（図３）のＳ３に戻る。
【００５９】
ところで、会議端末３にて報知処理（図８）が実行される場合は、会議端末４でも上記と同様にユーザＡ、Ｂの同時発言が検出されて報知処理（図８）が実行されることになる。ただし、会議端末４では、Ｓ２０１にて時間差Δｔから所要時間Ｔａｂを減じた値（Δｔ−Ｔａｂ）が、差分Ｈとして算出される。そして、会議端末３で発言喚起報知（Ｓ２０５）が実行される場合は、会議端末４で発言抑制報知（Ｓ２０７）が実行されて、ユーザＢの発言が抑制される。例えば、図１４に示す会議画面２８１と同様に、ユーザＢの画像２８３と合わせて抑制表示２８５が表示され、抑制表示２８５と同様の内容が音声出力される。一方、会議端末３で発言抑制報知（Ｓ２０７）が実行される場合は、会議端末４で発言喚起報知（Ｓ２０５）が実行されて、ユーザＢの発言が喚起される。例えば、図１３に示す会議画面２８１と同様に、ユーザＢの画像２８３と合わせて喚起表示２８４が表示され、喚起表示２８４と同様の内容が音声出力される。
【００６０】
以上説明したように、本実施形態の会議端末３では、複数のユーザＡ、Ｂについて同時発言の開始および同時発言の停止が検出されると、会議端末４から送信されるデータがネットワーク２で伝送される所要時間Ｔｂａに基づいて、各ユーザＡ、Ｂの発言が現実に行われた時点の先後関係が正確に特定される。そして、各ユーザＡ、Ｂの発言が現実に行われた時点の先後関係に応じた報知がなされるので、ユーザＡ、Ｂ間のスムーズな会話を実現することができる。
【００６１】
また、上記の所要時間Ｔｂａと、会議端末３にて各ユーザＡ、Ｂの発言が開始された時間差Δｔとが比較されて、各ユーザＡ、Ｂの発言が現実に行われた時点の先後関係が正確に特定される。したがって、ネットワーク２を介して会議端末３、４間で実行されるテレビ会議において、ネットワーク遅延によって会議端末３で出力される発言に時間差Δｔが生じる場合でも、各ユーザＡ、Ｂの発言が現実に行われた時点の先後関係をより正確に特定することができる。
【００６２】
さらに、ユーザＡの発言開始がユーザＢの発言開始よりも先である場合には、ユーザの発言を喚起する報知が行われる一方、ユーザＡの発言開始がユーザＢの発言開始よりも後である場合には、ユーザの発言を抑制する報知が行われる。これにより、ユーザＡが現実に先の発言を行ったときには発言が喚起される一方、ユーザＡが現実に後の発言を行ったときには発言が抑制されるので、ユーザＡは同時発言が発生したのちに発言すべきか否かを容易に判断することができる。
【００６３】
ところで、上記実施形態において、会議端末３、４が本発明の「複数の端末装置」に相当し、会議端末３が本発明の「一の端末装置」に相当し、会議端末４が本発明の「他の端末装置」に相当する。同時発言制御に関する処理（図３〜図８）を実行するＣＰＵ２０が、本発明の「通信制御装置」に相当する。Ｓ３を実行するＣＰＵ２０が、本発明の「第１検出手段」に相当する。Ｓ７を実行するＣＰＵ２０が、本発明の「第２検出手段」に相当する。Ｓ３９、Ｓ５９を実行するＣＰＵ２０が、本発明の「同時開始認識手段」に相当する。Ｓ１１５、Ｓ１６５を実行するＣＰＵ２０が、本発明の「同時停止認識手段」に相当する。Ｓ１にて起動される遅延計測処理を実行するＣＰＵ２０が、本発明の「遅延時間計測手段」に相当する。Ｓ２０１〜Ｓ２０３を実行するＣＰＵ２０が、本発明の「先後関係判断手段」に相当する。Ｓ２０５、Ｓ２０７を実行するＣＰＵ２０が、本発明の「報知手段」に相当する。Ｓ３１〜Ｓ３７、Ｓ５１〜Ｓ５７を実行するＣＰＵ２０が、本発明の「時間差計測手段」に相当する。
【００６４】
また、同時発言制御に関する処理（図３〜図８）が、本発明の「通信制御方法」に相当する。Ｓ３が、本発明の「第１検出ステップ」に相当する。Ｓ７が、本発明の「第２検出ステップ」に相当する。Ｓ３９、Ｓ５９が、本発明の「同時開始認識ステップ」に相当する。Ｓ１１５、Ｓ１６５が、本発明の「同時停止認識ステップ」に相当する。Ｓ１にて起動される遅延計測処理が、本発明の「遅延時間計測ステップ」に相当する。Ｓ２０１〜Ｓ２０３が、本発明の「先後関係判断ステップ」に相当する。Ｓ２０５、Ｓ２０７が、本発明の「報知ステップ」に相当する。Ｓ３１〜Ｓ３７、Ｓ５１〜Ｓ５７が、本発明の「時間差計測ステップ」に相当する。なお、同時発言制御に関する処理（図３〜図８）をＣＰＵ２０に実行させる会議実行プログラムが、本発明の「通信制御プログラム」に相当する。
【００６５】
なお、本発明は上記実施形態に限定されるものではなく、発明の要旨を変更しない範囲での変更が可能である。上記実施形態では、会議端末３、４の各々において同時発言制御に関する処理（図３〜図８）が実行されているが、会議端末３、４のいずれか一方のみで同時発言制御に関する処理（図３〜図８）が実行されてもよい。この場合、同時発言制御に関する処理（図３〜図８）を実行する会議端末が、相手方の会議端末に対して発言喚起または発言抑制に関する報知を実行させることが好適である。
【００６６】
例えば、会議端末３、４間でテレビ会議の実行中に、会議端末３のみで同時発言制御に関する処理（図３〜図８）が実行されるものとする。この場合、会議端末３にて発言喚起報知（Ｓ２０５）が実行されると、上記のようにユーザＡの発言が喚起されるとともに、会議端末４に対してユーザＢの発言を抑制する報知を実行させる抑制報知信号が送信される。一方、会議端末３にて発言抑制報知（Ｓ２０７）が実行されると、上記のようにユーザＡの発言が抑制されるとともに、会議端末４に対してユーザＢの発言を喚起する報知を実行させる喚起報知信号が送信される。
【００６７】
会議端末４にて抑制報知信号が受信されると、発言抑制報知（Ｓ２０７）が実行される場合と同様に、ユーザＢの発言が抑制される。一方、会議端末４にて喚起報知信号が受信されると、発言喚起報知（Ｓ２０５）が実行される場合と同様に、ユーザＢの発言が喚起される。これにより、会議端末３、４のいずれか一方のみで同時発言制御に関する処理（図３〜図８）が実行される場合でも、ユーザＡ、Ｂの双方に対して現実の発言順序に応じた報知を行うことができる。そして、各ユーザＡ、Ｂは、同時発言が発生したのちに発言すべきか否かを容易に判断することができる。
【００６８】
また、上記実施形態では、Ｓ１で起動される遅延計測処理によって所要時間Ｔｂａが計測されているが、所要時間Ｔｂａのみならず、データ送受信時における会議端末３、４のデータ処理時間が計測されてもよい。本変形例について、図１５および図１６を参照して説明する。なお、図１５において、平均符号化時間Ｔｅｂは、会議端末４における単位パケットごとの平均符号化時間を示す。平均復号化時間Ｔｄａは、会議端末３における単位パケットごとの平均復号化時間を示す。
【００６９】
図１５のタイムチャートの例では、図９と同様に、会議端末３において、ユーザＢの発言が開始された時点からユーザＡの発言が停止された時点まで、ユーザＡ、Ｂの発言が重複して出力されている。ただし、図９では、ユーザＢの発言が、現実の発言時刻から所要時間Ｔｂａだけ遅れて会議端末３で出力されている。それに対し、図１５では、ユーザＢの発言が、現実の発言時刻から平均符号化時間Ｔｅｂ、所要時間Ｔｂａ、平均復号化時間Ｔｄａの総和時間だけ遅れて会議端末３で出力されている。つまり、平均符号化時間Ｔｅｂ、所要時間Ｔｂａ、平均復号化時間Ｔｄａの総和時間は、会議端末４にてデータの送信に関する処理が開始される時点から起算して、会議端末３にてそのデータの受信に関する処理が終了されるまでに要する時間である。
【００７０】
そこで、会議端末３では、Ｓ１で起動される遅延計測処理にて、所要時間Ｔｂａが計測されるとともに、会議端末３のデータ処理時間（単位パケットごとの平均符号化時間Ｔｅａおよび平均復号化時間Ｔｄａ）が計算される。同様に、会議端末４では、Ｓ１で起動される遅延計測処理にて、所要時間Ｔａｂが計測されるとともに、会議端末４のデータ処理時間（単位パケットごとの平均符号化時間Ｔｅｂおよび平均復号化時間Ｔｄｂ）が計算される。会議端末３の平均符号化時間Ｔｅａと、会議端末４の平均符号化時間Ｔｅｂとが、会議端末３、４間でネットワーク２を介して相互に通知される。そして、会議端末３のＲＡＭ２２には、所要時間Ｔｂａとともに、会議端末４の平均符号化時間Ｔｅｂと、会議端末３の平均復号化時間Ｔｄａとが記憶される。同様に、会議端末４のＲＡＭ２２には、所要時間Ｔａｂとともに、会議端末３の平均符号化時間Ｔｅａと、会議端末４の平均復号化時間Ｔｄｂとが記憶される。
【００７１】
さらに、会議端末３では、報知処理（Ｓ１９）の実行時に、図８に示す報知処理に代えて、図１６に示す報知処理が実行される。まず、時間差Δｔから平均符号化時間Ｔｅｂ、所要時間Ｔｂａ、平均復号化時間Ｔｄａを減じた値（Δｔ−（Ｔｅｂ＋Ｔｂａ＋Ｔｄａ））が、差分Ｈとして算出される（Ｓ２０２）。Ｓ２０２の実行後は、図８のＳ２０３〜Ｓ２０７と同様である。なお、会議端末４で実行される報知処理（Ｓ１９）も図８と同様であるが、Ｓ２０２において、時間差Δｔから平均符号化時間Ｔｅａ、所要時間Ｔａｂ、平均復号化時間Ｔｄｂを減じた値（Δｔ−（Ｔｅａ＋Ｔａｂ＋Ｔｄｂ））が、差分Ｈとして算出される点が異なる。
【００７２】
これにより、会議端末３では、データの送受信時に発生するネットワーク遅延やデータ処理などに起因する遅延時間に基づいて、各ユーザＡ、Ｂの発言が現実に行われた時点の先後関係をより正確に特定することができる。また、ネットワーク２を介して会議端末３、４間で実行されるテレビ会議において、データ処理遅延によって会議端末３でのデータ再生に時間差Δｔが生じる場合でも、各ユーザＡ、Ｂの発言が現実に行われた時点の先後関係をより正確に特定することができる。
【符号の説明】
【００７３】
１    テレビ会議システム
２    ネットワーク
３    会議端末
４    会議端末
２０    ＣＰＵ
２１    ＲＯＭ
２２    ＲＡＭ
２５    通信装置
２８    ディスプレイ
３１    ＨＤＤ
３４    カメラ
３５    マイク
３６    スピーカ
３７    ＲＴＣ
２８１    会議画面
２８４    喚起表示
２８５    抑制表示
【図１】
2011061634.tif 000003
【図２】
2011061634.tif 000004
【図３】
2011061634.tif 000005
【図４】
2011061634.tif 000006
【図５】
2011061634.tif 000007
【図６】
2011061634.tif 000008
【図７】
2011061634.tif 000009
【図８】
2011061634.tif 000010
【図９】
2011061634.tif 000011
【図１０】
2011061634.tif 000012
【図１１】
2011061634.tif 000013
【図１２】
2011061634.tif 000014
【図１３】
2011061634.tif 000015
【図１４】
2011061634.tif 000016
【図１５】
2011061634.tif 000017
【図１６】
2011061634.tif 000018