(57)【要約】【課題】同時発言時にスムーズな会話を促すことができる通信制御装置、通信制御システム、通信制御方法、及び通信制御装置のプログラムを提供する。【解決手段】メイン処理が実行され、発話が検出された場合（Ｓ１１：ＹＥＳ）、カウントが開始される（Ｓ１２）。次いで、会話が停止したかが判断され（Ｓ１３）、会話が停止していない場合（Ｓ１３：ＮＯ）、同時会話を検出したか判断される（Ｓ１４）。同時会話を検出し（Ｓ１４：ＹＥＳ）、計測時間が「Ｔ１」時間より短いと判断された場合（Ｓ１５：ＹＥＳ）、全ての会話が停止したか判断される（Ｓ１６）。全ての会話が停止した場合（Ｓ１６：ＹＥＳ）、計測時間が「Ｔ２」時間より短いか判断される（Ｓ１７）。計測時間が「Ｔ２」時間より短い場合（Ｓ１７：ＹＥＳ）、発話制御処理が行われ（Ｓ１８）、Ｓ１１へ戻る。【選択図】図６
2010212928.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して複数の端末装置の間でのデータ通信を制御する通信制御装置であって、
前記端末装置から送信されたデータに基づいて、当該端末装置の第１ユーザの発話を検出する第１発話検出手段と、
前記端末装置とは別の前記端末装置から送信されたデータに基づいて、前記端末装置とは別の前記端末装置の第２ユーザの発話を検出する第２発話検出手段と、
前記第１発話検出手段によって発話が検出された前記第１ユーザの発言中に、前記第２発話検出手段によって前記第２ユーザの発話が検出された場合に同時発言と認識する同時発言認識手段と、
当該同時発言認識手段によって同時発言と認識された後に、前記第１ユーザ、及び第２ユーザの発言が何れもが停止した状態である同時停止を検出する同時停止検出手段と、
当該同時停止検出手段によって前記同時停止が検出された場合に、前記同時停止が検出された前記端末装置、及び当該端末装置とは別の前記端末装置のうちで何れか１つを、ユーザに発話を促す旨の報知を指示するために優先する前記端末装置である優先端末として決定する優先端末決定手段と、
当該優先端末決定手段によって前記優先端末が決定された場合に、当該優先端末に対して、ユーザに発話を促す旨の報知を指示する第１報知指示手段と
を備えたことを特徴とする通信制御装置。
【請求項２】
前記第１発話検出手段によって前記第１ユーザの発話が検出された場合、時間を計測する計測手段に時間の計測を開始させる計測開始手段と、
前記第２発話検出手段によって前記第２ユーザの発話が検出された時に、前記計測手段によって計測された時間が、第１所定時間に到達したか否かを判断する計測時間判断手段を備え、
前記同時発言認識手段は、前記第１発話検出手段によって発話が検出された前記第１ユーザの発言中に、前記第２発話検出手段によって前記第２ユーザの発話が検出され、且つ前記計測時間判断手段によって前記第１所定時間に到達していないと判断された場合に、同時発言と認識することを特徴とする請求項１に記載の通信制御装置。
【請求項３】
前記同時停止検出手段は、前記計測手段によって計測された時間が第２所定時間に到達するまでに、前記第１ユーザ、及び前記第２ユーザの発言が何れも停止した状態を、前記同時停止として検出することを特徴とする請求項２に記載の通信制御装置。
【請求項４】
前記優先端末決定手段は、前記第１発話検出手段によって前記第１ユーザの発話が検出された前記端末装置を前記優先端末として決定することを特徴とする請求項１乃至３のいずれかに記載の通信制御装置。
【請求項５】
ユーザに発話を促す旨の報知を指示するための前記端末装置の優先順位と、前記端末装置を識別する識別情報とを対応づけて記憶する優先順位記憶手段を備え、
前記優先端末決定手段は、前記同時停止検出手段によって前記同時停止が検出された前記端末装置のうちで、前記優先順位記憶手段に記憶された前記優先順位が最も高いものに対応した前記識別情報で特定される前記端末装置を前記優先端末として決定することを特徴とする請求項１乃至３のいずれかに記載の通信制御装置。
【請求項６】
請求項１乃至５のいずれかに記載の通信制御装置と、当該通信制御装置とネットワークを介して接続された前記端末装置とで構成される通信制御システムであって、
前記端末装置は、
ユーザに対して報知する報知手段と、
前記通信制御装置の前記第１報知指示手段によって報知の指示があった場合に、ユーザに対して発話を促す旨を前記報知手段に報知させる第１報知制御手段と
を備えたことを特徴とする通信制御システム。
【請求項７】
前記通信制御装置は、
前記優先端末決定手段によって前記優先端末が決定された場合に、当該優先端末以外の他の前記端末装置に対して、ユーザに発話をさせないことを促す旨の報知を指示する第２報知指示手段を備え、
前記端末装置は、
前記通信制御装置の前記第２報知指示手段によって報知の指示があった場合に、ユーザに対して発話をさせないことを促す旨を前記報知手段に報知させる第２報知制御手段を備えたことを特徴とする請求項６に記載の通信制御システム。
【請求項８】
前記報知手段は、ユーザに報知する内容を表示する表示画面、又はユーザに報知する内容を音声で出力するスピーカであることを特徴とする請求項６又は７に記載の通信制御システム。
【請求項９】
ネットワークを介して複数の端末装置の間でのデータ通信を制御する通信制御方法であって、
前記端末装置から送信されたデータに基づいて、当該端末装置の第１ユーザの発話を検出する第１発話検出ステップと、
前記端末装置とは別の前記端末装置から送信されたデータに基づいて、前記端末装置とは別の前記端末装置の第２ユーザの発話を検出する第２発話検出ステップと、
前記第１発話検出ステップにて発話が検出された前記第１ユーザの発言中に、前記第２発話検出ステップにて前記第２ユーザの発話が検出された場合に同時発言と認識する同時発言認識ステップと、
当該同時発言認識ステップにて同時発言と認識された後に、前記第１ユーザ、及び第２ユーザの発言が何れもが停止した状態である同時停止を検出する同時停止検出ステップと、
当該同時停止検出ステップにて前記同時停止が検出された場合に、前記同時停止が検出された前記端末装置、及び当該端末装置とは別の前記端末装置のうちで何れか１つを、ユーザに発話を促す旨の報知を指示するために優先する前記端末装置である優先端末として決定する優先端末決定ステップと、
当該優先端末決定ステップにて前記優先端末が決定された場合に、当該優先端末に対して、ユーザに発話を促す旨の報知を指示する第１報知指示ステップと
を備えたことを特徴とする通信制御方法。
【請求項１０】
請求項１乃至５のいずれかに記載の通信制御装置の各種処理手段としてコンピュータを機能させることを特徴とする通信制御装置のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信制御装置、通信制御システム、通信制御方法、及び通信制御装置のプログラムに関するものであり、詳細には、テレビ会議においてデータの送受信を制御する通信制御装置、通信制御システム、通信制御方法、及び通信制御装置のプログラムに関するものである。
【背景技術】
【０００２】
従来、遠隔地にある複数の通信装置が同一のテレビ会議システムに接続し、あたかも同一の場所で会議を行っているかのようにする通信制御装置がある。このような通信制御装置において、複数のユーザが同時に発言した場合、ユーザがお互いに遠慮して発言を止めてしまい、再度の発言においてタイミングが測りづらいということがあった。そこで、複数のユーザが同時に発言した場合でも、ユーザに対して発言を聞き取らせやすくする通信制御装置が知られている（例えば、特許文献１参照）。
【０００３】
特許文献１に記載の通信制御装置によれば、複数の通信装置から送信される通話情報を受信し、記録する。記録された通話情報のうち、時間的に重複する同時発言が存在する場合、通話情報を出力するタイミングの優先順位を設定する。そして、設定した優先順位に基づいて通話情報を時間的にずらしてテレビ会議システムに接続している通信装置に対して出力する。これにより、複数のユーザが同時に発言した場合であっても、ユーザはそれぞれの発言を容易に聞き取ることができ、快適なコミュニケーションを図ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２３２５７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の発明の通信制御装置では、ユーザの発言が時間的に重複する同時発言が行われた場合、各ユーザの通話情報を優先度に応じて時間的に遅延を与えて、順次再生するため、会話が遅れて再生され、スムーズな会話ができないという問題点があった。
【０００６】
そこで、本発明は、上述した問題を解決するためになされたものであり、同時発言時にスムーズな会話を促すことができる通信制御装置、通信制御システム、通信制御方法、及び通信制御装置のプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１に係る発明の通信制御装置は、ネットワークを介して複数の端末装置の間でのデータ通信を制御する通信制御装置であって、前記端末装置から送信されたデータに基づいて、当該端末装置の第１ユーザの発話を検出する第１発話検出手段と、前記端末装置とは別の前記端末装置から送信されたデータに基づいて、前記端末装置とは別の前記端末装置の第２ユーザの発話を検出する第２発話検出手段と、前記第１発話検出手段によって発話が検出された前記第１ユーザの発言中に、前記第２発話検出手段によって前記第２ユーザの発話が検出された場合に同時発言と認識する同時発言認識手段と、当該同時発言認識手段によって同時発言と認識された後に、前記第１ユーザ、及び第２ユーザの発言が何れもが停止した状態である同時停止を検出する同時停止検出手段と、当該同時停止検出手段によって前記同時停止が検出された場合に、前記同時停止が検出された前記端末装置、及び当該端末装置とは別の前記端末装置のうちで何れか１つを、ユーザに発話を促す旨の報知を指示するために優先する前記端末装置である優先端末として決定する優先端末決定手段と、当該優先端末決定手段によって前記優先端末が決定された場合に、当該優先端末に対して、ユーザに発話を促す旨の報知を指示する第１報知指示手段とを備えている。
【０００８】
また、請求項２に係る発明の通信制御装置は、請求項１に記載の発明の構成に加え、前記第１発話検出手段によって前記第１ユーザの発話が検出された場合、時間を計測する計測手段に時間の計測を開始させる計測開始手段と、前記第２発話検出手段によって前記第２ユーザの発話が検出された時に、前記計測手段によって計測された時間が、第１所定時間に到達したか否かを判断する計測時間判断手段を備え、前記同時発言認識手段は、前記第１発話検出手段によって発話が検出された前記第１ユーザの発言中に、前記第２発話検出手段によって前記第２ユーザの発話が検出され、且つ前記計測時間判断手段によって前記第１所定時間に到達していないと判断された場合に、同時発言と認識することを特徴とする。
【０００９】
また、請求項３に係る発明の通信制御装置は、請求項２に記載の発明の構成に加え、前記同時停止検出手段は、前記計測手段によって計測された時間が第２所定時間に到達するまでに、前記第１ユーザ、及び前記第２ユーザの発言が何れも停止した状態を、前記同時停止として検出することを特徴とする。
【００１０】
また、請求項４に係る発明の通信制御装置は、請求項１乃至３のいずれかに記載の発明の構成に加え、前記優先端末決定手段は、前記第１発話検出手段によって前記第１ユーザの発話が検出された前記端末装置を前記優先端末として決定することを特徴とする。
【００１１】
また、請求項５に係る発明の通信制御装置は、請求項１乃至３のいずれかに記載の発明の構成に加え、ユーザに発話を促す旨の報知を指示するための前記端末装置の優先順位と、前記端末装置を識別する識別情報とを対応づけて記憶する優先順位記憶手段を備え、前記優先端末決定手段は、前記同時停止検出手段によって前記同時停止が検出された前記端末装置のうちで、前記優先順位記憶手段に記憶された前記優先順位が最も高いものに対応した前記識別情報で特定される前記端末装置を前記優先端末として決定することを特徴とする。
【００１２】
また、請求項６に係る発明の通信制御システムは、請求項１乃至５のいずれかに記載の通信制御装置と、当該通信制御装置とネットワークを介して接続された前記端末装置とで構成される通信制御システムであって、前記端末装置は、ユーザに対して報知する報知手段と、前記通信制御装置の前記第１報知指示手段によって報知の指示があった場合に、ユーザに対して発話を促す旨を前記報知手段に報知させる第１報知制御手段とを備えている。
【００１３】
また、請求項７に係る発明の通信制御システムは、請求項６に記載の発明の構成に加え、前記通信制御装置は、前記優先端末決定手段によって前記優先端末が決定された場合に、当該優先端末以外の他の前記端末装置に対して、ユーザに発話をさせないことを促す旨の報知を指示する第２報知指示手段を備え、前記端末装置は、前記通信制御装置の前記第２報知指示手段によって報知の指示があった場合に、ユーザに対して発話をさせないことを促す旨を前記報知手段に報知させる第２報知制御手段を備えている。
【００１４】
また、請求項８に係る発明の通信制御システムは、請求項６又は７に記載の発明の構成に加え、前記報知手段は、ユーザに報知する内容を表示する表示画面、又はユーザに報知する内容を音声で出力するスピーカであることを特徴とする。
【００１５】
また、請求項９に係る発明の通信制御方法は、ネットワークを介して複数の端末装置の間でのデータ通信を制御する通信制御方法であって、前記端末装置から送信されたデータに基づいて、当該端末装置の第１ユーザの発話を検出する第１発話検出ステップと、前記端末装置とは別の前記端末装置から送信されたデータに基づいて、前記端末装置とは別の前記端末装置の第２ユーザの発話を検出する第２発話検出ステップと、前記第１発話検出ステップにて発話が検出された前記第１ユーザの発言中に、前記第２発話検出ステップにて前記第２ユーザの発話が検出された場合に同時発言と認識する同時発言認識ステップと、当該同時発言認識ステップにて同時発言と認識された後に、前記第１ユーザ、及び第２ユーザの発言が何れもが停止した状態である同時停止を検出する同時停止検出ステップと、当該同時停止検出ステップにて前記同時停止が検出された場合に、前記同時停止が検出された前記端末装置、及び当該端末装置とは別の前記端末装置のうちで何れか１つを、ユーザに発話を促す旨の報知を指示するために優先する前記端末装置である優先端末として決定する優先端末決定ステップと、当該優先端末決定ステップにて前記優先端末が決定された場合に、当該優先端末に対して、ユーザに発話を促す旨の報知を指示する第１報知指示ステップとを備えている。
【００１６】
また、請求項１０に係る発明の通信制御装置のプログラムは、請求項１乃至５のいずれかに記載の通信制御装置の各種処理手段としてコンピュータを機能させることを特徴とする。
【発明の効果】
【００１７】
請求項１に係る通信制御装置では、第１発話検出手段にて第１ユーザの発話を検出し、第２発話検出手段にて第２ユーザの発話を検出する。そして、同時発言認識手段にて第１ユーザ、及び第２ユーザの発言が同時発言と認識された後、同時停止検出手段にて第１ユーザ、及び第２ユーザの発言が何れも停止した状態である同時停止が検出された場合、優先端末決定手段にて何れか１つを、ユーザに発話を促す報知を指示するための優先端末として決定する。そして、決定された優先端末に対して、第１報知指示手段にてユーザに発話を促す旨の報知が指示される。これにより、データ通信中に複数のユーザの発言が同時に近い状態で起こり、同時に近い状態で複数のユーザの発言が停止した場合において、優先装置に対してユーザに発話を促す指示がなされるため、優先端末のユーザは自身の発言を続けていいか否かを考える必要がなくなる。その結果、同時発言、及び同時停止が起っても、その後、ユーザはスムーズな会話をすることができる。
【００１８】
請求項２に係る通信制御装置では、請求項１に記載の発明の効果に加え、計測開始手段にて計測が開始されてから第２発話検出手段にて第２ユーザの発話が検出された時に、第１所定時間に到達したか否かが計測時間判断手段にて判断される。そして、同時発言認識手段は、第１ユーザの発言中に第２ユーザの発話が検出され、且つ計測時間判断手段によって第１所定時間に到達していないと判断された場合に、同時発言と認識する。これにより、第１所定時間の時間帯で複数の発言が開始された場合のみ同時発言と認識される。その結果、必要以上に長い時間帯の間で複数のユーザから発言があっても、同時発言が認識されることがなくなる。
【００１９】
請求項３に係る通信制御装置では、請求項２に記載の発明の効果に加え、同時停止検出手段は、計測手段によって計測された時間が第２所定時間に到達するまでに、第１ユーザ、及び第２ユーザの発言が何れも停止した状態を、同時停止として検出する。これにより、同時発言が検出され、第２所定時間の時間帯で全ての発言の停止があった場合のみ同時停止と認識される。その結果、同時発言が検出され、必要以上に長い時間が経過した後で、同時停止が認識されることがなくなる。
【００２０】
請求項４に係る通信制御装置では、請求項１乃至３のいずれかに記載の発明の効果に加え、優先端末決定手段は、第１発話検出手段によって第１ユーザの発話が検出された端末装置を優先端末として決定する。これにより、同時発言であっても先に発言したユーザの方が優先して発言をすることが可能となる。その結果、ユーザに対してスムーズな会話を促すことができる。
【００２１】
請求項５に係る通信制御装置では、請求項１乃至３のいずれかに記載の発明の効果に加え、優先端末は優先順位記憶手段に記憶された優先順位に基づいて決定される。これにより、同時発言、及び同時停止が起こった場合、予め優先順位が決まっているため容易に優先端末を決定することができるため、ユーザに対してスムーズな会話を促すことができる。
【００２２】
請求項６に係る通信制御システムでは、請求項１乃至５のいずれかに記載の通信制御装置と、通信制御装置とネットワークを介して接続された前記端末装置とで構成されている。そして、端末装置は、通信制御装置の第１報知指示手段によって報知の指示があった場合に、ユーザに対して発話を促す旨を報知手段に報知させる第１報知制御手段を備えている。これにより、同時発言、及び同時停止がおこった場合、優先端末のユーザは、自身の発言を続けていいか否かを報知手段にて知ることができる。その結果、スムーズな会話を実現することができる。
【００２３】
請求項７に係る通信制御システムでは、請求項６に記載の発明の効果に加え、通信制御装置は、優先端末以外の他の端末装置に対して、ユーザに発話をさせないことを促す旨の報知を指示する第２報知指示手段を備えている。また、端末装置は、通信制御装置の第２報知指示手段によって報知の指示があった場合に、ユーザに対して発話をさせないことを促す旨を報知手段に報知させる第２報知制御手段を備えている。これにより、同時発言、及び同時停止がおこった場合、優先端末以外の端末装置のユーザは、自身が発言してはいけないことを報知手段にて知ることができる。その結果、スムーズな会話を実現することができる。
【００２４】
請求項８に係る通信制御システムでは、請求項６又は７に記載の発明の効果に加え、報知手段は、ユーザに報知する内容を表示する表示画面、又はユーザに報知する内容を音声で出力するスピーカである。これにより、同時発言、及び同時停止が起こった場合、端末装置のユーザは、画面上に表示された内容、又はスピーカから出力される音声にて、自身の発言を続けていいのか否かを知ることができる。その結果、スムーズな会話を実現することができる。
【００２５】
請求項９に係る通信制御方法では、第１発話検出ステップにて第１ユーザの発話を検出し、第２発話検出ステップにて第２ユーザの発話を検出する。そして、同時発言認識ステップにて第１ユーザ、及び第２ユーザの発言が同時発言と認識された後、同時停止検出ステップにて第１ユーザ、及び第２ユーザの発言が何れも停止した状態である同時停止が検出された場合、優先端末決定ステップにて何れか１つを、ユーザに発話を促す報知を指示するための優先端末として決定する。そして、決定された優先端末に対して、第１報知指示ステップにてユーザに発話を促す旨の報知が指示される。これにより、データ通信中に複数のユーザの発言が同時に近い状態で起こり、同時に近い状態で複数のユーザの発言が停止した場合において、優先端末に対してユーザに発話を促す指示がなされるため、優先端末のユーザは自身の発言を続けていいか否かを考える必要がなくなる。その結果、同時発言、及び同時停止が起こっても、その後、ユーザはスムーズな会話をすることができる。
【００２６】
請求項１０に係る通信制御装置のプログラムでは、請求項１乃至５のいずれかに記載の通信制御装置の各種処理手段としてコンピュータを機能させる。従って、通信制御装置のプログラムをコンピュータに実行させることにより、請求項１乃至５のいずれかに記載の発明の効果を奏することができる。
【図面の簡単な説明】
【００２７】
【図１】通信制御システム１の接続形態の一例を示す図である。
【図２】通信制御装置１００の電気的構成を示すブロック図である。
【図３】優先順位テーブル１１００の構成を示す模式図である。
【図４】端末装置２００の電気的構成を示すブロック図である。
【図５】端末装置２００のモニタ２７０に表示されるテレビ会議画面２７１の一具体例を示す図である。
【図６】通信制御装置１００で実行されるメイン処理のフローチャートである。
【図７】通信制御装置１００で実行される発話制御処理のサブルーチンのフローチャートである。
【図８】音声データの一例を示すタイミングチャート図である。
【図９】音声データの一例を示すタイミングチャート図である。
【図１０】音声データの一例を示すタイミングチャート図である。
【図１１】端末装置２００で実行されるメイン処理のフローチャートである。
【図１２】端末装置２００のモニタ２７０に表示されるテレビ会議画面２７１の一具体例を示す図である。
【図１３】端末装置２００のモニタ２７０に表示されるテレビ会議画面２７１の一具体例を示す図である。
【発明を実施するための形態】
【００２８】
以下、本発明の一実施の形態である通信制御システム１について、図面を参照して説明をする。まず、図１を参照して通信制御システム１の概要について説明する。
【００２９】
図１に示すように、通信制御装置１００には、ネットワーク２を介して複数の端末装置２００が接続されている。そして、通信制御装置１００は各端末装置２００の間でのデータ通信を制御する。本実施の形態では、通信制御装置１００は音声データ、及び画像データの送受信を制御することによりテレビ会議を実施するものとする。図１では、端末装置２００は２つ図示しているが、実際には、ネットワーク２を介してテレビ会議が実施できればよく、２つ以上であればよい。端末装置２００は、例えば、ある企業の同一サイト内に複数存在してもよいし、異なる事業所内や、異なる地域や国に点在して存在していてもよい。
【００３０】
通信制御装置１００は、例えば、周知のパーソナルコンピュータであり、汎用型の装置である。そして、複数の端末装置２００から送信された、画像データ、音声データ等を中継することにより、端末装置２００の間でのテレビ会議を実現する。通信制御装置１００は、各端末装置２００から送信される個別の画像データを合成することで、テレビ会議で共有する表示用の画像データを作成する。そして、テレビ会議に接続している複数の端末装置２００に対して、音声データ、及び合成された画像データを送信する機能を有している。
【００３１】
端末装置２００は、例えば、周知のパーソナルコンピュータであり、汎用型の装置である。なお、この端末装置２００には、テレビ会議で使用するための画像を外部から入力するためのカメラ２５０（図４参照）、テレビ会議の参加者の音声を外部から入力するためのマイク２４０（図４参照）が設けられている。また、通信制御装置１００から受信した画像データを外部に出力するためのモニタ２７０（図４参照）、音声データを外部に出力するためのスピーカ２６０（図４参照）が設けられている。
【００３２】
次に、図２のブロック図を参照して、通信制御装置１００の電気的構成について説明する。図２に示すように、通信制御装置１００は、通信制御装置１００の制御を司るＣＰＵ１０１を備えている。そして、このＣＰＵ１０１には、ＲＯＭ１０２、ＲＡＭ１０３、ハードディスクドライブ（ＨＤＤ）１０４、カウンタ１０５、表示制御部１０６、入力制御部１０７、計時装置１０８、及び通信制御部１０９がバス１１１を介して接続されている。
【００３３】
ＲＯＭ１０２には、ＣＰＵ１０１が実行するＢＩＯＳを起動するプログラムや設定値が記憶されている。ＲＡＭ１０３には、各種のデータが一時的に記憶される。ＨＤＤ１０４には、通信制御装置１００で実行される各種のプログラム等が記憶される。また、ＨＤＤ１０４には、優先順位テーブル１１００（図３参照）が記憶される優先順位テーブル記憶エリア１４０１が設けられている。この優先順位テーブル１１００についての詳細は、後述する。カウンタ１０５は、タイマとして機能し、時間を計測する。
【００３４】
表示制御部１０６は、画像データを表示するためのモニタ１２０に接続され、このモニタ１２０の表示を制御する。また、入力制御部１０７は、ユーザが操作の入力を行うためのキーボード１３０やマウス１４０に接続され、これらの入力の制御を行う。計時装置１０８では、内部時計として時間が計時される。通信制御部１０９は、ネットワーク２を介して端末装置２００との間でデータの送受信の制御を行う。
【００３５】
ここで、図３を参照して、優先順位テーブル１１００について説明する。優先順位テーブル１１００には、端末ＩＤ、及び優先順位が対応づけられて記憶されている。端末ＩＤには、端末装置２００を識別するための情報が記憶される。なお、本実施の形態では、一例として、端末ＩＤは端末装置２００のマックアドレスとする。なお、端末ＩＤは端末装置２００を特定できるユニークな情報であればよく、端末装置２００のＩＰアドレス等であってもよい。
【００３６】
優先順位には、複数の端末装置２００から送信された発話による音声データが同時に受信（以下、「同時発言」という）したと判断され、且つ音声データの受信が同時に停止（以下、「同時停止」という）したと判断された場合、発話を促す旨の情報を送信するために優先する端末装置２００の順位が記憶される。この同時発言、及び同時停止についての詳細は後述する。
【００３７】
次に、図４のブロック図を参照して、端末装置２００の電気的構成について説明する。図４に示すように、端末装置２００は、端末装置２００の制御を司るＣＰＵ２０１を備えている。そして、このＣＰＵ２０１には、ＲＯＭ２０２、ＲＡＭ２０３、ハードディスクドライブ（ＨＤＤ）２０４、カウンタ２０５、計時装置２０６、入出力制御部２０７、及び通信制御部２０８が、バス２１１を介して接続されている。
【００３８】
ＲＯＭ２０２には、ＣＰＵ２０１が実行するＢＩＯＳを起動させるプログラムや設定値が記憶されている。ＲＡＭ２０３には、各種のデータが一時的に記憶される。ＨＤＤ２０４には、端末装置２００で実行される各種のプログラム等が記憶される。カウンタ２０５は、タイマとして機能し、時間を計測する。計時装置２０６では、内部時計として時間が計時される。
【００３９】
入出力制御部２０７には、ユーザが操作の入力を行うためのキーボード２２０、マウス２３０、ユーザの発話による音声データを取得するマイク２４０、及びテレビ会議で使用するための画像データを取得するカメラ２５０が接続されている。また、入出力制御部２０７には、テレビ会議が実施されている時に、通信制御装置１００から送信された音声データを出力するスピーカ２６０、及び通信制御装置１００から送信された画像データを表示するモニタ２７０が接続されている。通信制御部２０８は、ネットワーク２を介して通信制御装置１００等の外部機器との間でのデータの送受信を制御する。
【００４０】
次に、図５を参照して、端末装置２００のモニタ２７０に表示されるテレビ会議画面２７１について説明する。
【００４１】
テレビ会議が実行されると各端末装置２００のモニタ２７０には、図５に示すように、テレビ会議画面２７１が表示される。このテレビ会議画面２７１には、各端末装置２００から通信制御装置１００に対して送信された画像データを表示する個別領域２７２が、端末装置２００毎に設けられている。この個別領域２７２で表示される画像データは、各端末装置２００のカメラ２５０で撮影された画像データである。なお、本実施の形態では、端末ＩＤが「端末Ａ」で特定される端末装置２００に対応した個別領域２７２が、テレビ会議画面２７１の左側に設けられている。また、端末ＩＤが「端末Ｂ」で特定される端末装置２００に対応した個別領域２７２が、テレビ会議画面２７１の右側に設けられている。
【００４２】
次いで、図６を参照して、通信制御装置１００で実行されるメイン処理について説明する。ここで、図６のメイン処理は、通信制御装置１００の電源がＯＮになった際に、実行される。なお、通信制御装置１００の電源がＯＦＦになった際には、メイン処理を終了するものとする。また、通信制御装置１００で実行される他の処理は、他のプロセスで実行されているものとし、その詳細の説明は省略する。
【００４３】
メイン処理が実行されると、ユーザの発話を検出したか否かが判断される（Ｓ１１）。この判断処理は、端末装置２００から送信された音声データにユーザの発話による音声データが含まれているか否かで判断される。つまり、受信した音声データが一定レベル以上あり、その周波数が所定の周波数領域にあるか否かが判断される。ここで、一例として、所定の周波数領域は、日本語で使用される周波数領域である８０Ｈｚ〜１５００Ｈｚとする。
【００４４】
ユーザの発話を検出していない場合（Ｓ１１：ＮＯ）、つまり、一定レベル以上であり、所定の周波数領域の音声データを受信していない場合、Ｓ１１へ戻って、ユーザの発話による音声データを検出するまでＳ１１の判断処理を行う。
【００４５】
ユーザの発話を検出した場合（Ｓ１１：ＹＥＳ）、つまり、一定レベル以上であり、所定の周波数領域の音声データを受信した場合、タイマが「０」に初期化され、カウントが開始される（Ｓ１２）。このカウントの開始処理は、タイマカウンタであるカウンタ１０５を用いて行われる。このカウンタ１０５は、ＣＰＵ１０１に接続した計時装置１０８からの信号に基づいてカウントアップされる。
【００４６】
次いで、発話者の会話が停止したか否かが判断される（Ｓ１３）。つまり、Ｓ１１で検出した音声データの受信が途切れたか否かが判断される。
【００４７】
発話者の会話が停止したと判断された場合（Ｓ１３：ＹＥＳ）、つまり、Ｓ１１で検出した音声データの受信が途切れたと判断された場合、Ｓ１１に戻って、ユーザの発話による音声データを再度、検出する。
【００４８】
また、発話者の会話が停止していないと判断された場合（Ｓ１３：ＮＯ）、つまり、Ｓ１１で検出した音声データの受信が途切れていないと判断された場合、同時会話を検出したか否かが判断される（Ｓ１４）。つまり、Ｓ１１で検出した音声データを送信した端末装置２００以外の端末装置２００から、ユーザの発話による音声データを受信したか否かで判断される。
【００４９】
同時会話を検出していないと判断された場合（Ｓ１４：ＮＯ）、つまり、Ｓ１１で検出した音声データを送信した端末装置２００以外の端末装置２００から、ユーザの発話による音声データを受信していないと判断された場合、Ｓ１３に戻る。これにより、発話者の会話が停止するか、同時会話を検出するまでＳ１３、Ｓ１４の処理を繰り返す。
【００５０】
同時会話を検出したと判断された場合（Ｓ１４：ＹＥＳ）、つまり、Ｓ１１で検出した音声データを送信した端末装置２００以外の端末装置２００から、ユーザの発話による音声データを受信したと判断された場合、計測時間が所定の時間である「Ｔ１」時間より短いか否かが判断される（Ｓ１５）。この計測時間は、Ｓ１２でカウントが開始されたカウンタ１０５の計測値である。また、「Ｔ１」時間は、複数の端末装置２００から送信される音声データを同時に受信したと判断できればよく、一例として、本実施の形態では「５００ミリ秒」とする。
【００５１】
計測時間が「Ｔ１」時間より短いと判断された場合（Ｓ１５：ＹＥＳ）、つまり、カウンタ１０５の計測値が５００ミリ秒より短い場合、全ての会話が停止したか否かが判断される（Ｓ１６）。つまり、同時会話を行っている端末装置２００のユーザの発話が停止され、音声データの受信が全て停止したか否かで判断される。
【００５２】
計測時間が「Ｔ１」時間以上であると判断された場合（Ｓ１５：ＮＯ）、つまり、カウンタ１０５の計測値が５００ミリ秒以上の場合、同時会話とは認識されず、Ｓ１１へ戻り、ユーザの発話による音声データを再度検出する。
【００５３】
全ての会話が停止していないと判断された場合（Ｓ１６：ＮＯ）、つまり、同時会話を行っている端末装置２００のユーザの発話が停止されず、音声データの受信が引き続き行われている場合、全ての会話が停止するまでＳ１６の判断処理を行う。
【００５４】
全ての会話が停止したと判断された場合（Ｓ１６：ＹＥＳ）、つまり、同時会話を行っている端末装置２００のユーザの発話が停止され、全ての音声データの受信が停止した場合、計測時間が所定の時間である「Ｔ２」時間より短いか否かが判断される（Ｓ１７）。「Ｔ２」時間は、複数の端末装置２００から送信された音声データが、複数の端末装置２００で同時に停止したと判断できればよく、一例として、本実施の形態では「２秒」とする。
【００５５】
計測時間が「Ｔ２」時間より短いと判断されなかった場合（Ｓ１７：ＮＯ）、つまり、計測時間が「Ｔ２」時間以上である場合、Ｓ１１へ戻る。また、計測時間が「Ｔ２」時間より短いと判断された場合（Ｓ１７：ＹＥＳ）、発話制御処理（図７参照）が行われ（Ｓ１８）、Ｓ１１へ戻る。
【００５６】
次に、図７を参照して発話制御処理について説明する。この発話制御処理は図６のメイン処理のＳ１８で実行される処理のサブルーチンである。
【００５７】
発話制御処理が実行されると、ＨＤＤ１０４の優先順位テーブル記憶エリア１４０１に記憶されている優先順位テーブル１１００が取得される（Ｓ２１）。次いで、優先順位テーブル１１００に基づいて優先端末が決定される（Ｓ２２）。優先端末とは同時発言、同時停止が検出された場合、音声データを送信した端末装置２００の内で、発話を促す旨の情報を送信するための端末装置２００のことである。ここで、一例として、図３に示すような優先順位テーブル１１００であれば、優先順位が「１」位である端末ＩＤが「端末Ａ」で特定される端末装置２００が優先端末として決定される。優先順位が「１」位である端末ＩＤで特定される端末装置２００のユーザが、同時発言、及び同時停止を行っていないのであれば、優先順位が「２」位以降の端末装置２００が優先端末の候補となる。
【００５８】
次いで、優先端末である端末装置２００に対して、ユーザに対して発話を促す旨の信号が発話制御信号として送信される（Ｓ２３）。ここで、具体的には、発話制御信号には「１」の値が設定され、優先端末に対して送信される。次いで、優先端末以外の他の端末装置２００に対して、ユーザに対して発話をさせないことを促す旨の信号が発話制御信号として送信される（Ｓ２４）。ここで、具体的には、発話制御信号には「０」の値が設定され、優先端末以外の他の端末装置２００に対して送信される。そして、発話制御処理が終了し、メイン処理（図６参照）へ戻る。
【００５９】
次に、上述したメイン処理の動作について、一例として、図８のタイミングチャートを参照して説明する。図８は、通信制御装置１００に接続している各端末装置２００から受信したユーザの発話による音声データ（「Ａ１」、「Ａ２」、及び「Ｂ１」）の時間的な推移を示している。
【００６０】
ここで、図３に示すように、優先順位テーブル１１００に記憶されている優先順位としては、音声データ（Ａ１）、及び音声データ（Ａ２）を送信した端末装置２００の優先順位の値が「１」、音声データ（Ｂ１）を送信した端末装置２００の優先順位の値が「２」とする。
【００６１】
まず、時刻ｔＡ１のタイミングで音声データ（Ａ１）の受信を開始する。そして、時刻ｔＢ１のタイミングで音声データ（Ｂ１）の受信を開始する。このタイミングで時間の判定処理が行われ、ｔＡ１時刻からｔＢ１時刻までの時間が所定時間である「Ｔ１」時間より短いか否かが判断される。ここで、ｔＡ１時刻からｔＢ１時刻までの時間が「Ｔ１」時間より短いため同時発言と認識される。
【００６２】
次いで、時刻ｔ１のタイミングで音声データ（Ａ１）の受信が停止する。そして、時刻ｔ２のタイミングで音声データ（Ｂ１）の受信が停止する。このタイミングで時間の判定処理が行われ、時刻ｔＡ１から時刻ｔ２までの時間が所定時間である「Ｔ２」時間より短いか否かが判断される。ここで、ｔＡ１時刻からｔ２時刻までの時間が「Ｔ２」時間より短いため同時停止と認識される。そして、優先順位テーブル１１００に基づいて、優先順位が「１」位に対応した端末装置２００が優先端末として決定され、優先端末に対して発話を促す旨の信号が発話制御信号として送信される。例えば、図３に示す優先順位テーブル１１００においては、端末ＩＤが「端末Ａ」で特定される端末装置２００が優先端末となる。
【００６３】
そして、端末ＩＤが「端末Ａ」で特定される端末装置２００から音声データが送信され、時刻ｔＡ２のタイミングで音声データ（Ａ２）の受信を開始する。
【００６４】
なお、上述したメイン処理において、計測時間が所定の時間である「Ｔ１」時間より短いか否かが判断される（図６：Ｓ１５参照）タイミングが、上述したタイミングチャートの時刻ｔＢ１のタイミングである。また、上述したメイン処理において、計測時間が所定の時間である「Ｔ２」時間より短いか否かが判断される（図６：Ｓ１７参照）タイミングが、上述したタイミングチャートの時刻ｔ２のタイミングである。
【００６５】
次に、上述したメイン処理の動作について、一例として、図９のタイミングチャートを参照して説明する。図９は、通信制御装置１００に接続している各端末装置２００から受信したユーザの発話による音声データ（「Ａ３」、「Ａ４」、及び「Ｂ２」）の時間的な推移を示している。
【００６６】
ここで、図３に示すように、優先順位テーブル１１００に記憶されている優先順位としては、音声データ（Ａ３）、及び音声データ（Ａ４）を送信した端末装置２００の優先順位の値が「１」、音声データ（Ｂ２）を送信した端末装置２００の優先順位の値が「２」とする。
【００６７】
まず、時刻ｔＡ３のタイミングで音声データ（Ａ３）の受信を開始する。そして、時刻ｔＢ２のタイミングで音声データ（Ｂ２）の受信を開始する。このタイミングで時間の判定処理が行われ、ｔＡ３時刻からｔＢ２時刻までの時間が所定時間である「Ｔ１」時間より短いか否かが判断される。ここで、ｔＡ３時刻からｔＢ２時刻までの時間が「Ｔ１」時間より短いため同時発言と認識される。
【００６８】
次いで、時刻ｔ３のタイミングで音声データ（Ｂ２）の受信が停止する。そして、時刻ｔ４のタイミングで音声データ（Ａ３）の受信が停止する。このタイミングで時間の判定処理が行われ、時刻ｔＡ３から時刻ｔ４までの時間が所定時間である「Ｔ２」時間より短いか否かが判断される。ここで、ｔＡ３時刻からｔ４時刻までの時間が「Ｔ２」時間より短いため同時停止と認識される。そして、優先順位テーブル１１００に基づいて、優先順位が「１」位に対応した端末装置２００が優先端末として決定され、優先端末に対して発話を促す旨の信号が発話制御信号として送信される。例えば、図３に示す優先順位テーブル１１００においては、端末ＩＤが「端末Ａ」で特定される端末装置２００が優先端末となる。
【００６９】
そして、端末ＩＤが「端末Ａ」で特定される端末装置２００から音声データが送信され、時刻ｔＡ４のタイミングで音声データ（Ａ４）の受信を開始する。
【００７０】
なお、上述したメイン処理において、計測時間が所定の時間である「Ｔ１」時間より短いか否かが判断される（図６：Ｓ１５参照）タイミングが、上述したタイミングチャートの時刻ｔＢ２のタイミングである。また、上述したメイン処理において、計測時間が所定の時間である「Ｔ２」時間より短いか否かが判断される（図６：Ｓ１７参照）タイミングが、上述したタイミングチャートの時刻ｔ４のタイミングである。
【００７１】
次に、上述したメイン処理の動作について、一例として、図１０のタイミングチャートを参照して説明する。図１０は、通信制御装置１００に接続している各端末装置２００から受信したユーザの発話による音声データ（「Ａ５」、及び「Ｂ３」）の時間的な推移を示している。
【００７２】
ここで、図３に示すように、優先順位テーブル１１００に記憶されている優先順位としては、音声データ（Ａ５）を送信した端末装置２００の優先順位の値が「１」、音声データ（Ｂ３）を送信した端末装置２００の優先順位の値が「２」とする。
【００７３】
まず、時刻ｔＡ５のタイミングで音声データ（Ａ５）の受信を開始する。そして、時刻ｔＢ３のタイミングで音声データ（Ｂ３）の受信を開始する。このタイミングで時間の判定処理が行われ、ｔＡ５時刻からｔＢ３時刻までの時間が所定時間である「Ｔ１」時間より短いか否かが判断される。ここで、ｔＡ５時刻からｔＢ３時刻までの時間が「Ｔ１」時間より短いため同時発言と認識される。
【００７４】
次いで、時刻ｔ５のタイミングで音声データ（Ａ５）の受信が停止する。そして、時刻ｔ６のタイミングで音声データ（Ｂ３）の受信が停止する。このタイミングで時間の判定処理が行われ、時刻ｔＡ５から時刻ｔ６までの時間が所定時間である「Ｔ２」時間より短いか否かが判断される。ここで、ｔＡ５時刻からｔ６時刻までの時間が「Ｔ２」時間以上であるため同時停止と認識されない。
【００７５】
なお、上述したメイン処理において、計測時間が所定の時間である「Ｔ１」時間より短いか否かが判断される（図６：Ｓ１５参照）タイミングが、上述したタイミングチャートの時刻ｔＢ３のタイミングである。また、上述したメイン処理において、計測時間が所定の時間である「Ｔ２」時間より短いか否かが判断される（図６：Ｓ１７参照）タイミングが、上述したタイミングチャートの時刻ｔ６のタイミングである。
【００７６】
次いで、図１１、図１２、及び図１３を参照して、端末装置２００で実行されるメイン処理について説明する。ここで、図１１のメイン処理は、端末装置２００の電源がＯＮになった際に、実行される。なお、端末装置２００の電源がＯＦＦになった際には、メイン処理を終了するものとする。また、端末装置２００で実行される他の処理は、他のプロセスで実行されているものとし、その詳細の説明は省略する。
【００７７】
メイン処理が実行されると、発話制御信号を受信したか否かが判断される（Ｓ３１）。この発話制御信号は、通信制御装置１００の発話制御処理（図７参照）のＳ２３、又はＳ２４で通信制御装置１００から送信される信号である。発話制御信号を受信していないと判断された場合（Ｓ３１：ＮＯ）、Ｓ３１へ戻り、判断処理を繰り返す。つまり、発話制御信号の受信を待機している状態となる。
【００７８】
発話制御信号を受信したと判断された場合（Ｓ３１：ＹＥＳ）、受信した発話制御信号がユーザに対して発話を促す旨の信号か否かが判断される（Ｓ３２）。つまり、発話制御信号の値が「１」か否かが判断される。
【００７９】
受信した発話制御信号がユーザに対して発話を促す旨の信号であると判断された場合（Ｓ３２：ＹＥＳ）、つまり、発話制御信号の値が「１」である場合、ユーザに対して発話を促す旨の情報がテレビ会議画面２７１の自身の端末装置に対応する個別領域２７２に表示される（Ｓ３３）。ここで、一例として、図１２に示すように、優先順位が高い端末ＩＤである「端末Ａ」で特定される端末装置２００に対応した個別領域２７２に「発言を続けてください」と表示される。そして、Ｓ３１へ戻る。
【００８０】
また、受信した発話制御信号がユーザに対して発話を促す旨の信号でないと判断された場合（Ｓ３２：ＮＯ）、発話制御信号の値が「１」でなく「０」の場合、ユーザに対して発話をさせないことを促す旨の情報がテレビ会議画面２７１の自身の端末装置２００に対応する個別領域２７２に表示される（Ｓ３４）。ここで、一例として、図１３に示すように、優先順位が低い端末ＩＤである「端末Ｂ」で特定される端末装置２００に対応した個別領域２７２に「発言を待ってください」と表示される。そして、Ｓ３１へ戻る。
【００８１】
以上説明したように、本実施の形態では、通信制御装置１００は複数の端末装置２００のユーザから同時発言、同時停止を検出すると、優先順位テーブル１１００に基づいて優先端末を決定する。そして、優先端末である端末装置２００に対して発話を促す旨の信号である発話制御信号が送信される。また、優先端末以外の端末装置２００に対しては発話をさせないことを促す旨の信号である発話制御信号が送信される。端末装置２００では、発話制御信号の値に基づいて、発話を促す旨の情報、又は発話をさせないことを促す旨の情報が自身の端末装置２００に対応する個別領域２７２に表示される。
【００８２】
これにより、データ通信中に複数のユーザの発言が同時発言であり、同時停止が起こった場合において、各端末装置２００に対してユーザに発話を促す指示、又はユーザに発話をさせないことを促す指示がなされ、各端末装置２００に対応する個別領域２７２にその旨が表示されるため、ユーザは自身の発言を続けていいか否かを考える必要がなくなる。その結果、同時発言、及び同時停止が起こっても、その後、ユーザはスムーズな会話をすることができる。
【００８３】
なお、図６のＳ１１：ＹＥＳを実行するＣＰＵ１０１が「第１発話検出手段」、及び「第１発話検出ステップ」に相当し、図６のＳ１４：ＹＥＳを実行するＣＰＵ１０１が「第２発話検出手段」、及び「第２発話検出ステップ」に相当する。図６のＳ１５：ＹＥＳを実行するＣＰＵ１０１が「同時発言認識手段」、及び「同時発言認識ステップ」に相当し、図６のＳ１６：ＹＥＳを実行するＣＰＵ１０１が「同時停止検出手段」、及び「同時停止検出ステップ」に相当する。図７のＳ２２を実行するＣＰＵ１０１が「優先端末決定手段」、及び「優先端末決定ステップ」に相当し、図７のＳ２３を実行するＣＰＵ１０１が「第１報知指示手段」、及び「第１報知指示ステップ」に相当する。
【００８４】
また、図６のＳ１２を実行するＣＰＵ１０１が「計測開始手段」に相当し、図６のＳ１５を実行するＣＰＵ１０１が「計測時間判断手段」に相当する。Ｔ１時間が、「第１所定時間」に相当し、Ｔ２時間が、「第２所定時間」に相当し、計時装置１０８が、「計測手段」に相当する。
【００８５】
また、端末ＩＤが、「識別情報」に相当し、ＨＤＤ１０４の優先順位テーブル記憶エリア１４０１が「優先順位記憶手段」に相当する。図１０のＳ３３を実行するＣＰＵ２０１が「第１報知制御手段」に相当し、図１０のＳ３４を実行するＣＰＵ２０１が「第２報知制御手段」に相当する。テレビ会議画面２７１が「表示画面」に相当し、図７のＳ２４を実行するＣＰＵ１０１が「第２報知指示手段」に相当する。
【００８６】
また、上述した実施の形態では、図１１の端末装置２００のメイン処理において、発話を促す旨の情報、及び発話をさせないことを促す情報を端末装置２００のテレビ会議画面２７１に表示するが、これに限定しない。例えば、発話を促す旨の情報、及び発話をさせないことを促す情報を、音声にて端末装置２００のスピーカ２６０からユーザに対して報知するようにしてもよい。これにより、ユーザがテレビ会議画面２７１を見ていない状況であっても自身の発言を続けていいか否かを判断することができる。
【００８７】
また、上述した実施の形態では、図７の発話制御処理で優先端末を決定する処理において、Ｓ２１で取得した優先順位テーブル１１００に基づいて優先端末を決定しているが、これに限定しない。例えば、通信制御装置１００において、最初に受信したユーザの発話による音声データを、送信した端末装置２００を優先端末として決定してもよい。これにより、容易に優先端末を決定することができ、同時発言、同時停止が起こっても、その後、ユーザはスムーズな会話をすることができる。また、他の方法を用いて優先端末を決定するようにしても問題はない。
【符号の説明】
【００８８】
１    通信制御システム
２    ネットワーク
１００    通信制御装置
１０１，２０１    ＣＰＵ
１０３，２０３    ＲＡＭ
１０４，２０４    ＨＤＤ
２００    端末装置
２０５    カウンタ
２０６    計時装置
２０７    入出力制御部
２０８    通信制御部
２４０    マイク
２６０    スピーカ
２７０    モニタ
２７１    テレビ会議画面
２７２    個別領域
１１００  優先順位テーブル
１４０１  優先順位テーブル記憶エリア
【図１】
2010212928.tif 000003
【図２】
2010212928.tif 000004
【図３】
2010212928.tif 000005
【図４】
2010212928.tif 000006
【図５】
2010212928.tif 000007
【図６】
2010212928.tif 000008
【図７】
2010212928.tif 000009
【図８】
2010212928.tif 000010
【図９】
2010212928.tif 000011
【図１０】
2010212928.tif 000012
【図１１】
2010212928.tif 000013
【図１２】
2010212928.tif 000014
【図１３】
2010212928.tif 000015