(57)【特許請求の範囲】
【請求項１】
ネットワークを介して複数の通信装置により送受信される通話情報の配布を制御する通信制御装置において、
前記複数の通信装置から送信される前記通話情報を受信する通話情報受信手段と、
前記通話情報受信手段により受信された前記通話情報を記録する通話情報記録手段と、
前記通話情報記録手段により記録された前記通話情報のうち、第１の通話情報と第２の通話情報が同時に送信されてきたと判定した場合、前記第１の通話情報と前記第２の通話情報を出力するタイミングの優先順位を設定する優先順位設定手段と、
前記優先順位設定手段により設定された前記優先順位に基づいて、前記第１の通話情報と前記第２の通話情報を時間的にずらして出力する通話情報出力手段と
を備え、
前記優先順位設定手段は、前記第１の通話情報と前記第２の通話情報の出力履歴に基づいて、過去の前記通話情報の音量に較べ、より大きな音量の前記通話情報に、より高い優先順位を設定する
通信制御装置。
【請求項２】
前記通話情報出力手段は、前記優先順位設定手段により設定された前記優先順位に基づいて、前記発生期間のうちの開始のタイミングが早い前記第１の通話情報の出力が終了したとき、前記発生期間のうちの開始のタイミングが、前記第１の通話情報より遅い前記第２の通話情報の出力を開始する
請求項１に記載の通信制御装置。
【請求項３】
ネットワークを介して複数の通信装置により送受信される通話情報の配布を制御する通信制御装置の通信制御方法において、
前記複数の通信装置から送信される前記通話情報を受信する通話情報受信ステップと、
前記通話情報受信ステップの処理により受信された前記通話情報を記録する通話情報記録ステップと、
前記通話情報記録ステップの処理により記録された前記通話情報のうち、第１の通話情報と第２の通話情報が同時に送信されてきたと判定した場合、前記第１の通話情報と前記第２の通話情報を出力するタイミングの優先順位を設定する優先順位設定ステップと、
前記優先順位設定ステップの処理により設定された前記優先順位に基づいて、前記第１の通話情報と前記第２の通話情報を時間的にずらして出力する通話情報出力ステップと
を含み、
前記優先順位設定ステップの処理においては、前記第１の通話情報と前記第２の通話情報の出力履歴に基づいて、過去の前記通話情報の音量に較べ、より大きな音量の前記通話情報に、より高い優先順位が設定される
通信制御方法。
【請求項４】
ネットワークを介して複数の通信装置により送受信される通話情報の配布を制御する通信制御装置の記録媒体において、
前記複数の通信装置から送信される前記通話情報を受信する通話情報受信ステップと、
前記通話情報受信ステップの処理により受信された前記通話情報を記録する通話情報記録ステップと、
前記通話情報記録ステップの処理により記録された前記通話情報のうち、第１の通話情報と第２の通話情報が同時に送信されてきたと判定した場合、前記第１の通話情報と前記第２の通話情報を出力するタイミングの優先順位を設定する優先順位設定ステップと、
前記優先順位設定ステップの処理により設定された前記優先順位に基づいて、前記第１の通話情報と前記第２の通話情報を時間的にずらして出力する通話情報出力ステップと
を含み、
前記優先順位設定ステップの処理においては、前記第１の通話情報と前記第２の通話情報の出力履歴に基づいて、過去の前記通話情報の音量に較べ、より大きな音量の前記通話情報に、より高い優先順位が設定される
コンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項５】
ネットワークを介して複数の通信装置により送受信される通話情報の配布を制御する通信制御装置において、
コンピュータに、
前記複数の通信装置から送信される前記通話情報を受信する通話情報受信ステップと、
前記通話情報受信ステップの処理により受信された前記通話情報を記録する通話情報記録ステップと、
前記通話情報記録ステップの処理により記録された前記通話情報のうち、第１の通話情報と第２の通話情報が同時に送信されてきたと判定した場合、前記第１の通話情報と前記第２の通話情報を出力するタイミングの優先順位を設定する優先順位設定ステップと、
前記優先順位設定ステップの処理により設定された前記優先順位に基づいて、前記第１の通話情報と前記第２の通話情報を時間的にずらして出力する通話情報出力ステップと、
を含み、
前記優先順位設定ステップの処理においては、前記第１の通話情報と前記第２の通話情報の出力履歴に基づいて、過去の前記通話情報の音量に較べ、より大きな音量の前記通話情報に、より高い優先順位が設定される
処理を実行させるプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、通信制御装置および方法、記録媒体、並びにプログラムに関し、特に、テレビ会議システムにおいて、複数の発言が重複した場合であっても、それぞれの発言を容易に聞き取ることができ、快適なコミュニケーションを図ることができるようにした通信制御装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
近年、通信技術の発達に伴い、それぞれが遠隔地にいる３人以上のユーザが同時に会話することができる通話システムが提案されている。例えば、このような通話システムを利用して、テレビ会議を行うことが可能となる。
【０００３】
本出願人は、テレビ会議において、複数のユーザの発言のタイミングが重なった場合に、それぞれの発言を聞き易くするため、所定のユーザと他のユーザとの会話時間を記憶し、その記憶情報に基づいて、それぞれの音声の出力に対して重み付けをし、音量を制御することにより、主たる音声以外の音声を抑制することを特開2000-49948号公報に、先に開示している。
【０００４】
【発明が解決しようとする課題】
しかしながら、この先に提案した通話システムにおいては、各ユーザとの過去の会話時間に基づいて、各ユーザに対する他のユーザの発音の出力音量が制御されるため、頻繁に会話をしていなかった他のユーザからの音声が抑制されることになる。したがって、頻繁に会話をしていなかった他のユーザが突然、重要な発言をした場合に、その発言を聞き逃すおそれがあった。また、主たる発言以外の従たる発言の音量が抑制されるものの、それらの発言は、常時、出力されているため、現在会話しているユーザとの会話に集中できないという課題もあった。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、複数のユーザが同時に発言した場合に、時間的にずらして出力することにより、３人以上が同時に会話する場合であっても、快適なコミュニケーションを図ることができるようにするものである。
【０００６】
【課題を解決するための手段】
本発明の通信制御装置は、複数の通信装置から送信される通話情報を受信する通話情報受信手段と、通話情報受信手段により受信された通話情報を記録する通話情報記録手段と、通話情報記録手段により記録された通話情報のうち、第１の通話情報と第２の通話情報が同時に送信されてきたと判定した場合、第１の通話情報と第２の通話情報を出力するタイミングの優先順位を設定する優先順位設定手段と、優先順位設定手段により設定された優先順位に基づいて、第１の通話情報と第２の通話情報を時間的にずらして出力する通話情報出力手段とを備え、優先順位設定手段は、第１の通話情報と第２の通話情報の出力履歴に基づいて、過去の通話情報の音量に較べ、より大きな音量の通話情報に、より高い優先順位を設定する。
【０００７】
通話情報出力手段は、優先順位設定手段により設定された優先順位に基づいて、発生期間のうちの開始のタイミングが早い第１の通話情報の出力が終了したとき、発生期間のうちの開始のタイミングが、第１の通話情報より遅い第２の通話情報の出力を開始するようにすることができる。
【００１２】
本発明の通信制御装置の通信制御方法は、複数の通信装置から送信される通話情報を受信する通話情報受信ステップと、通話情報受信ステップの処理により受信された通話情報を記録する通話情報記録ステップと、通話情報記録ステップの処理により記録された通話情報のうち、第１の通話情報と第２の通話情報が同時に送信されてきたと判定した場合、第１の通話情報と第２の通話情報を出力するタイミングの優先順位を設定する優先順位設定ステップと、優先順位設定ステップの処理により設定された優先順位に基づいて、第１の通話情報と第２の通話情報を時間的にずらして出力する通話情報出力ステップとを含み、優先順位設定ステップの処理においては、第１の通話情報と第２の通話情報の出力履歴に基づいて、過去の通話情報の音量に較べ、より大きな音量の通話情報に、より高い優先順位が設定される。
【００１３】
本発明の記録媒体のプログラムは、複数の通信装置から送信される通話情報を受信する通話情報受信ステップと、通話情報受信ステップの処理により受信された通話情報を記録する通話情報記録ステップと、通話情報記録ステップの処理により記録された通話情報のうち、第１の通話情報と第２の通話情報が同時に送信されてきたと判定した場合、第１の通話情報と第２の通話情報を出力するタイミングの優先順位を設定する優先順位設定ステップと、優先順位設定ステップの処理により設定された優先順位に基づいて、第１の通話情報と第２の通話情報を時間的にずらして出力する通話情報出力ステップとを含み、優先順位設定ステップの処理においては、第１の通話情報と第２の通話情報の出力履歴に基づいて、過去の通話情報の音量に較べ、より大きな音量の通話情報に、より高い優先順位が設定される。
【００１４】
本発明のプログラムは、コンピュータに、複数の通信装置から送信される通話情報を受信する通話情報受信ステップと、通話情報受信ステップの処理により受信された通話情報を記録する通話情報記録ステップと、通話情報記録ステップの処理により記録された通話情報のうち、第１の通話情報と第２の通話情報が同時に送信されてきたと判定した場合、第１の通話情報と第２の通話情報を出力するタイミングの優先順位を設定する優先順位設定ステップと、優先順位設定ステップの処理により設定された優先順位に基づいて、第１の通話情報と第２の通話情報を時間的にずらして出力する通話情報出力ステップとを含み、優先順位設定ステップの処理においては、第１の通話情報と第２の通話情報の出力履歴に基づいて、過去の通話情報の音量に較べ、より大きな音量の通話情報に、より高い優先順位が設定される処理を実行させる。
【００１５】
本発明の通信制御装置および方法、記録媒体、並びにプログラムにおいては、複数の通信装置から送信される通話情報が受信され、受信された通話情報が記録される。そして、記録された通話情報のうち、第１の通話情報と第２の通話情報が同時に送信されてきたと判定した場合、第１の通話情報と第２の通話情報を出力するタイミングの優先順位が設定され、設定された優先順位に基づいて、第１の通話情報と第２の通話情報が時間的にずらして出力される。また、第１の通話情報と第２の通話情報の出力履歴に基づいて、過去の通話情報の音量に較べ、より大きな音量の通話情報に、より高い優先順位が設定される。
【００１６】
【発明の実施の形態】
図１は、本発明を適用した通話システムの概念を説明する図である。なお、それぞれの装置の詳細な構成については、図２のブロック図を参照して後述する。
【００１７】
図１に示すように、この通話システムにおいては、ユーザA乃至Dが、それぞれに用意されている通話機器１A乃至１D（以下、通話機器１A乃至１Dのそれぞれを個々に区別する必要がない場合、まとめて通話機器１と称する。他の装置についても同様とする）を利用して、公衆回線網などよりなるネットワーク５を介して同時に通話をすることができ、例えば、遠隔地のユーザが電話会議などを行うことができる。なお、通話機器１Aは、音声処理装置２A、スピーカ３A、およびマイクロフォン４Aから構成されている。通話機器１B乃至１Dも同様に、それぞれ、音声処理装置２B乃至２D、スピーカ３B乃至３D、およびマイクロフォン４B乃至４Dから構成されている。
【００１８】
また、ネットワーク５には、ユーザA乃至Dから発言され、通話機器１からネットワーク５上に出力された音声情報を、各通話機器１に配布する通話制御サーバ６が接続されている。
【００１９】
通話制御サーバ６は、例えば、通話機器１Aを介してネットワーク５上に出力されたユーザAの音声情報の発生期間（発言期間）と、通話機器１Bを介してネットワーク５上に出力されたユーザBの音声情報の発生期間に、時間的に重複している部分がある場合、それぞれの音声情報が各通話機器１に出力されるタイミングの優先順位を設定し、優先順位に基づいて、それぞれの音声情報の出力のタイミングを制御する。
【００２０】
通話制御サーバ６は、例えば、ユーザAから発言された音声情報の優先順位を１位と、ユーザBから発言された音声情報の優先順位を２位と、それぞれ設定した場合、始めに、ユーザAの発言（音声情報）を各通話機器１に出力し、ユーザAの発言の出力が終了したとき、ユーザBの発言を各通話機器１に出力する。すなわち、通話制御サーバ６には、内部に音声情報の記憶部（音声情報記録部２３（図２参照））が設けられており、それぞれの音声情報が重複することなく、時間的にずれて出力されるため、複数のユーザが同時に発言をした場合であっても、１人のユーザの発言が他のユーザの発言により聞こえ難くなるといったことが抑制でき、各ユーザの全ての発言を容易に聞き取ることができる。
【００２１】
図２は、図１の通話システムを構成する装置の詳細な構成例を示すブロック図である。
【００２２】
通話機器１Aは、上述したように、音声処理装置２A、スピーカ３A、およびマイクロフォン４Aから構成されている。そして、音声処理装置２Aはさらに、内部に音声情報処理部１１A、送信部１２A、および受信部１３Aを有している。
【００２３】
音声情報処理部１１Aは、マイクロフォン４Aから入力されてきたユーザAの音声信号に、増幅、およびアナログディジタル変換処理などを施し、ユーザAの音声情報Aを生成する。また、音声情報処理部１１Aは、ネットワーク５のデータ伝送フォーマットに応じて、音声情報Aに所定の処理を施し、それを送信部１２Aに供給する。
【００２４】
また、音声情報処理部１１Aは、受信部１３Aにおいて受信され、供給されてきた音声情報（通話制御サーバ６により生成される出力音声情報）からなる信号に対して、増幅、およびディジタルアナログ変換処理などを施し、スピーカ３Aに出力する。
【００２５】
送信部１２Aは、音声情報処理部１１Aから供給されてきた音声情報Aをネットワーク５を介して通話制御サーバ６に送信する。
【００２６】
受信部１３Aは、ネットワーク５を介して通話制御サーバ６から送信されてき音声情報からなる信号を受信し、音声情報処理部１１Aに供給する。
【００２７】
ユーザB乃至Dにそれぞれ設けられている通話機器１B乃至１Dの音声処理装置２B乃至２Dは、通話機器１Aの音声処理装置２Aと同様に、音声情報処理部１１B乃至１１D、送信部１２B乃至１２D，並びに受信部１３B乃至１３Dをそれぞれ有している。
【００２８】
通話制御サーバ６の受信部２１は、各通話機器１の送信部１２から送信されてきた音声情報A乃至D（ユーザA乃至Dの発言）からなる信号（情報の送信先として通話制御サーバ６を指定する情報が含まれている信号）を受信し、音声情報処理部２２に供給する。受信部２１において受信される信号には、通話機器１A乃至１Dのうち、いずれの通話機器から送信されたものであるのかを示すアドレス情報も含められている。
【００２９】
音声情報処理部２２は、受信部２１から供給されてきた信号に対して、復調処理、アナログディジタル変換処理などを施して、ユーザA乃至Dのそれぞれの音声情報A乃至Dを取得し、音声情報記録部２３に供給する。
【００３０】
音声情報記録部２３は、例えば、ハードディスクなどの記録媒体、およびそのドライブから構成され、優先順位設定部２４からの指示に基づいて、音声情報処理部２２から供給されてきた音声情報A乃至Dを記録する。
【００３１】
優先順位設定部２４は、受信部２１からの通知に基づいて、音声情報A乃至Dの受信のタイミングを検出する。また、優先順位設定部２４は、受信部２１において受信された複数の音声情報の受信期間（ユーザA乃至Dの発言の期間）に、時間的に重複する部分があると判定した場合、各通話機器１のスピーカ３に音声情報（ユーザA乃至Dの発言）を出力させるタイミングの優先順位を、出力履歴情報記憶部２５に記憶されている出力履歴情報などに基づいて、受信された音声情報毎に設定する。そして、優先順位設定部２４は、設定した優先順位を後段の出力音声情報生成部２６に通知するとともに、その優先順位が設定されている音声情報を音声情報記録部２３から読み出し、出力音声情報生成部２６に供給する。
【００３２】
出力音声情報生成部２６は、優先順位設定部２４から供給されてきた音声情報を、通知された優先順位に基づいて並び替え、時間的に重複する部分がない音声情報としての出力音声情報を生成し、ネットワーク５の伝送フォーマットに応じた情報とし、それを送信部２７に供給する。
【００３３】
送信部２７は、出力音声情報生成部２６から供給されてきた出力音声情報（ユーザA乃至Dの音声情報が並び替えられた情報）をネットワーク５を介して、各通話機器１に送信する。
【００３４】
次に、図３のフローチャートを参照して、図１の通話制御サーバ６の通話制御処理について説明する。図４は、通話機器１から送信されてきた音声情報と、通話制御サーバ６において生成される出力音声情報の例を示す図であり、図３の説明において、適宜、参照する。
【００３５】
ステップS１において、優先順位設定部２４は、受信部２１からの通知に基づいて、音声情報を含む信号が通話機器１からネットワーク５を介して送信されてきたか否かを判定し、送信されてきたと判定するまで待機する。
【００３６】
優先順位設定部２４は、ステップS１で、音声情報を含む信号が、いずれかの通話機器１から送信されてきたと判定した場合、ステップS２に進み、音声情報処理部２２を制御し、音声情報を取得する。例えば、優先順位設定部２４は、ステップS１で、音声情報Aを含む信号が通話機器１Aから送信されてきたと判定した場合、ステップS２に進み、音声情報処理部２２を制御し、受信された信号に対して増幅およびアナログディジタル変換処理などを施し、音声情報A（ユーザAの発言）を取得する。
【００３７】
ステップS３において、優先順位設定部２４は、音声情報記録部２３を制御し、ステップS２で取得した音声情報を記録する。上述した例の場合、音声情報記録部２３は、優先順位設定部２４からの指示に基づいて、内蔵するハードディスクに音声情報Aを記録する。
【００３８】
以上の処理により、例えば、図４に示すような時刻tA1乃至tA2の期間の音声情報Aが、音声情報記録部２３に記録される。なお、図４は、横軸を時間軸としている。
【００３９】
そして、優先順位設定部２４は、ステップS４で、音声情報記録部２３に記録された音声情報に対して、通話機器１のスピーカ３に出力させるタイミングの優先順位を設定する。例えば、上述したように、時刻tA1乃至tA2の期間の音声情報Aが音声情報記録部２３に記録されており、他の通話機器（通話機器１B乃至１D）から、同時に音声情報が送信されてきていない場合（図４の時刻tA1乃至tD1までの期間の場合）、優先順位設定部２４は、音声情報Aを、最優先に出力する音声情報とし、その優先順位を１位として設定する。
【００４０】
また、優先順位設定部２４は、ステップS４で、設定した優先順位を出力音声情報生成部２６に対して通知するとともに、その優先順位を設定した音声情報を、音声情報記録部２３から読み出して供給する。優先順位設定部２４により実行される優先順位設定処理の詳細については、図５、図７、および図９のフローチャートを参照して後述する。
【００４１】
ステップS５において、出力音声情報生成部２６は、優先順位設定部２４から通知されてきた優先順位に基づいて、出力音声情報を生成し、送信部２７に供給する。上述した例のように、ステップS４で、音声情報Aの優先順位が１位として設定されている場合、出力音声情報生成部２６は、図４の出力音声情報の例に示すように、音声情報Aが最優先に通話機器１に送信され、スピーカ３から出力されるように、時刻tout1乃至tout2の期間の出力音声情報を生成する。なお、図４に示すように、時刻tout1は時刻tA1に、時刻tout2は時刻tA2に、それぞれ対応する（同一の）時刻となる。実際には、伝達遅延が発生するが、ここでは無視するものとする。
【００４２】
出力音声情報生成部２６は、ステップS６において、ステップS５で生成した出力音声情報の履歴を出力履歴情報として出力履歴情報記憶部２５に登録する。すなわち、音声情報生成部２６は、時刻tout1乃至tout2の期間に、音声情報Aを通話機器１のスピーカ３に出力させるように処理したことを出力履歴情報記憶部２５に登録する。
【００４３】
ステップS７において、送信部２７は、出力音声情報生成部２６から供給されてきた出力音声情報をネットワーク５を介して各通話機器１A乃至１Dに出力する。これにより、例えば、図４に示すように、ユーザAが時刻tA1乃至tA2のタイミングで発言した場合、時刻tout1乃至tout2（時刻tA1乃至tA2）の期間の出力音声情報が生成され、各通話機器１A乃至１Dのスピーカ３A乃至３Dに、ユーザAの発言として出力される。
【００４４】
ステップS８において、優先順位設定部２４は、優先順位が１位として設定されている音声情報が通話機器１のスピーカ３に出力されている間（時刻tout1乃至tout2の期間）に、いずれかの通話機器１から音声情報を含む信号が送信されてきたか否かを判定し、送信されてきたと判定した場合、ステップS２に戻り、それ以降の処理を繰り返し実行する。すなわち、受信された音声情報の優先順位がステップS４において設定され、ステップS５で、現在、出力している音声情報の出力が終了したときに出力される音声情報として（出力待ちの音声情報として）、出力音声情報が生成される。
【００４５】
例えば、図４に示すように、音声情報Aが通話機器１のスピーカ３に出力されている期間（時刻tout1乃至tout2の期間）に、時刻tD1乃至tD2の期間の音声情報Dを含む信号が通話機器１Dから送信されてきた場合、優先順位設定部２４は、ステップS４において、音声情報Dの優先順位を２位として設定する。そして、出力音声情報生成部２６は、優先順位が１位として設定されている音声情報Aの出力が終了したときに、音声情報Dが通話機器１のスピーカ３に出力されるように、音声情報Dを含む出力音声情報を生成する。すなわち、時刻tD1にユーザDにより発言された音声情報Dは、時刻tD1より遅い、時刻tout2のタイミングで、各通話機器１のスピーカ３から出力されるように制御される。
【００４６】
一方、ステップS８において、優先順位設定部２４は、通話機器１から音声情報を含む信号が送信されてきていないと判定した場合、ステップS９に進み、優先順位が１位として設定されている音声情報の出力が終了したか否かを判定する。
【００４７】
優先順位設定部２４は、ステップS９で、優先順位が１位として設定されている音声情報の出力が終了していないと判定した場合、ステップS７に戻り、優先順位が１位として設定されている音声情報の出力を継続し、それ以降の処理を繰り返し実行する。
【００４８】
また、優先順位設定部２４は、ステップS９において、優先順位が１位として設定されている音声情報の出力が終了したと判定した場合、ステップS１０に進み、優先順位が２位以降として設定されている出力待ちの音声情報が存在するか否かを判定し、存在すると判定した場合、ステップS１１に進む。
【００４９】
ステップS１１において、優先順位設定部２４は、優先順位が２位以降として設定されている音声情報の優先順位を、それぞれ、１づつ繰り上げて、ステップS７に戻り、優先順位が１位として新たに設定された音声情報を各通話機器１のスピーカ３に出力させるべく、生成した出力音声情報を出力する。
【００５０】
一方、優先順位設定部２４は、ステップS１０で、優先順位が２位以降として設定されている出力待ちの音声情報が存在しないと判定した場合、ステップS１に戻り、それ以降の処理を繰り返し実行する。
【００５１】
上述した処理により、図４に示すように、時刻tA1乃至tA2でマイクロフォン４Aに入力されたユーザAの発言は、時刻tout1乃至tout2（時刻tA1乃至tA2）のタイミングでスピーカ３A乃至３Dに出力され、時刻tD1乃至tD2でマイクロフォン４Dに入力されたユーザDの発言は、時刻tout2乃至tout3のタイミングでスピーカ３A乃至３Dに出力される。また、同様に、時刻tC1乃至tC2でマイクロフォン４Cに入力されたユーザCの発言は、時刻tout3乃至tout4のタイミングでスピーカ３A乃至３Dに出力され、時刻tB1乃至tB2でマイクロフォン４Bに入力されたユーザBの発言は、時刻tout4乃至tout5のタイミングでスピーカ３A乃至３Dに出力される。
【００５２】
このように、複数のユーザからの発言期間が重複した場合、優先順位を設定し、優先順位に基づいて、それぞれの発言をずらして出力することにより、複数のユーザが同時に発言した場合であっても、各ユーザは発言内容を容易に聞き取ることができる。
【００５３】
また、以上においては、通話機器１から音声情報が通話制御サーバ６に送信され、優先順位に基づいて、スピーカ３からタイミングをずらして出力されるとしたが、本発明は、ユーザA乃至Dが、相互に顔を確認しながら会話ができるテレビ付き通話システム（テレビ会議システム）にも適用することができる。この場合、通話機器１にそれぞれ設けられているカメラから撮影された画像情報は、通話情報とともにネットワーク５を介して通話制御サーバ６に供給される。通話制御サーバ６は、音声情報を音声情報記録部２３に記録するとともに、画像情報も内蔵する記録部に記録し、音声情報がスピーカ３に出力されるタイミングと、画像情報が、通話機器１に設けられているモニタに表示されるタイミングが一致するように、優先順位に基づいて、出力音声／画像情報を生成し、通話機器１に送信する。
【００５４】
次に、図５のフローチャートを参照して、図３のステップS４において優先順位設定部２４により実行される優先順位設定処理について説明する。また、図６は、音声情報と、それにより生成される出力音声情報の他の例を示す図であり、図５の説明において、適宜、参照する。
【００５５】
ステップS２１において、優先順位設定部２４は、受信部２１からの通知に基づいて、複数の通話機器１から、同時に音声情報が送信されてきたか否か（ユーザA乃至Dのうち同時に発言した者がいるか否か）を判定する。
【００５６】
優先順位設定部２４は、ステップS２１で、複数の通話機器１から同時に音声情報が送信されてきていないと判定した場合、ステップS２２に進み、送信されてきた音声情報の優先順位を、既に設定されている優先順位に続く優先順位として（既に設定されている優先順位を含め、最下位の優先順位として）設定する。
【００５７】
すなわち、図６に示すように、時刻tA11のタイミングで音声情報Aが受信された場合（複数の通話機器１から同時に音声情報が送信されてきていない場合）、音声情報Aの優先順位が１位として設定される。その後、上述したように、図３のステップS５で、出力音声情報が生成され、時刻tout11（時刻tA11）のタイミングで、各通話機器１のスピーカ３にユーザAの発言が出力される。また、図６に示すように、優先順位が１位として設定されている音声情報Aが出力されている間に、ユーザBが発言し、音声情報Bが受信された場合、優先順位設定部２４は、音声情報Bの優先順位を２位として設定し、出力待ちの音声情報とする。このように、複数の通話機器１から同時に音声情報が送信されてきていない場合、送信されてきた音声情報の順番に、より上位の優先順位が設定される。
【００５８】
一方、ステップS２１において、優先順位設定部２４は、受信部２１からの通知に基づいて、複数の通話機器１から、同時に音声情報が送信されてきたと判定した場合（複数のユーザが同時に発言した場合）、ステップS２３に進む。
【００５９】
優先順位設定部２４は、ステップS２３において、出力履歴情報記憶部２５に記憶されている出力履歴情報に基づいて、発言した回数が少ない順に、より上位の優先順位を設定する。例えば、図６に示すように、ユーザAとユーザCが同時（時刻tA13（時刻tC11））に発言した場合、優先順位設定部２４は、出力履歴情報に基づいて、ユーザAにより発言された音声情報Aは、既に１度出力されているのに対して、ユーザCの音声情報Cはまだ１度も出力されていないので、時刻tA13乃至tA14の期間の音声情報Aの優先順位より、より上位の優先順位を時刻tC11乃至tC12の音声情報Cに設定する。
【００６０】
すなわち、時刻tA13においては、音声情報Bの優先順位が１位として設定され、出力されているため、音声情報Cの優先順位が２位として設定され、時刻tA13乃至tA14の期間の音声情報Aの優先順位が３位として設定される。これにより、音声情報Bの出力が終了したとき（時刻tout13）、時刻tC11乃至tC12の期間の音声情報Cがスピーカ３に出力され、その出力が終了したとき（時刻tout14）、時刻tA13乃至tA14の期間の音声情報Aが出力されることになる。なお、図６においては、時刻tA13乃至tA14の期間の音声情報Aの出力が終了したとき（時刻tout15）、音声情報Dが出力される。
【００６１】
図５の説明に戻り、ステップS２２またはS２３の処理が実行された後、ステップS２４に進む。
【００６２】
ステップS２４において、優先順位設定部２４は、ステップS２２またはS２３で設定した優先順位を後段の出力音声情報生成部２６に通知するとともに、その優先順位が設定されている音声情報を、音声情報記録部２３から読み出し、出力音声情報生成部２６に供給する。その後、図３のステップS５以降の処理が実行される。
【００６３】
このように、発言回数がより少ないユーザからの発言を優先して出力することにより、すべてのユーザが平等に発言することができる。
【００６４】
次に、図７のフローチャートを参照して、図３のステップS４において優先順位設定部２４により実行される他の優先順位設定処理について説明する。
【００６５】
ステップS３１およびS３２の処理は、図５を参照して説明したステップS２１およびS２２の処理と同様の処理である。すなわち、優先順位設定部２４は、ステップS３１で、受信部２１からの通知に基づいて複数の通話機器１から同時に音声情報が送信されてきたか否かを判定し、同時に送信されてきていないと判定した場合、ステップS３２において、その音声情報の優先順位を、既に設定している優先順位に続く優先順位として設定する。
【００６６】
一方、ステップS３１において、優先順位設定部２４は、複数の通話機器１から同時に音声情報が送信されてきたと判定した場合、ステップS３３に進む。
【００６７】
ステップS３３において、優先順位設定部２４は、出力履歴情報記憶部２５に記憶されている出力履歴情報を読み出し、それに基づいて、過去の発言において、合計の発言時間が短い順に、より上位の優先順位を設定する。
【００６８】
図８は、通話機器１から送信されてきた音声情報と、通話制御サーバ６により生成された出力音声情報のさらに他の例を示す図である。
【００６９】
図８においては、ユーザBの発言と、ユーザCの発言のタイミングが同時（時刻tB23（時刻tC23））とされており、この場合、優先順位設定部２４は、ステップS３３において、ユーザBとユーザCの出力履歴情報を出力履歴情報記憶部２５から読み出し、それぞれの発言の合計時間を比較する。この例においては、ユーザBとユーザCは、過去に１度づつ発言している状態（時刻tB21乃至tB22の期間の音声情報B、および時刻tC21乃至tC22の期間の音声情報C）とされているが、時刻tB21乃至tB22の期間の方が、時刻tC21乃至tC22の期間より長いため、優先順位設定部２４は、時刻tC23乃至tC24の期間の音声情報Cに、時刻tB23乃至tB24の期間の音声情報Bよりも、より上位の優先順位を設定する。
【００７０】
そして、ステップS３４において、出力音声情報生成部２６に設定した優先順位を通知するとともに、その優先順位が設定されている音声情報を供給する。これにより、図３のステップS５において、図８に示すような出力音声情報が生成される。
【００７１】
なお、出力時間の合計が、より長い順に、より上位の優先順位を設定するようにしてもよい。
【００７２】
以上においては、過去の出力回数、または過去の出力時間の合計に基づいて、優先順位が設定されるとしたが、受信された音声情報の特徴に基づいて、優先順位を設定するようにしてもよい。
【００７３】
次に、このような場合に、図３のステップS４において優先順位設定部２４により実行される、さらに他の優先順位設定処理について、図９のフローチャートを参照して説明する。
【００７４】
ステップS４１およびS４２の処理は、図５を参照して説明したステップS２１およびS２２、図７を参照して説明したステップS３１およびS３２の処理と同様の処理であり、優先順位設定部２４は、受信部２１からの通知に基づいて、複数の通話機器１から同時に音声情報が送信されてきたか否かを判定し、同時に送信されてきていないと判定した場合、ステップS４２において、その音声情報の優先順位を、既に設定している優先順位に続く優先順位として設定する。
【００７５】
ステップS４１において、優先順位設定部２４は、複数の通話機器１から同時に音声情報が送信されてきたと判定した場合、ステップS４３に進む。
【００７６】
優先順位設定部２４は、ステップS４３で、出力履歴情報記憶部２５に記憶されている出力履歴情報を読み出し、今回、受信された音声情報の音量が、過去の音声情報の平均の音量に比べて、より大きく上回っている順に、より上位の優先順位を設定する。
【００７７】
例えば、図８に示す例のように、ユーザBの発言と、ユーザCの発言のタイミングが同時（時刻tB23（時刻tC23））とされた場合、優先順位設定部２４は、ステップS４３において、ユーザBによる時刻tB21乃至tB22の期間の音声情報Bの平均の音量と、時刻tB23乃至tB24の期間の音声情報Bの平均の音量を比較する。また、優先順位設定部２４は、ユーザCによる時刻tC21乃至tC22の期間の音声情報Cの平均の音量と、時刻tC23乃至tC24の期間の音声情報Cの平均の音量を比較し、今回の音声情報の音量が、過去の音声情報の平均の音量よりも大きく上回っている方の音声情報に、より上位の優先順位を設定する。例えば、時刻tB23乃至tB24の期間の音声情報Bの平均の音量と、時刻tB21乃至tB22の期間の音声情報Bの平均の音量との差が、時刻tC23乃至tC24の期間の音声情報Cの平均の音量と時刻tC21乃至tC22の期間の音声情報Cの平均の音量との差より大きいとき、音声情報Bに上位の優先順位が設定される。
【００７８】
ステップS４３で設定された優先順位と、その音声情報は、ステップS４４で、出力音声情報生成部２６に供給される。
【００７９】
一般的に、重要性がより高い発言は、大きな声で発言されるため、上述した処理により、より重要な発言を先に聞くことができ、電話会議などをよりスムーズに進めることができる。
【００８０】
このように、様々な情報に基づいて優先順位を設定することができる。例えば、受信された音声情報を周波数分析し、女性からの発言を、男性からの発言よりも優先させて出力するようにすることもできる。また、ユーザA乃至Dが、予め話し合い、それぞれの発言の優先順位を、自ら設定するようにしてもよい。
【００８１】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。この場合、例えば、通話制御サーバ６は、図１０に示されるようなパーソナルコンピュータ４１により構成される。
【００８２】
図１０において、CPU（Central Processing Unit）５１は、ROM（Read Only Memory）５２に記憶されているプログラム、または、記憶部５８からRAM（Random Access Memory）５３にロードしたプログラムに従って各種の処理を実行する。RAM５３にはまた、CPU５１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
【００８３】
CPU５１、ROM５２、およびRAM５３は、バス５４を介して相互に接続されている。このバス５４にはまた、入出力インタフェース５５も接続されている。
【００８４】
入出力インタフェース５５には、キーボード、マウスなどよりなる入力部５６、CRT(Cathode Ray Tube)，LCD(Liquid Crystal Display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部５７、ハードディスクなどより構成される記憶部５８、モデム、ターミナルアダプタなどより構成される通信部５９が接続されている。通信部５９は、ネットワーク５を介しての通信処理を行う。
【００８５】
入出力インタフェース５５にはまた、必要に応じてドライブ６０が接続され、磁気ディスク６１、光ディスク６２、光磁気ディスク６３、或いは半導体メモリ６４などが適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部５８にインストールされる。
【００８６】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【００８７】
この記録媒体は、図１０に示すように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク６１（フロッピディスクを含む）、光ディスク６２（CD-ROM(Compact Disk-Read Only Memory)，DVD(Digital Versatile Disk)を含む）、光磁気ディスク６３（MD(Mini-Disk)を含む）、もしくは半導体メモリ６４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５２や、記憶部５８に含まれるハードディスクなどで構成される。
【００８８】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００９０】
【発明の効果】
本発明の通信制御装置および方法、記録媒体、並びにプログラムによれば、複数のユーザが同時に発言した場合であっても、それぞれの発言を容易に聞き取ることができ、快適なコミュニケーションを図ることができる。
【図面の簡単な説明】
【図１】本発明を適用した通話システムの概念を示す図である。
【図２】図１の通話システムの各装置の構成例を示すブロック図である。
【図３】図１の通話制御サーバの処理を説明するフローチャートである。
【図４】音声情報と出力音声情報の例を示す図である。
【図５】図２の優先順位設定部の処理を説明するフローチャートである。
【図６】音声情報と出力音声情報の他の例を示す図である。
【図７】図２の優先順位設定部の他の処理を説明するフローチャートである。
【図８】音声情報と出力音声情報のさらに他の例を示す図である。
【図９】図２の優先順位設定部のさらに他の処理を説明するフローチャートである。
【図１０】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
６  通話制御サーバ，  ２１  受信部，  ２２  音声情報処理部，  ２３  音声情報記録部，  ２４  優先順位設定部，  ２５  出力履歴情報記憶部，  ２６出力音声情報生成部，  ２７  送信部，  ５１  CPU，  ５２  ROM，  ５３  RAM，  ５４  バス，  ５５  入出力インタフェース，  ５６  入力部，  ５７出力部，  ５８  記憶部，  ５９  通信部，  ６０  ドライブ，  ６１  磁気ディスク，  ６２  光ディスク，  ６３  光磁気ディスク，  ６４  半導体メモリ
【図１】
0004802370.tif 000002
【図２】
0004802370.tif 000003
【図３】
0004802370.tif 000004
【図４】
0004802370.tif 000005
【図５】
0004802370.tif 000006
【図６】
0004802370.tif 000007
【図７】
0004802370.tif 000008
【図８】
0004802370.tif 000009
【図９】
0004802370.tif 000010
【図１０】
0004802370.tif 000011