(57)【要約】【課題】複数の通信端末がカスケード形態で接続された状態で音声通信を行う場合において、話者毎に分離した音声を伝送することのできる技術を提供する。【解決手段】会議が開始されると、各端末１０−ｎを利用する参加者は発言を行う。各端末１０−ｎの音声データ生成部１０６は、参加者の音声を収音し音声データを生成する。生成された音声データは、他の端末１０−ｎへ送出される。一方、端末１０−ｎは、他の端末１０−ｎから受信される複数のチャンネルの音声信号のそれぞれについて発音の有無を判定し、有音状態であると検出された入力チャンネルを、複数の出力チャンネルのいずれかに割り当てる。【選択図】図１
2009118316.tif 000002
【特許請求の範囲】
【請求項１】
複数のチャンネルの音声信号の組を、複数の端末からそれぞれ受信する受信手段と、
収音手段から出力される音声信号を取得する取得手段と、
前記受信手段により受信されるチャンネル毎の音声信号及び前記取得手段により取得される音声信号のそれぞれについて、発音の有無を判定する発音有無判定手段と、
前記発音有無判定手段により発音が有ると判定された音声信号を、複数の出力用チャンネルに割り当てるチャンネルアサイン手段と、
前記チャンネルアサイン手段により前記複数の出力用チャンネルに割り当てられた音声信号の組を、前記複数の端末のそれぞれに配信する配信手段と
を具備することを特徴とする音声通信装置。
【請求項２】
請求項１に記載の音声通信装置において、
前記受信手段は、３つのチャンネルの音声信号の組を、前記複数の端末からそれぞれ受信し、
前記チャンネルアサイン手段は、前記発音有無判定手段により発音が有ると判定された音声信号を、３つの出力用チャンネルのいずれかに割り当てる
ことを特徴とする音声通信装置。
【請求項３】
請求項１又は２に記載の音声通信装置において、
前記チャンネルと放音手段との対応関係を記憶する記憶手段と、
前記受信手段により受信されるチャンネル毎の音声信号を、前記記憶手段に記憶された対応関係に基づいて、各音声信号のチャンネルに対応する放音手段に供給する出力手段と
を具備することを特徴とする音声通信装置。
【請求項４】
請求項１又は２に記載の音声通信装置において、
前記チャンネルと音像定位の態様との対応関係を記憶する記憶手段と、
前記受信手段により受信されるチャンネル毎の音声信号の音像を、前記記憶手段に記憶された対応関係に基づいて、各音声信号のチャンネルに対応する音像定位の態様に定位させる音像定位制御手段と
を具備することを特徴とする音声通信装置。
【請求項５】
請求項１乃至４のいずれか１に記載の音声通信装置において、
前記受信手段は、複数のチャンネルの音声信号の組と該音声信号の属性を示すメタデータとを、前記複数の端末からそれぞれ受信し、
前記配信手段は、前記チャンネルアサイン手段により前記複数の出力用チャンネルに割り当てられた音声信号の組と該音声信号に対応するメタデータとを、前記複数の端末のそれぞれに配信する
ことを特徴とする音声通信装置。
【請求項６】
請求項５に記載の音声通信装置において、
前記メタデータは、前記チャンネル毎の音声信号が生成された端末を識別する端末識別情報を含み、
前記端末識別情報と放音の態様との対応関係を記憶する記憶手段と、
前記受信手段により受信されるチャンネル毎の音声信号を、前記記憶手段に記憶された対応関係に基づいて、各音声信号に対応する端末識別情報に応じた放音の態様で放音されるように放音手段に出力する出力制御手段と
を具備することを特徴とする音声通信装置。
【請求項７】
請求項５又は６に記載の音声通信装置において、
前記メタデータは、前記発音有無判定手段の判定結果を示す発音有無データを含み、
前記発音有無判定手段は、前記受信手段により受信されるチャンネル毎の音声信号の発音の有無を、前記メタデータに含まれる発音有無データに基づいて判定する
ことを特徴とする音声通信装置。
【請求項８】
請求項１乃至７のいずれか１に記載の音声通信装置において、
前記チャンネルアサイン手段は、前記発音有無判定手段により発音が有ると判定されたチャンネルの数が前記出力用チャンネルの数より多い場合には、予め定められたアルゴリズムに従って、該チャンネルの音声信号を前記出力用チャンネルに割り当てる
ことを特徴とする音声通信装置。
【請求項９】
請求項８に記載の音声通信装置において、
前記チャンネルアサイン手段は、前記発音有無判定手段により発音が有ると判定されたチャンネルを、発音が有ると判定された順に前記出力用チャンネルに割り当てる
ことを特徴とする音声通信装置。
【請求項１０】
請求項８に記載の音声通信装置において、
前記チャンネルアサイン手段は、前記複数の出力用チャンネルの全てに音声信号が割り当てられている場合において、前記発音有無判定手段により発音が有ると判定されたときには、該発音が有ると判定された音声信号を、所定の出力用チャンネルに割り当てられた音声信号にミキシングする
ことを特徴とする音声通信装置。
【請求項１１】
請求項８に記載の音声通信装置において、
前記複数の端末のそれぞれの優先度を示す優先度情報を記憶する優先度情報記憶手段を備え、
前記チャンネルアサイン手段は、前記優先度情報記憶手段に記憶された優先度情報に従って割り当て処理を行う
ことを特徴とする音声通信装置。
【請求項１２】
請求項１０に記載の音声通信装置において、
前記チャンネルアサイン手段は、前記音声信号の属性を示すメタデータであって前記ミキシングした音声信号に対応するメタデータを合成する
ことを特徴とする音声通信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声通信装置に関する。
【背景技術】
【０００２】
互いに離れた場所にいる者同士が、通信網に接続された通信端末を用いて音声による遠隔会議を行う技術が提案されている。この技術においては、異なる場所に配置された通信端末は通信網を介して中央装置と接続されており、各通信端末から送られた音声は中央装置にてミキシングされ通信端末に送信される。
【０００３】
上記中央装置においては、多数の通信端末から送られてきた音声をミキシングするため、そのミキシングにかかる演算の負荷は接続された通信端末の数が多いほど高くなってしまうという問題があった。そのような問題を解決するため、例えば特許文献１では、音声レベルの高い順に所定数の拠点からの音声をミキシングすることで、中央装置が扱う音声データの量に制限を設ける技術が開示されている。また、特許文献２では、通信データ量自体を軽減するため、音声レベルが所定のレベル以下であるときにはパケットを送出しない、いわゆる無音圧縮の技術が開示されている。
【特許文献１】特開平０４−０８４５５３号公報
【特許文献２】特表平１０−５００５４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上述のような中央装置を用いた音声通信システム以外にも、複数の通信端末をカスケード形態で接続して音声通信を行うシステムも提案されている。このようなシステムの場合、カスケード形態で接続された端末のそれぞれが複数拠点からの音声をミキシングするため、端末の利用者は、端末から放音される音声が、どの端末から送信されたものか（すなわち誰が発話した音声なのか）を把握することができなかった。そこで、複数の通信端末を、カスケード形態ではなくメッシュ形態で接続することが考えられる。複数の通信端末をメッシュ接続した場合には、それぞれの通信端末が、他の端末からの音声をそれぞれの分離した状態で受信することができる。しかしながら、複数の通信端末をメッシュ接続した場合には、端末の数だけチャンネルを確保する必要があり、システム構成が複雑になるという問題があった。
【０００５】
本発明は上述した事情に鑑みてなされたものであり、複数の通信端末がカスケード形態で接続された状態で音声通信を行う場合において、話者毎に分離した音声を伝送することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の好適な態様である音声通信装置は、複数のチャンネルの音声信号の組を、複数の端末からそれぞれ受信する受信手段と、収音手段から出力される音声信号を取得する取得手段と、前記受信手段により受信されるチャンネル毎の音声信号及び前記取得手段により取得される音声信号のそれぞれについて、発音の有無を判定する発音有無判定手段と、前記発音有無判定手段により発音が有ると判定された音声信号を、複数の出力用チャンネルに割り当てるチャンネルアサイン手段と、前記チャンネルアサイン手段により前記複数の出力用チャンネルに割り当てられた音声信号の組を、前記複数の端末のそれぞれに配信する配信手段とを具備することを特徴とする。
【０００７】
上述の態様において、前記受信手段は、３つのチャンネルの音声信号の組を、前記複数の端末からそれぞれ受信し、前記チャンネルアサイン手段は、前記発音有無判定手段により発音が有ると判定された音声信号を、３つの出力用チャンネルのいずれかに割り当ててもよい。
【０００８】
上述の態様において、前記チャンネルと放音手段との対応関係を記憶する記憶手段と、前記受信手段により受信されるチャンネル毎の音声信号を、前記記憶手段に記憶された対応関係に基づいて、各音声信号のチャンネルに対応する放音手段に供給する出力手段とを具備してもよい。
【０００９】
上述の態様において、前記チャンネルと音像定位の態様との対応関係を記憶する記憶手段と、前記受信手段により受信されるチャンネル毎の音声信号の音像を、前記記憶手段に記憶された対応関係に基づいて、各音声信号のチャンネルに対応する音像定位の態様に定位させる音像定位制御手段とを具備してもよい。
【００１０】
上述の態様において、前記受信手段は、複数のチャンネルの音声信号の組と該音声信号の属性を示すメタデータとを、前記複数の端末からそれぞれ受信し、前記配信手段は、前記チャンネルアサイン手段により前記複数の出力用チャンネルに割り当てられた音声信号の組と該音声信号に対応するメタデータとを、前記複数の端末のそれぞれに配信してもよい。
【００１１】
上述の態様において、前記メタデータは、前記チャンネル毎の音声信号が生成された端末を識別する端末識別情報を含み、前記端末識別情報と放音の態様との対応関係を記憶する記憶手段と、前記受信手段により受信されるチャンネル毎の音声信号を、前記記憶手段に記憶された対応関係に基づいて、各音声信号に対応する端末識別情報に応じた放音の態様で放音されるように放音手段に出力する出力制御手段とを具備してもよい。
【００１２】
上述の態様において、前記メタデータは、他の端末の前記発音有無判定手段の判定結果を示す発音有無データを含み、前記発音有無判定手段は、前記受信手段により受信されるチャンネル毎の音声信号の発音の有無を、前記メタデータに含まれる発音有無データに基づいて判定してもよい。
【００１３】
上述の態様において、前記チャンネルアサイン手段は、前記発音有無判定手段により発音が有ると判定されたチャンネルの数が前記出力用チャンネルの数より多い場合には、予め定められたアルゴリズムに従って、該チャンネルの音声信号を前記出力用チャンネルに割り当ててもよい。
【００１４】
上述の態様において、前記チャンネルアサイン手段は、前記発音有無判定手段により発音が有ると判定されたチャンネルを、発音が有ると判定された順に前記出力用チャンネルに割り当ててもよい。
【００１５】
上述の態様において、前記チャンネルアサイン手段は、前記複数の出力用チャンネルの全てに音声信号が割り当てられている場合において、前記発音有無判定手段により発音が有ると判定されたときには、該発音が有ると判定された音声信号を、所定の出力用チャンネルに割り当てられた音声信号にミキシングしてもよい。
【００１６】
上述の態様において、前記複数の端末のそれぞれの優先度を示す優先度情報を記憶する優先度情報記憶手段を備え、前記チャンネルアサイン手段は、前記優先度情報記憶手段に記憶された優先度情報に従って割り当て処理を行ってもよい。
【００１７】
上述の態様において、前記チャンネルアサイン手段は、前記ミキシングした音声信号に対応するメタデータを合成してもよい。
【発明の効果】
【００１８】
本発明によれば、複数の端末がカスケード形態で接続された状態で音声通信を行う場合において、話者毎に分離した音声を伝送することができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照しつつ、本発明を実施する際の最良の形態について説明する。
＜Ａ：構成＞
図１は、本実施形態に係る多地点音声接続システム１の全体構成を示す図である。本実施形態の多地点音声接続システムは、社屋等の建築物内に備えられた会議室等で行われる遠隔会議に用いられる。多地点音声接続システム１は、端末１０−ｎ（ｎ＝１〜Ｎ；Ｎは２以上の整数）と、それらの装置を接続する通信網３０とを有する。端末１０−ｎは、同一の構成及び機能を有する。
【００２０】
通信網３０はインターネットであり、図１に示された端末同士で所定の通信プロトコルに従って行われるデータ通信を仲介する。本実施形態で用いられている通信プロトコルは、アプリケーション層の通信プロトコルとしては、ＲＴＰ（Real-time Transport Protocol）が用いられており、トランスポート層の通信プロトコルとしては、ＵＤＰ（User Datagram Protocol）が用いられており、ネットワーク層の通信プロトコルとしてはＩＰ（Internet Protocol）が用いられている。なお、ＲＴＰとは、音声データや映像データをend-to-endでリアルタイムに送受信する通信サービスを提供するための通信プロトコルであり、その詳細はＲＦＣ１８８９に規定されている。ＲＴＰにおいては、ＲＴＰパケットを生成し送受信することにより通信装置同士でデータの授受が行われる。
【００２１】
次に、端末１０−ｎのハードウェア構成について、図２を参照して説明する。図に示す制御部１０１は、例えばＣＰＵ（Central Processing Unit）であり、後述するＲＯＭ（Read Only Memory）１０３ａに格納されている各種制御プログラムを読み出して実行することにより、端末１０−ｎの各部の動作を制御する。通信Ｉ／Ｆ部１０２は、通信網３０に有線接続されている。この通信Ｉ／Ｆ部１０２は、制御部１０１から受け取ったＲＴＰパケットを下位層の通信プロトコルに従って順次カプセル化することにより得られるＩＰパケットを通信網３０へ送出する。なお、カプセル化とは、上記ＲＴＰパケットをペイロード部に書き込んだＵＤＰセグメントを生成し、さらに、そのＵＤＰセグメントをペイロード部に書き込んだＩＰパケットを生成することである。また通信Ｉ／Ｆ部１０２は、通信網３０を介してデータを受信し、ＩＰパケットに対して上記カプセル化とは逆の処理を行うことにより、そのＩＰパケットにカプセル化されているＲＴＰパケットを読み出して制御部１０１へ出力する。
【００２２】
記憶部１０３は、ＲＯＭ１０３ａ及びＲＡＭ（Random Access Memory）１０３ｂを有する。ＲＯＭ１０３ａは、本発明に特徴的な機能を制御部１０１に実行させるための制御プログラムを格納している。ＲＡＭ１０３ｂは、音声データ生成部１０６から受け取った音声データを記憶したり、制御部１０１によってワークエリアとして利用されたりする。
【００２３】
記憶部１０３には、入力チャンネルと音声データ再生部１０７−１，１０７−２，１０７−３（又はスピーカ１０７ｂ）との対応関係を示すテーブル等が記憶されている。制御部１０１は、他端末１０−ｎから受信されるチャンネル毎の音声信号を、この記憶部１０３に記憶された対応関係に基づいて、各音声信号の入力チャンネルに対応する音声データ再生部１０７−１，１０７−２，１０７−３に供給する。
【００２４】
操作部１０４は、数字キーやボタンなどの操作子を備えており、操作部１０４は、何らかの入力があった場合に、その操作内容を表すデータを制御部１０１へと伝達する。表示部１０５は、例えば液晶パネルであり、端末１０−ｎが有する又は端末１０−ｎが通信網３０を介して受け取った各種のデータを表示する。
【００２５】
音声データ生成部１０６は、アナログ／デジタル（以下、「Ａ／Ｄ」と略記する）コンバータ１０６ａとマイクロホン１０６ｂとを有する。マイクロホン１０６ｂは、収音しその音声を表すアナログ信号（以下「音声信号」）を生成し、Ａ／Ｄコンバータ１０６ａへ出力する。Ａ／Ｄコンバータ１０６ａは、マイクロホン１０６ｂから受け取った音声信号にＡ／Ｄ変換を施し、その変換結果であるデジタルデータ（以下「音声データ」）を制御部１０１へ出力する。
【００２６】
音声データ再生部１０７−１，１０７−２，１０７−３はそれぞれ、制御部１０１から受け取った音声データの再生を行うものであり、Ｄ／Ａコンバータ１０７ａとスピーカ１０７ｂとを有する。Ｄ／Ａコンバータ１０７ａは、制御部１０１から受け取った音声データに対して、Ｄ／Ａ変換を施すことによってアナログ方式の音声信号へ変換し、スピーカ１０７ｂへ出力するものである。そして、スピーカ１０７ｂは、Ｄ／Ａコンバータ１０７ａから受け取った音声信号の表す音声を放音する。以下の説明では、説明の便宜上、音声データ再生部１０７−１，１０７−２，１０７−３を各々区別する必要がない場合には、これらを「音声データ再生部１０７」と称して説明する。この実施形態では、音声データ再生部１０７を３つ備える端末１０−ｎについて説明するが、音声データ再生部１０７の数は３に限らず、これより多くても少なくてもよい。
【００２７】
なお、この実施形態では、マイクロホン１０６ｂとスピーカ１０７ｂとが端末１０−ｎに含まれている場合について説明するが、音声データ生成部１０６と音声データ再生部１０７に入力端子及び出力端子を設け、オーディオケーブルを介してその入力端子に外部マイクロホンを接続するとしても良く、同様に、オーディオケーブルを介してその出力端子に外部スピーカを接続するとしても良い。また、この実施形態では、マイクロホン１０６ｂからＡ／Ｄコンバータ１０６ａへ入力される音声信号及びＤ／Ａコンバータ１０７ａからスピーカ１０７ｂへ出力される音声信号がアナログ信号である場合について説明するが、デジタル音声データを入出力するようにしてもよい。このような場合には、音声データ生成部１０６や音声データ再生部１０７でＡ／Ｄ変換やＤ／Ａ変換を行う必要はない。
【００２８】
次に、端末１０−ｎの接続形態について、図３を参照しつつ説明する。図３は、端末１０−１に係る接続形態を示す図である。この多地点音声接続システム１では、端末１０−ｎは、図３に示すように、他の３台の端末１０−ｎとカスケード形態で接続される。具体的には、端末１０−１は、端末１０−２，１０−３，１０−４との間で音声通信を行い、このとき、端末１０−１は、他の端末との間でそれぞれ３本の受信用チャンネルと３本の送信チャンネルにより通信を行う。このうち、３本の受信用チャンネルには、他の端末で収音された音声を表す音声信号が伝送される。端末１０−ｎの制御部１０１は、３台の他端末１０−ｎのそれぞれの３本の受信用チャンネル（計９本の入力用チャンネル）で伝送されてくる音声データを、後述するチャンネルアサイン処理を行うことにより、他端末１０−ｎのそれぞれの３本の送信用チャンネル（計９本の出力用チャンネル）に割り当てる。
【００２９】
次に、端末１０−ｎの機能的構成について、図４を参照しつつ説明する。なお、この実施形態では、図４に示す各部がソフトウェアとして実現される場合について説明するが、図４に示す各部がハードウェアとして構成されていてもよい。入力部１１−１ａ，１１−１ｂ，１１−１ｃ，…１１−３ｃ、出力部１２−１ａ，１２−１ｂ，１２−１ｃ，…１２−３ｃは、いわゆる「ポート」であり、通信網３０上の通信において、複数の端末１０−ｎが同時に接続を行うためにＩＰアドレスの下に設けられたポート番号によりアクセスされるポートとして構成されている。なお、これらのポートはハードウェアの端子であってもよい。なお、以下の説明においては、入力部１１−１ａ，１１−１ｂ，１１−１ｃ，…１１−３ｃを各々区別する必要がない場合には、これらを「入力部１１」と称して説明する。同様に、出力部１２−１ａ，１２−１ｂ，１２−１ｃ，…１２−３ｃを各々区別する必要がない場合には、これらを「出力部１２」と称して説明する。各入力部１１には他端末１０−ｎから受信されるチャンネル毎の音声データが入力される。また、各出力部１２には、他端末１０−ｎへ送信する出力用チャンネル毎の音声データが出力される。
【００３０】
発話検出部１４−１ａ，１４−１ｂ，１４−１ｃ，…１４−３ｃは、入力部１１に入力された音声データの発話の有無を検出する。また、発話検出部１４−４は、音声データ生成部１０６から供給される音声データ（すなわちマイクロホン１０６ｂから出力される音声信号）の発音の有無を判定する。以下の説明では、発話検出部発話検出部１４−１ａ，…，１４−３ｃ，１４−４を各々区別する必要がない場合には、これらを「発話検出部１４」と称して説明する。すなわち、発話検出部１４は、入力部１１に入力された音声データ及び音声データ生成部１０６から供給される音声データのそれぞれについて、発音の有無を判定する。この判定処理としては、例えば、音声データの音量レベルが所定の閾値を上回った場合に発話有りとして検出するようにしてもよい。
【００３１】
チャンネルアサイン部１３は、通信網３０を介して接続された他の端末１０−ｎから音声データを受け取り、発話検出部１４により発音が有ると判定された音声信号を、３つの出力用チャンネルに割り当てる。具体的には、各端末１０−ｎが図３に示されるようにカスケード形態で接続されている場合には、端末１０−１は、端末１０−２，１０−３，１０−４から送信された３チャンネルの音声データ（すなわち計９チャンネル）を受け取り、端末１０−ｎ毎の出力用チャンネルに、入力チャンネルのいずれかを割り当てる。
【００３２】
＜Ｂ：動作＞
次に、多地点音声接続システム１の動作について説明する。会議が開始されると、各端末１０−ｎを利用する参加者は発言を行う。各端末１０−ｎの音声データ生成部１０６は、参加者の音声を収音し音声データを生成する。生成された音声データは、一旦ＲＡＭ１０３ｂに書き込まれる。端末１０−ｎの制御部１０１は、ＲＡＭ１０３ｂに書き込まれた音声データを読み出し、音声データの発音の有無を判定する。
【００３３】
また、端末１０−ｎの制御部１０１は、複数のチャンネルの音声データの組を、複数の端末からそれぞれ受信する。端末１０−ｎが受信した音声データは、送信元である端末１０−ｎ用に割り当てられた複数チャンネルのうちの１つのチャンネルのポートに対応する入力部１１（図４参照）に入力される。入力部１１に入力された音声データは、チャンネルアサイン部１３及び発話検出部１４に入力される。また、発話検出部１４（制御部１０１）は、受信されるチャンネル毎の音声データの発音の有無を判定する。
【００３４】
次いで、制御部１０１は、発音状態であると判定された入力チャンネルを出力用チャンネルに割り当てる。このとき、制御部１０１は、発音状態であると判定された入力チャンネルの数が出力用チャンネルの数より多い場合には、予め定められたアルゴリズムに従って、該チャンネルの音声データを出力用チャンネルに割り当てる。ここでは、制御部１０１は、発話検出部１４により発音が有ると判定されたチャンネルを先着順に出力用チャンネルに割り当てる。また、制御部１０１は、出力用チャンネルの全てに音声データが割り当てられている場合において、更に発話検出部１４により発話状態である音声データが検出されたときには、新に検出された音声データを、所定の出力用チャンネルの音声データとミキシングする。
【００３５】
ここで、出力チャンネルの獲得／開放のタイミング取得方法について、説明する。タイミングの取得方法としては、ここでは、入力チャンネルに入力される音声データについて、発話検出部１４による音声検出、無音検出の結果を用いる。すなわち、発話検出部１４から音声を検出した旨の信号が出力されると、チャンネルアサイン部１３は、その発話検出部１４に対応する入力チャンネルを出力チャンネルに割り当てる。一方、発話検出部１４は、音声データの無音時間を計測し、無音時間が予め定められた閾値以上になると、無音状態と検出し、無音になった旨の信号をチャンネルアサイン部１３に出力する。無音状態が検出された場合には、チャンネルアサイン部１３は、その入力チャンネルに割り当てている出力チャンネルを開放する。このように、チャンネルアサイン部１３は、音声データの有音状態、無音状態に同期して出力チャンネルの獲得・開放を行う。
【００３６】
ここで、チャンネル割り当ての具体的な動作の一例について、図５を参照しつつ説明する。図５は、端末１０−１が、端末１０−２，１０−３，１０−４のそれぞれから３チャンネルの音声データを受信し、受信した音声データを、それぞれ端末１０−２，１０−３，１０−４及びスピーカ出力用のそれぞれの出力チャンネルに割り当てる動作の一例を示す図であり、横軸は時刻の経過を示す。図５（ａ）は、端末１０−２から受信する３チャンネルの音声データの発音状態の一例を示す図であり、図５（ｂ）は、端末１０−３から受信する３チャンネルの音声データの発音状態の一例を示す図であり、図５（ｃ）は、端末１０−４から受信する３チャンネルの音声データの発音状態の一例を示す図である。図５（ａ）乃至（ｃ）において、斜線で示す部分が発音有り状態であることを示し、それ以外の部分が無音状態であることを示す。
【００３７】
制御部１０１は、端末１０−ｉ（ｉ＝１〜Ｎ；Ｎは２以上の整数）への出力チャンネルには、その端末１０−ｉ以外の他の端末１０−ｎからの入力とマイク入力を動的に割り当てる。具体的には、例えば、端末１０−１の制御部１０１は、端末１０−２への出力チャンネルには、端末１０−３，１０−４からの入力と自端末１０−１のマイク入力とを動的に割り当てる。図５（ｄ）は、スピーカ出力用の出力チャンネルの割り当て結果を示す図であり、図５（ｅ）は、端末１０−２への出力チャンネルの割り当て結果の一例を示す図であり、図５（ｆ）は端末１０−３への出力に係る出力チャンネルの割り当て結果の一例を示す図であり、図５（ｇ）は端末１０−４への出力に係る出力チャンネルの割り当て結果の一例を示す図である。図示のように、制御部１０１は、発音有り状態が検出された順番に、先着順で（発話が検出された順で）出力チャンネルに割り当てていく。また、制御部１０１は、発音状態が発音有り状態から無音状態に切り換わったときに、出力チャンネルの割り当てを開放する。
【００３８】
このとき、制御部１０１は、先に発話を検出したチャンネルの音声データを優先させ、４番目以降に発話が検出されたチャンネルの音声信号を第３の出力用チャンネルの音声信号にミキシングする。具体的には、制御部１０１は、図５（ｄ）に示す例においては、端末１０−４の入力チャンネル２の音声信号を、スピーカ出力用の出力チャンネル３に割り当てられた音声データにミキシングする。
【００３９】
制御部１０１は、複数の出力用チャンネルに割り当てられた音声データの組を、複数の他端末１０−ｎのそれぞれに配信する。すなわち、制御部１０１は、出力用チャンネルに割り当てた音声データからＲＴＰパケットを生成する。通信Ｉ／Ｆ部１０２は生成されたＲＴＰパケットを受け取り、受け取ったＲＴＰパケットを下位層の通信プロトコルへ順次引き渡すことによってＩＰパケットを生成し、該ＩＰパケットを通信網３０へ送出する。
【００４０】
また、制御部１０１は、入力チャンネル毎の音声データを、記憶部１０３に記憶された対応関係に基づいて、各音声データの入力チャンネルに対応する音声データ再生部１０７に供給する。これにより、複数のスピーカ１０７ｂのそれぞれから異なる音声データに基づいた音声が放音される。
【００４１】
以上説明したようにこの実施形態では、複数のチャンネルによって音声データを個別に伝送するとともに、音声データにおける発音の有無を判定し、発音状態であると判定された音声データのチャンネルを出力用チャンネルに割り当てる。このようにすることにより、発話状態であるチャンネルの音声データが他端末１０−ｎへ送出され、これにより、話者毎に分離した音声データを伝送することができる。
【００４２】
＜Ｃ：変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
（１）上述の実施形態において、音声データの伝送用の入力チャンネルに加えて、音声データの属性を示すメタデータを伝送するための汎用チャンネルを設ける構成としてもよい。この具体例について、図６を参照しつつ以下に説明する。図６に示す例においては、音声データの伝送用の入力チャンネルに対応する入力部１１に加えて、メタデータ伝送用の汎用チャンネルを介して伝送されてくるメタデータが入力される入力部１５−１，１５−２，１５−３が設けられている。汎用チャンネルで伝送されるメタデータは、入力チャンネルに伝送される音声信号が生成された端末を識別する識別情報や、発話検出部１４による検出結果を示す発音有無データを含む。また、メタデータは、これ以外にも、話者の位置を示す話者位置情報、音量を示す音量情報、話者を示す話者情報、端末１０−ｎが設置された部屋を示す部屋情報等を含むようにしてもよい。
【００４３】
出力部１２−１ｄ，１２−２ｄ，１２−３ｄは、メタデータを伝送するためのポートである。この場合、制御部１０１は、複数のチャンネルの音声データの組と該音声データのメタデータとを、複数の他端末１０−ｎからそれぞれ受信し、また、出力チャンネルに割り当てられた音声データの組と該音声データに対応するメタデータとを、複数の他端末１０−ｎのそれぞれに配信する。
【００４４】
また、メタデータが、入力チャンネル毎の音声信号が生成された端末１０−ｎを識別する端末識別情報を含む場合において、記憶部１０３に、端末識別情報と自端末のスピーカからの放音の態様との対応関係を記憶させておき、制御部１０１が、受信されるチャンネル毎の音声データを、記憶部１０３に記憶された対応関係に基づいて、各音声データに対応するメタデータに含まれる端末識別情報に対応する放音の態様で放音されるように制御するようにしてもよい。この場合、放音の態様としては、例えば、音像の定位の態様や、どのスピーカを用いて放音するか、といった各種の態様を含む。
【００４５】
また、メタデータに、発話検出部１４の検出結果を示す発音有無データが含まれる場合には、制御部１０１が、受信される入力チャンネル毎の音声データの発音の有無を、メタデータに含まれる発音有無データに基づいて判定するようにしてもよい。この場合は、各音声データの発音の有無を示すメタデータが汎用チャンネルを介して各端末に伝送されるから、図６に示すように、入力チャンネル毎に発話検出部を設ける必要がない。
【００４６】
また、このように音声データとメタデータとを端末１０−ｎ間で伝送する場合において、複数の出力チャンネルの音声データをミキシングする場合に、制御部１０１が、ミキシングする音声データに対応するメタデータを合成するようにしてもよい。
【００４７】
（２）上述の実施形態では、入力チャンネルと音声データ再生部１０７との対応関係を記憶部１０３に記憶させておき、制御部１０１が、記憶部１０３に記憶された対応関係に基づいてチャンネル毎の音声データを各チャンネルに対応する音声データ再生部１０７に供給するようにした。これに代えて、端末１０−ｎに、出力する音声の音像を定位させることのできるアレイスピーカ等を備える構成とし、記憶部１０３に、入力チャンネルと音像定位の態様との対応関係を記憶させ、制御部１０１が、受信される入力チャンネル毎の音声信号の音像を、記憶部１０３に記憶された対応関係に基づいて、各音声データの入力チャンネルに対応する音像定位の態様に定位させるような制御を行うようにしてもよい。
【００４８】
（３）上述の実施形態では、チャンネルアサイン部１３は、発話状態であると検出された入力チャンネルを先着順に出力チャンネルに割り当てるようにしたが、入力チャンネルを出力チャンネルに割り当てる態様はこれに限定されるものではなく、例えば、端末１０−ｎ毎に優先度を決めておき、各端末１０−ｎの優先度に基づいて割り当てを行うようにしてもよい。より具体的には、例えば、接続される他の端末１０−ｎのそれぞれの優先度を示す優先度情報を１０３に予め記憶させておき、制御部１０１が、記憶部１０３に記憶された優先度情報に従って割り当て処理を行うようにすればよい。要するに、制御部１０１が、発話検出部１４により発音が有ると判定されえたチャンネルの数が出力用チャンネルの数より多い場合に、予め定められたアルゴリズムに従って、入力チャンネルの音声データを出力チャンネルに割り当てるようにすればよい。
【００４９】
また、上述の実施形態では、先に発話を検出した音声データを優先させ、４番目以降に検出された音声データを３番目の出力チャンネルにミキシングするようにしたが、これに代えて、４番目以降に検出される音声データを無視（破棄）するようにしてもよい。
【００５０】
（４）上述の実施形態では、通信網３０はインターネットである場合について説明したが、ＬＡＮ（Local Area Network）などであっても良い。また、端末１０−ｎが通信網３０に有線接続されている場合について説明したが、通信網３０が例えば無線ＬＡＮなどの無線パケット通信網であり、端末１０−ｎがこの無線パケット通信網に接続されていても良い。
【００５１】
また、上述の実施形態では、端末１０−ｎに特徴的な音声データのミキシング機能をソフトウェアモジュールで実現する場合について説明したが、上記各機能を担うハードウェアモジュールを組み合わせて本発明に係る端末１０−ｎを構成するようにしても良い。
【００５２】
（５）上述の実施形態では、音声データの送受信に係るアプリケーション層の通信プロトコルとしてＲＴＰを用いる場合について説明したが、他の通信プロトコルを用いても良い。トランスポート層、ネットワーク層、データリンク層についても同様であり、上述の実施形態で用いたＵＤＰやＩＰ以外の他の通信プロトコルを用いてもよい。
【００５３】
（６）上述の実施形態では、出力チャンネルの数は３である場合について説明したが、出力チャンネルの数は３に限らず、これより多くても少なくてもよく、入力チャンネルの数や出力チャンネルの数は様々に設定することが可能である。しかしながら、この「３」チャンネルがあれば、現在２者間で通話が行われているような場合で、別の第三者が加わるような場合でも、現在独占されている音声通信チャンネルを開放することなく、当該第三者から元の２者への通話が可能となる。ここで、さらにもう一人が加わる場合には、いずれかの音声通信チャンネルを開放しなければならなくなるが、現実的に「４」者が同時に同じ内容に関する会話をすることは珍しく、たとえあったとしても、有効な会話として成り立ちにくい。そのため、多くとも「３」者同時の通話が普通で且つ現実的である。一方で、音声通信チャンネルを増加させることで、「４」者以上の同時通話も可能であるが、チャンネル数が増加する分だけ、各チャンネルに割り当てられるリソース量が少なくなるので、ストレスの無い会話あるいは音声品質を維持した会話を実現させるには、或る程度にチャンネル数の制限が必要である。これらのことを鑑みて、前記「３」チャンネルに設定することで、現実的で且つ最も効率的な通信リソースの使用が可能となる。
【００５４】
（７）上述の実施形態では、端末１０−ｎは、音声データ生成部１０６が生成した音声データを圧縮せず出力する場合について説明したが、音声データに圧縮処理を施しても良い。例えば、音声データの圧縮・伸張を行うソフトウェアであるコーデックにより音声データを圧縮して出力しても良い。また、生成された音声データの音量レベルが所定の閾値を下回るパケットを送出しない、いわゆる無音圧縮の技術を用いて音声データの圧縮を行ってもよい。
【００５５】
（８）上述の実施形態では、端末１０−ｎに設けられた入力部１１及び出力部１２はいわゆるポートである場合について説明したが、その場合、例えば入力部１１とチャンネルアサイン部１３とはソフトウェアモジュールにより接続された。しかし、それら入力部及び出力部をハードウェア構成である入力端子及び出力端子で構成し、入力端子及び出力端子とチャンネルアサイン部との間を上述した対応関係となるように電子回路等のハードウェア構成で接続しても良い。
また、出力部１２とチャンネルアサイン部１３との間も、音声データをソフトウェアモジュールにより送受信する場合について説明した。しかし、チャンネルアサイン部１３に設けられた入力部１１及び出力部１２を同様にハードウェア構成とし、チャンネルアサイン部１３と出力部１２との間の音声データの送受信を該構成により行うようにしても良い。
【００５６】
（９）上述の実施形態における端末１０−ｎの制御部１０１によって実行されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ＲＯＭなどの記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由で端末１０−ｎにダウンロードさせることも可能である。
【００５７】
上述の実施形態では、音声データを用いた音声会議システムからなるデータ通信システムを説明したが、映像データや相互でコミュニケーションを構築する他の通信データを用いる場合にも上記実施形態に係る構成及び処理を利用できる。また、上述の実施形態では、インターネット等の通信網による例を示すが、電力線通信やＡＴＭ（Asynchronous Transfer Mode）を介した通信や、無線通信等にも適用することができる。
【図面の簡単な説明】
【００５８】
【図１】多地点音声接続システム１の全体構成を示す図である。
【図２】端末１０−ｎのハードウェア構成の一例を示すブロック図である。
【図３】端末１０−ｎの接続形態の具体例を示す図である。
【図４】端末１０−ｎの機能的構成の一例を示すブロック図である。
【図５】チャンネル割り当て処理の内容を説明するための図である。
【図６】端末１０−ｎの機能的構成の一例を示すブロック図である。
【符号の説明】
【００５９】
１…多地点音声接続システム、１０−ｎ…端末、３０…通信網、１０１…制御部、１０２…通信Ｉ／Ｆ部、１０３…記憶部、１０３ａ…ＲＯＭ、１０３ｂ…ＲＡＭ、１０４…操作部、１０５…表示部、１０６…音声データ生成部、１０６ａ…Ａ／Ｄコンバータ、１０６ｂ…マイクロホン、１０７…音声データ再生部、１０７ａ…Ｄ／Ａコンバータ、１０７ｂ…スピーカ。
【図１】
2009118316.tif 000003
【図２】
2009118316.tif 000004
【図３】
2009118316.tif 000005
【図４】
2009118316.tif 000006
【図５】
2009118316.tif 000007
【図６】
2009118316.tif 000008