(57)【要約】【課題】通信端末の利用者の発言だけをその通信端末において遮断することにより、発言中においても他の通信端末の利用者の発言を聞くことができるとともに、音声の品質を保つことができる配信システムおよび配信方法を提供すること。【解決手段】本発明の配信システムは、配信サーバは、配信サーバにおいて生成した入力音声データと各通信端末から送信された端末音声データとがチャンネルごとに割り当てられた配信音声データと、その割り当ての内容を示す割当情報とを各通信端末に送信する。一方、各通信端末は、割当情報に基づいて、自らの通信端末が送信した端末データに係る端末音声データが割り当てられたチャンネル以外のチャンネルの配信音声データを放音することにより、その通信端末の利用者は、自らの発言以外の音声を聞くことができる。【選択図】図３
2009094630.tif 000002
【特許請求の範囲】
【請求項１】
通信網を介して通信を行う配信サーバと複数の通信端末とを有する配信システムにおいて、
前記配信サーバは、
前記通信端末に対して、複数のチャンネルにより構成される配信音声データを送信する配信音声データ送信手段と、
前記通信端末から、端末音声データを受信する端末音声データ受信手段と、
ストリーミング形式の音声データが入力される音声データ入力手段と、
前記音声データ入力手段に入力された音声データと前記端末音声データ受信手段が受信した通信端末ごとの端末音声データとの各々について、前記配信音声データの複数のチャンネルの各々に割り当てる割当手段と
を具備し、
前記通信端末は、
ストリーミング形式の端末音声データが入力される端末音声データ入力手段と、
前記端末音声データ入力手段に入力された端末音声データを前記配信サーバに送信する端末音声データ送信手段と、
前記配信サーバから配信音声データを受信する受信手段と、
前記受信手段によって受信された配信音声データの複数チャンネルのうち、前記端末音声データ送信手段によって送信された端末音声データが割り当てられたチャンネルを特定する特定手段と、
前記受信手段によって受信された配信音声データの複数チャンネルのうち、前記特定手段が特定したチャンネル以外のチャンネルの配信音声データを出力する出力手段と
を具備する
ことを特徴とする配信システム。
【請求項２】
前記端末音声データ受信手段は、端末音声データを受信するときに、当該端末音声データを送信した通信端末を特定する端末情報をさらに受信し、
前記配信音声データ送信手段は、前記割当手段によって前記端末音声データに割り当てられたチャンネルと当該端末音声データを送信した通信端末とを対応付けた割当情報を生成し、前記通信端末に当該割当情報をさらに送信し、
前記端末音声データ送信手段は、端末音声データを送信するときに、前記配信サーバに自端末を特定する端末情報をさらに送信し、
前記受信手段は、前記配信サーバから割当情報をさらに受信し、
前記特定手段におけるチャンネルの特定は、前記受信手段によって受信された割当情報に基づいて行われる
ことを特徴とする請求項１に記載の配信システム。
【請求項３】
前記特定手段におけるチャンネルの特定は、前記受信手段によって受信された配信音声データの複数のチャンネル各々が示す音声パターンと前記端末音声データ送信手段によって送信された端末音声データが示す音声パターンとの比較に基づいて行われる
ことを特徴とする請求項１に記載の配信システム。
【請求項４】
前記割当手段は、前記端末音声データ受信手段が受信した通信端末ごとの端末音声データのうち、所定の条件を満たした端末音声データの各々について、前記配信音声データの複数のチャンネルの各々に割り当てる
ことを特徴とする請求項１乃至請求項３のいずれかに記載の配信システム。
【請求項５】
前記割当手段は、前記端末音声データ受信手段が受信した通信端末ごとの端末音声データのうち、所定の条件を満たした端末音声データの各々について、前記配信音声データの複数のチャンネルの各々に割り当て、所定の条件を満たさない端末音声データについては、当該所定の条件を満たさない音声データを合成したデータとして１のチャンネルに割り当てる
ことを特徴とする請求項１乃至請求項３のいずれかに記載の配信システム。
【請求項６】
通信網を介して通信を行う配信サーバと複数の通信端末とを有する配信システムに用いられる方法であって、
前記配信サーバにおいて用いられる方法は、
前記通信端末に対して、複数のチャンネルにより構成される配信音声データを送信する配信音声データ送信過程と、
前記通信端末から、端末音声データを受信する端末音声データ受信過程と、
ストリーミング形式の音声データが入力される音声データ入力過程と、
前記音声データ入力過程において入力された音声データと前記端末音声データ受信過程によって受信された通信端末ごとの端末音声データとの各々について、前記配信音声データの複数のチャンネルの各々に割り当てる割当過程と
を備え、
前記通信端末は、
ストリーミング形式の端末音声データが入力される端末音声データ入力過程と、
前記端末音声データ入力過程において入力された端末音声データを前記配信サーバに送信する端末音声データ送信過程と、
前記配信サーバから配信音声データを受信する受信過程と、
前記受信過程によって受信された配信音声データの複数チャンネルのうち、前記端末音声データ送信過程によって送信された端末音声データが割り当てられたチャンネルを特定する特定過程と、
前記受信過程によって受信された配信音声データの複数チャンネルのうち、前記特定過程によって特定されたチャンネル以外のチャンネルの配信音声データを出力する出力過程と
を備える
ことを特徴とする配信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、配信サーバと通信端末へのデータの配信、および配信サーバと通信端末との利用者間におけるコミュニケーションを行う際の音声の品質を向上させる技術に関する。
【背景技術】
【０００２】
テレビ放送などを各通信端末に対して、通信網を介して配信するシステムにおいて、配信側の配信サーバと、受信側の通信端末との間でコミュニケーションを行う場合がある。このとき、配信サーバ、または通信端末におけるマイクロフォンとスピーカとの音響結合から生じるエコーを消去するエコーキャンセラが設けられ、音声の品質を保つようになっている。
【０００３】
ところで、配信サーバが、そのコミュニケーションの状況についても通信網を介して、各通信端末に配信することにより、コミュニケーションの当事者以外についてもその状況を視聴することができるようなシステムの場合には、通信網を介して配信されるときに発生する遅延の影響を受けることがある。例えば、テレビ放送の音声に含まれる通信端末の利用者の音声は、利用者自らが発声してから遅延して届くことがあり、違和感があるとともに、音響結合により音声の品質の悪化を招くことがあった。このような品質の悪化を改善するために、通信端末の利用者が発言している間には、その通信端末に対して配信サーバから配信される各通信端末からの音声データを遮断して放音させないようにする技術が開示されている（例えば特許文献１）。
【特許文献１】特開平３−１８１３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載の技術においては、複数の通信端末の利用者が発言していた場合、自らの発言に係る音声データを通信端末において遮断するだけでなく、他の通信端末の利用者の発言に係る音声データも遮断してしまうために、通信端末の利用者が発言中には配信サーバからの音声だけしか聞くことができなかった。
【０００５】
本発明は、上述の事情に鑑みてなされたものであり、通信端末の利用者の発言だけをその通信端末において遮断することにより、発言中においても他の通信端末の利用者の発言を聞くことができるとともに、音声の品質を保つことができる配信システムおよび配信方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するため、本発明は、通信網を介して通信を行う配信サーバと複数の通信端末とを有する配信システムにおいて、前記配信サーバは、前記通信端末に対して、複数のチャンネルにより構成される配信音声データを送信する配信音声データ送信手段と、前記通信端末から、端末音声データを受信する端末音声データ受信手段と、ストリーミング形式の音声データが入力される音声データ入力手段と、前記音声データ入力手段に入力された音声データと前記端末音声データ受信手段が受信した通信端末ごとの端末音声データとの各々について、前記配信音声データの複数のチャンネルの各々に割り当てる割当手段とを具備し、前記通信端末は、ストリーミング形式の端末音声データが入力される端末音声データ入力手段と、前記端末音声データ入力手段に入力された端末音声データを前記配信サーバに送信する端末音声データ送信手段と、前記配信サーバから配信音声データを受信する受信手段と、前記受信手段によって受信された配信音声データの複数チャンネルのうち、前記端末音声データ送信手段によって送信された端末音声データが割り当てられたチャンネルを特定する特定手段と、前記受信手段によって受信された配信音声データの複数チャンネルのうち、前記特定手段が特定したチャンネル以外のチャンネルの配信音声データを出力する出力手段とを具備することを特徴とする配信システムを提供する。
【０００７】
また、別の好ましい態様において、前記端末音声データ受信手段は、端末音声データを受信するときに、当該端末音声データを送信した通信端末を特定する端末情報をさらに受信し、前記配信音声データ送信手段は、前記割当手段によって前記端末音声データに割り当てられたチャンネルと当該端末音声データを送信した通信端末とを対応付けた割当情報を生成し、前記通信端末に当該割当情報をさらに送信し、前記端末音声データ送信手段は、端末音声データを送信するときに、前記配信サーバに自端末を特定する端末情報をさらに送信し、前記受信手段は、前記配信サーバから割当情報をさらに受信し、前記特定手段におけるチャンネルの特定は、前記受信手段によって受信された割当情報に基づいて行われてもよい。
【０００８】
また、別の好ましい態様において、前記特定手段におけるチャンネルの特定は、前記受信手段によって受信された配信音声データの複数のチャンネル各々が示す音声パターンと前記端末音声データ送信手段によって送信された端末音声データが示す音声パターンとの比較に基づいて行われてもよい。
【０００９】
また、別の好ましい態様において、前記割当手段は、前記端末音声データ受信手段が受信した通信端末ごとの端末音声データのうち、所定の条件を満たした端末音声データの各々について、前記配信音声データの複数のチャンネルの各々に割り当ててもよい。
【００１０】
また、別の好ましい態様において、前記割当手段は、前記端末音声データ受信手段が受信した通信端末ごとの端末音声データのうち、所定の条件を満たした端末音声データの各々について、前記配信音声データの複数のチャンネルの各々に割り当て、所定の条件を満たさない端末音声データについては、当該所定の条件を満たさない音声データを合成したデータとして１のチャンネルに割り当ててもよい。
【００１１】
また、本発明は、通信網を介して通信を行う配信サーバと複数の通信端末とを有する配信システムに用いられる方法であって、前記配信サーバにおいて用いられる方法は、前記通信端末に対して、複数のチャンネルにより構成される配信音声データを送信する配信音声データ送信過程と、前記通信端末から、端末音声データを受信する端末音声データ受信過程と、ストリーミング形式の音声データが入力される音声データ入力過程と、前記音声データ入力過程において入力された音声データと前記端末音声データ受信過程によって受信された通信端末ごとの端末音声データとの各々について、前記配信音声データの複数のチャンネルの各々に割り当てる割当過程とを備え、前記通信端末は、ストリーミング形式の端末音声データが入力される端末音声データ入力過程と、前記端末音声データ入力過程において入力された端末音声データを前記配信サーバに送信する端末音声データ送信過程と、前記配信サーバから配信音声データを受信する受信過程と、前記受信過程によって受信された配信音声データの複数チャンネルのうち、前記端末音声データ送信過程によって送信された端末音声データが割り当てられたチャンネルを特定する特定過程と、前記受信過程によって受信された配信音声データの複数チャンネルのうち、前記特定過程によって特定されたチャンネル以外のチャンネルの配信音声データを出力する出力過程とを備えることを特徴とする配信方法を提供する。
【発明の効果】
【００１２】
本発明によれば、通信端末の利用者の発言だけをその通信端末において遮断することにより、発言中においても他の通信端末の利用者の発言を聞くことができるとともに、音声の品質を保つことができる配信システムおよび配信方法を提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の一実施形態について説明する。
【００１４】
＜実施形態＞
本発明の実施形態に係る配信システムは、図１に示すように、配信サーバ１および複数の通信端末として通信端末２−Ａ、２−Ｂを有する。以下、通信端末２−Ａと通信端末２−Ｂを区別しない場合には、単に通信端末２という。配信サーバ１と通信端末２とは、通信網１０００を介して接続され、各種データの送受信を行う。また、配信サーバ１は、複数の通信端末２に対して、マルチキャストでの通信を行うことができる。以下、配信サーバ１、通信端末２の構成について順に説明する。
【００１５】
配信サーバ１は、図示しないＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを有する制御部を有し、ＣＰＵは、ＲＯＭに記憶されたプログラムをＲＡＭにロードして実行する。また、図２に示すように、配信サーバ１は、通信部１０、音声出力部１２、音声入力部１３を有し、ＣＰＵによって、デコード部１１、チャンネル割当部１４、エンコード部１５を構成するように、配信サーバ１を制御する。図２は、配信サーバ１の構成を示すブロック図である。
【００１６】
通信部１０は、有線、無線などによって、通信網１０００を介して通信端末２とデータの送受信を行う通信手段である。本実施形態においては、通信端末２へは配信データを送信し、通信端末２からは端末データを受信する。配信データ、端末データについては後述する。
【００１７】
デコード部１１は、通信部１０が通信端末２から受信した端末データに対してデコードを行う。端末データは、後述するように通信端末２においてエンコードが行われた端末音声データと、端末データを送信した通信端末２を特定する端末情報とを有する。デコード部１１は、端末データに対してデコードを行うことによって端末音声データと端末情報とを生成して、端末音声データを音声出力部１２とチャンネル割当部１４とに出力するとともに、チャンネル割当部１４には、端末情報についても端末音声データと対応付けて出力する。
【００１８】
ここで、通信部１０が複数の通信端末２から端末データを受信した場合においては、デコード部１１は、通信端末２ごとに区別して端末音声データと端末情報とを出力する。
【００１９】
音声出力部１２は、スピーカなどの放音手段を有し、デコード部１１から入力されるオーディオデータである端末音声データに基づいて放音する。また、複数の端末音声データが入力された場合には、これらをミキシングして放音する。音声入力部１３は、収音を行うマイクロフォンを有し、マイクロフォンの収音に基づいたストリーミング形式のオーディオデータである入力音声データを生成して、チャンネル割当部１４に出力する。本実施形態においては、入力音声データは、Ｌチャンネル、Ｒチャンネルの２チャンネルにより構成されるオーディオデータとする。
【００２０】
チャンネル割当部１４は、音声入力部１３から入力される入力音声データと、デコード部１１から入力される端末音声データとについて、それぞれ異なるチャンネルに割り当てて、複数チャンネルのオーディオデータである配信音声データを生成する。また、各チャンネルとそのチャンネルに割り当てられたオーディオデータの内容を示す割当情報を生成する。オーディオデータの内容とは、端末音声データについては、その端末音声データに係る端末データを送信した通信端末２を示し、通信端末２−Ａは通信端末Ａと、通信端末２−Ｂは通信端末Ｂと示されるものとする。この端末データを送信した通信端末２は、デコード部１１から入力された端末情報によって特定される。一方、入力音声データについては、Ｌチャンネルについては配信サーバＬと、Ｒチャンネルについては配信サーバＲとして示されるものとする。
【００２１】
本実施形態においては、配信音声データは３チャンネルにより構成されるものとし、割当情報は図３に示すようなテーブルとして生成される。例えば、図３（ａ）においては、通信端末２から端末データが送信されていない場合を示し、チャンネル１には入力音声データのＬチャンネル、チャンネル２には入力音声データのＲチャンネルが割り当てられている。このときチャンネル３には割り当てるデータがないから未使用となっている。
【００２２】
図３（ｂ）においては、通信端末２−Ａから端末データが送信されている場合を示し、図３（ａ）におけるチャンネル３に通信端末２−Ａから送信された端末データに係る端末音声データが割り当てられている。一方、図３（ｃ）においては、通信端末２−Ａ、２−Ｂから端末データが同時に送信されている場合を示し、チャンネル１には入力音声データのＬチャンネルとＲチャンネルとをミキシングすることにより、１つのチャンネルとして割り当てられ、チャンネル２には通信端末２−Ａから送信された端末データに係る端末音声データ、チャンネル３には通信端末２−Ｂから送信された端末データに係る端末音声データがそれぞれ割り当てられている。なお、通信端末２−Ａ、２−Ｂから端末データが交互に送信されるような場合には、図３（ｂ）におけるチャンネル３にそれぞれの端末音声データを交互に割り当てるようにすればよい。このように、チャンネル割当部１４は、通信端末２からの端末データの受信の状況に応じて、各オーディオデータの各チャンネルへの割り当てを行い、この割り当ては随時行われるから、割当情報の内容についても、割り当てに応じて随時変化する。
【００２３】
図２に戻って説明を続ける。エンコード部１５は、チャンネル割当部１４から入力された配信音声データに対して所定のエンコードを行って配信データを生成する。この配信データには、チャンネル割当部１４から入力された割当情報も含まれる。そして、エンコード部１５において生成された配信データは、通信部１０に出力されて、各通信端末２へ送信される。以上が配信サーバ１の構成の説明である。
【００２４】
次に、通信端末２の構成について図４を用いて説明する。図４は、通信端末２の構成を示すブロック図である。
【００２５】
デコード部２１は、通信部２０が配信サーバ１から受信した配信データに対してデコードを行う。配信データは、上述したように所定のエンコードが行われた配信音声データと割当情報を有し、デコード部２１は、配信データに対してデコードを行うことによって、配信音声データと割当情報とを生成して、ミュート部２６に出力する。
【００２６】
ミュート部２６は、デコード部２１から入力された割当情報に基づいて、自らの通信端末２に対応するチャンネルを特定することにより、自らの通信端末２が送信した端末データに係る端末音声データが割り当てられたチャンネルを特定する。ミュート部２６は、特定されたチャンネルが存在するときには、デコード部２１から入力された配信音声データの複数チャンネルのうち、特定されたチャンネル以外のチャンネルの配信音声データを音声出力部２２に出力し、特定されたチャンネルが存在しないときには、全てのチャンネルの配信音声データを音声出力部２２に出力する。以下、ミュート部２６から出力される配信音声データを出力音声データという。
【００２７】
音声出力部２２は、スピーカなどの放音手段を有し、ミュート部２６から入力される複数チャンネルのオーディオデータである出力音声データに基づいて放音する。ここで、スピーカが１つだけの場合などモノラルによる放音のみに対応している場合には、出力音声データに含まれる各チャンネルに係る音をミキシングして放音する。一方、複数のスピーカが存在する場合などにおいて多チャンネルの放音に対応している場合には、各チャンネルに係る音を放出するスピーカを予め設定しておけばよい。
【００２８】
音声入力部２３は、収音を行うマイクロフォンを有し、マイクロフォンの収音に基づいたストリーミング形式のオーディオデータである端末音声データを生成して、エンコード部２５に出力する。端末情報記憶部２４は、自らの通信端末２を特定する端末情報を記憶する記憶手段である。
【００２９】
エンコード部２５は、音声入力部２３から入力された端末音声データに対して所定のエンコードを行って端末データを生成する。また、エンコード部２５は、端末情報記憶部２４から端末情報を読み出し、この端末データにその端末情報が含まれるようにして、端末データを通信部２０に出力する。そして、通信部２０は、配信サーバ１へ端末データを送信する。以上が通信端末２の構成の説明である。
【００３０】
次に、本発明の実施形態に係る配信システムの動作について説明する。この説明においては、通信端末２−Ａの利用者を利用者Ａ、通信端末２−Ｂの利用者を利用者Ｂ、配信サーバ１の利用者を利用者Ｃという。
【００３１】
利用者Ｃは、配信サーバ１が設置された音楽スタジオにおいて、楽器の生演奏（以下、ライブ演奏という）を行っている。このとき利用者Ｃは、図示しない配信サーバ１の操作部を操作して、通信部１０が配信データの送信を行う一方、端末データの受信を行わないように、ＣＰＵに制御させる。
【００３２】
音声入力部１３は、ライブ演奏を録音した音声（以下、ライブ音声という）を示す入力音声データを生成してチャンネル割当部１４に出力する。一方、通信部１０が端末データの受信をしないため、チャンネル割当部１４には、端末音声データ、端末情報は入力されない。これにより、チャンネル割当部１４は、チャンネル１にライブ音声のＬチャンネル、チャンネル２にライブ音声のＲチャンネルが割り当てられた配信音声データをエンコード部１５に出力するとともに、図３（ａ）に示すような割当情報を生成し、エンコード部１５に出力する。そして、エンコード部１５において、配信音声データに対してエンコードを行ったデータと割当情報とを有する配信データが、通信部１０を介して、通信端末２−Ａ、２−Ｂに送信される。
【００３３】
一方、通信端末２−Ａ、２−Ｂの通信部２０は配信データを受信し、デコード部２１においてデコードが行われ、ミュート部２６に配信音声データ、割当情報が入力される。ミュート部２６は、割当情報を参照し、自らの通信端末２に対応するチャンネルを特定するが、入力される割当情報は、図３（ａ）に示すような割当情報であるから、チャンネルを特定することがなく、配信音声データの複数チャンネルの全てのチャンネルをそのまま出力音声データとして音声出力部２２に出力する。これにより、通信端末２−Ａ、２−Ｂにおいては、ライブ音声がステレオで放音され、利用者Ａ、Ｂはライブ音声を楽しむことができる。
【００３４】
そして、利用者Ｃはライブ演奏を終了して、利用者Ａ、利用者Ｂに対して、コミュニケーションをとるために、配信サーバ１の操作部を操作して、ＣＰＵに通信部１０において端末データの受信が行われるように制御させる。また、利用者Ｃは、音声入力部１３を介してその旨を利用者Ａ、Ｂに対して提案する。ここで、利用者Ａが会話を開始すると、通信端末２−Ａの音声入力部２３は、利用者Ａの会話を録音した音声（以下、会話音声Ａという）を示す端末音声データ（以下、端末音声データＡという）を生成して、エンコード部２５に出力する。エンコード部２５は、入力された端末音声データＡに対してエンコードを行うとともに、通信端末２−Ａを示す端末情報を端末情報記憶部２４から読み出して端末データ（以下、端末データＡという）を生成し、通信部２０を介して配信サーバ１に端末データＡを送信させる。
【００３５】
配信サーバ１のデコード部１１は、通信部１０によって受信した端末データＡに対してデコードを行い、音声出力部１２に端末音声データＡを出力して会話音声Ａを放音させる。また、チャンネル割当部１４には、デコード部１１から端末音声データＡと通信端末２−Ａを示す端末情報とが入力される一方、利用者Ｃの会話を録音した音声（以下、会話音声Ｃという）を示す入力音声データが音声入力部１３から入力される。
【００３６】
チャンネル割当部１４は、端末音声データＡが新たに入力されたことにより、配信音声データのチャンネル３にその端末音声データＡを割り当てるとともに、図３（ｂ）に示すような割当情報を生成してエンコード部１５に出力する。そして、エンコード部１５によって出力される配信データは、通信部１０を介して、通信端末２−Ａ、２−Ｂに送信される。
【００３７】
通信端末２−Ａは、配信サーバ１から配信データを受信すると、ミュート部２６には、図３（ｂ）に示す割当情報、配信音声データが入力される。ミュート部２６は、割当情報を参照し、自らの通信端末２−Ａを示すチャンネルがチャンネル３であることを特定し、配信音声データの複数のチャンネルのうち、端末音声データＡが割り当てられたチャンネル３を除去し、チャンネル３以外のチャンネル１、２を有する出力音声データを音声出力部２２に出力する。これにより、音声出力部２２からは、会話音声Ｃが放音され、利用者Ａの会話である会話音声Ａは放音されないため、利用者Ａは自らの発言が遅延した状態で聞かなくてもよいから違和感を生じることがなく、音声の品質を悪化させることがない。
【００３８】
一方、通信端末２−Ｂにおいては、ミュート部２６は、割当情報を参照しても自らの通信端末２−Ｂを示すチャンネルを特定することがないから、音声出力部２２からは、会話音声Ａと会話音声Ｃとが放音され、利用者Ａと利用者Ｃとの双方の会話を聞くことができる。
【００３９】
次に、さらに利用者Ｂも会話を開始し、通信端末２−Ｂにおける音声入力部２３からその会話の音声（以下、会話音声Ｂという）を録音して端末音声データ（以下、端末音声データＢという）が生成されると、配信サーバ１におけるチャンネル割当部１４には、音声入力部１３から会話音声Ｃを示す入力音声データが入力されるとともに、デコード部１１からは、通信端末２−Ａを示す端末情報と端末音声データＡとの組、および通信端末２−Ｂを示す端末情報と端末音声データＢとの組が入力される。この結果、チャンネル割当部１４は、入力音声データのＬチャンネルとＲチャンネルをミキシングしたデータをチャンネル１、端末音声データＡをチャンネル２、端末音声データＢをチャンネル３に割り当てた配信音声データを生成するとともに、図３（ｃ）に示す割当情報を生成する。
【００４０】
そして、配信サーバ１においては、会話音声Ａ、会話音声Ｂが放音され、通信端末２−Ａにおいては、会話音声Ｂ、会話音声Ｃが放音され、通信端末２−Ｂにおいては、会話音声Ａ、会話音声Ｃが放音されることにより、利用者Ａ、Ｂ、Ｃはそれぞれ自らの発言以外の音声を聞くことができる。
【００４１】
なお、利用者Ａが所定時間発言を中止すると、配信サーバ１のチャンネル割当部１４に端末音声データＡが入力されないようにしてもよい。これは、配信サーバ１側で端末音声データＡが示す会話音声Ａの音量が所定値以下の状態が所定時間以上続いた場合に利用者Ａが発言していないと判断して、チャンネル割当部１４に入力されないようにしてもよいし、通信端末２−Ａ側で判断して、端末データが通信部２０から送信されないようにしてもよい。そして、チャンネル割当部１４に入力される端末音声データが端末音声データＢだけになった場合には、チャンネル１を入力音声データのＬチャンネル、チャンネル２を入力音声データのＲチャンネル、チャンネル３を端末音声データＢとして割り当て、図３（ｂ）におけるチャンネル３の内容を通信端末Ｂとした割当情報を生成するようにして、随時チャンネルの割り当て内容を変更するようにしてもよい。
【００４２】
このように、本発明の配信システムは、配信サーバ１は、配信サーバ１において生成した入力音声データと各通信端末２から送信された端末音声データとがチャンネルごとに割り当てられた配信音声データと、その割り当ての内容を示す割当情報とを各通信端末２に送信する。一方、各通信端末２は、割当情報に基づいて、自らの通信端末２が送信した端末データに係る端末音声データが割り当てられたチャンネル以外のチャンネルの配信音声データを放音することにより、その通信端末２の利用者は、自らの発言以外の音声を聞くことができる。これにより、利用者は違和感を生じることなく、また配信サーバ１の利用者と通信端末２の利用者とのコミュニケーションに係る音声の品質を保つことができる。
【００４３】
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
【００４４】
＜変形例１＞
上述した実施形態においては、通信端末２は、端末情報を送信し、割当情報を受信することにより、通信端末２のミュート部２６は、割当情報に基づいて、配信サーバ１から受信した配信音声データの複数のチャンネルのうち、自らの通信端末２が送信した端末データに係る端末音声データが割り当てられたチャンネルを特定したが、端末情報および割当情報を用いずに、別の方法によって特定してもよい。
【００４５】
例えば、図５に示すように通信端末２に解析部２７を設ける。解析部２７は、音声入力部２３から端末音声データが入力され、デコード部２１から配信音声データが入力される。そして、配信音声データの各チャンネルの音声パターンと、端末音声データの音声パターンとを比較することによって、配信音声データの複数のチャンネルのうち、この端末音声データが割り当てられたチャンネルがあるか否かを判断するとともに、ある場合には、そのチャンネルを特定する。このような音声パターンの比較は、端末音声データに係る音声の音量変化、周波数分布などのスペクトルなどを用いて比較し、双方のスペクトルが一致、または類似の程度を示す類似度が所定値以上であれば、同一とみなすようにすればよい。
【００４６】
このとき、端末音声データが音声入力部２３から解析部２７に入力されてから、配信音声データとしてデコード部２１から解析部２７に入力されるまでには、処理遅延、通信遅延による時間の遅れがあるから、音声入力部２３から解析部２７に入力された端末音声データについては、その時間の遅れに相当する時間の遅延処理を施してから、デコード部２１から入力される配信音声データの各チャンネルと音声パターンの比較することが望ましい。また、解析部２７は、音声入力部２３から入力された端末音声データの最初の数秒などの所定の区間を記憶し、デコード部２１から入力される配信音声データの各チャンネルの音声パターンと、記憶した所定の区間の端末音声データの音声パターンを比較するようにし、同一とみなせるチャンネルを特定するようにしてもよい。
【００４７】
このように、音声入力部２３において生成した端末音声データとデコード部２１から出力される配信音声データの各チャンネルとの音声パターンを比較することにより、自らの通信端末２が送信した端末データに係る端末音声データが割り当てられたチャンネルを特定すれば、端末情報、割当情報を用いなくても、実施形態と同様な効果を得ることができる。
【００４８】
＜変形例２＞
上述した実施形態においては、利用者Ｃが配信サーバ１の操作部を操作することによって、配信サーバ１が各通信端末２から送信される端末データを受信するか否かを制御し、受信可能な状態であるときには、全ての通信端末２からの端末データを受信可能な状態としていたが、端末データを受信可能とする通信端末２の対象を制限するようにしてもよい。これは、配信サーバ１の操作部を操作することによって通信端末２の制限を行なってもよいし、配信音声データのチャンネル数に応じて、対象となる通信端末２の数を制限してもよい。
【００４９】
チャンネル数に応じて制限するときには、例えば、チャンネル数が６の場合には、配信サーバ１の入力音声データ用の１チャンネルを最低限確保しておけばよいから、通信端末２の数を５に制限しておけば、すべての端末音声データにチャンネルを割り当てることができる。また、入力音声データ用のチャンネルが３チャンネル必要であれば、通信端末２の数を２に制限しておけばよい。なお、このような制限を行った場合には、各通信端末２と割り当てられるチャンネルとを予め設定しておいてもよい。このとき、入力音声データ用に必要なチャンネルが固定数で変化しなければ、割当情報の内容は固定とすることもできる。
【００５０】
＜変形例３＞
上述した実施形態においては、通信端末２は通信端末２−Ａ、２−Ｂの２つであったため、配信サーバ１で同時に端末データを受信しても、チャンネル割当部１４は、それぞれの端末音声データを各チャンネルに割り当てることができたが、さらに通信端末２の数が多い場合には、以下のようにすればよい。
【００５１】
まず、第１の方法として、チャンネル割当部１４に入力される複数の端末音声データについて、その音量レベルに基づいて、割り当て可能なチャンネル数（実施形態の場合には、最大２チャンネル）の端末音声データを特定すればよい。例えば、音量レベルが大きい方から２つの端末音声データを特定して割り当てればよい。また、割り当て時点の所定時間前から、割り当て時点までの期間のうち、音量レベルが所定値以上になっている期間が多い順に割り当てるようにしてもよいし、平均音量レベルが大きい順に割り当てるようにしてもよい。そして、所定時間ごと、またはリアルタイムで、この割り当てを行なうようにすればよい。すなわち、所定の条件を設け、その条件を満たさずに割り当てられなかった端末音声データについては、配信音声データに含まれずに除外されるものとすればよい。なお、所定の条件については、音量レベルに基づく条件に限られず、端末音声データから抽出可能な物理量などに基づく条件であれば、どのような条件を用いてもよい。
【００５２】
第２の方法として、第１の方法と同様に所定の条件を設けて、その条件を満たした端末音声データについては、１つのチャンネルが割り当てられ、条件を満たさない残りの端末音声データについては、これらのデータを合成して、まとめて１つのチャンネルが割り当てられるようにしてもよい。例えば、音量レベルが最大の端末音声データに１のチャンネルに割り当て、残りの端末音声データについては、ミキシングするなどして合成し、まとめて１のチャンネルに割り当てるようにすればよい。そして、まとめて割り当てられた端末音声データを送信した通信端末２については、割当情報に基づいて、そのチャンネルを音声出力部２２に出力してもよいし、出力しないようにしてもよい。音声出力部２２に出力したとしても、音量レベルが小さければ音声の品質の悪化は少ないものとすることができる。
【００５３】
第３の方法として、第２の方法のようにまとめて割り当てるときに、配信音声データの１つのチャンネルを時間軸方向に分割して、複数の端末音声データの各々を分割したチャンネルの各々に交互に割り当てるようにしてもよい。この場合は、複数の端末音声データの各々を時間軸方向に圧縮し、割り当てるようにして、時間軸方向のデータの欠落が発生しないようにしてもよい。例えば、２つの端末音声データを１つのチャンネルに割り当てるときには、それぞれの端末音声データを１秒ずつ分割して、それぞれ分割された１秒の端末音声データを時間軸方向に２倍に圧縮して０．５秒ずつの端末音声データとし、交互に１つのチャンネルに割り当てるようにすればよい。この場合、割当情報は０．５秒ずつ変更されることになる。そして、通信端末２におけるミュート部２６において、０．５秒に圧縮された端末音声データを１秒に伸長し、自らが送信した端末データに係る端末音声データ以外について、音声出力部２２に出力するようにすればよい。このようにすれば、チャンネル数を事実上増加させることができる。
【００５４】
＜変形例４＞
上述した実施形態において、音声入力部１３のマイクロフォンに音声出力部１２からの放音が収音されることに伴う音声結合によるエコーの発声を防止するために、音声入力部１３にエコーキャンセラ回路を設けてもよい。
【図面の簡単な説明】
【００５５】
【図１】実施形態に係る配信システムにおける配信サーバと通信端末との接続関係を示す説明図である。
【図２】実施形態に係る配信サーバの構成を示すブロック図である。
【図３】実施形態に係る割当情報の内容の説明図である。
【図４】実施形態に係る通信端末の構成を示すブロック図である。
【図５】変形例１に係る通信端末の構成を示すブロック図である。
【符号の説明】
【００５６】
１…配信サーバ、２，２−Ａ，２−Ｂ…通信端末、１０，２０…通信部、１１，２１…デコード部、１２，２２…音声出力部、１３，２３…音声入力部、１４…チャンネル割当部、１５，２５…エンコード部、２４…端末情報記憶部、２６…ミュート部、２７…解析部、１０００…通信網
【図１】
2009094630.tif 000003
【図２】
2009094630.tif 000004
【図３】
2009094630.tif 000005
【図４】
2009094630.tif 000006
【図５】
2009094630.tif 000007