(57)【要約】音声ミキシング装置は、サンプリング周波数別に設けられたミキシング処理部１1〜１kからなる。ミキシング処理部１1〜１kのそれぞれは、同一サンプリング周波数の入力音声信号を加算して第１の加算音声信号を生成し、該第１の加算音声信号のサンプリング周波数を他のミキシング処理部で処理可能なサンプリング周波数に変換し、該サンプリング周波数の変換がなされた音声信号を上記他のミキシング処理部に供給し、自処理部で生成した上記第１の加算音声信号と、上記他のミキシング処理部から供給される、自処理部での処理が可能なサンプリング周波数への変換がなされた上記第１の加算音声信号とを加算して第２の加算音声信号を生成する。
2009098975.tif 000002
【特許請求の範囲】
【請求項１】
サンプリング周波数別に設けられた複数のミキシング処理部からなり、
前記複数のミキシング処理部のそれぞれは、
同一サンプリング周波数の入力音声信号を加算して第１の加算音声信号を生成し、該第１の加算音声信号のサンプリング周波数を他のミキシング処理部で処理可能なサンプリング周波数に変換し、該サンプリング周波数の変換がなされた音声信号を前記他のミキシング処理部に供給し、
自処理部で生成した前記第１の加算音声信号と、前記他のミキシング処理部から供給される、自処理部での処理が可能なサンプリング周波数への変換がなされた前記第１の加算音声信号とを加算して第２の加算音声信号を生成する、音声ミキシング装置。
【請求項２】
前記複数のミキシング処理部のそれぞれは、前記同一サンプリング周波数の入力音声信号毎に、前記第２の加算音声信号から該入力音声信号を差し引いた減算音声信号を生成し、該減算音声信号を符号化する、請求の範囲第１項に記載の音声ミキシング装置。
【請求項３】
前記複数のミキシング処理部のそれぞれは、予め定められた高域成分を有する擬似音声信号を前記第２の加算音声信号に加える、請求の範囲第１項または第２項に記載の音声ミキシング装置。
【請求項４】
前記複数のミキシング処理部のそれぞれは、
前記同一サンプリング周波数の入力音声信号を加算して前記第１の加算音声信号を生成するグループ信号加算部と、
前記グループ信号加算部にて生成された前記第１の加算音声信号と、前記他のミキシング処理部から供給される、自処理部での処理が可能なサンプリング周波数への変換がなされた前記第１の加算音声信号とを加算して前記第２の加算音声信号を生成する全信号加算部と、
前記同一サンプリング周波数の入力音声信号毎に設けられ、該入力音声信号が第１の入力として供給され、前記全信号加算部で生成された前記第２の加算音声信号が第２の入力として供給され、該第２の入力から該第１の入力を減算する複数の信号減算器と、
前記複数の信号減算器から出力された音声信号をそれぞれ符号化する複数の符号化部と、を有する、請求の範囲第１項乃至第３項のいずれかに記載の音声ミキシング装置。
【請求項５】
サンプリング周波数が異なる複数の入力音声信号をサンプリング周波数別に複数のグループに分類する第１のステップと、
前記第１のステップで分類したグループ毎に、同一サンプリング周波数の入力音声信号を加算して第１の加算音声信号を生成し、該第１の加算音声信号のサンプリング周波数を他のグループで処理可能なサンプリング周波数に変換し、該サンプリング周波数の変換がなされた音声信号を前記他のグループに割り当てる第２のステップと、
前記第１のステップで分類したグループ毎に、自グループで生成した前記第１の加算音声信号と、前記他のグループから割り当てられる、自グループでの処理が可能なサンプリング周波数への変換がなされた前記第１の加算音声信号とを加算して第２の加算音声信号を生成する第３のステップと、を含む、音声ミキシング方法。
【請求項６】
前記第１のステップで分類したグループのそれぞれにおいて、前記同一サンプリング周波数の入力音声信号毎に、前記第２の加算音声信号から該入力音声信号を差し引いた減算音声信号を生成し、該減算音声信号を符号化するステップを、さらに含む、請求の範囲第５項に記載の音声ミキシング方法。
【請求項７】
前記第１のステップで分類したグループのそれぞれにおいて、予め定められた高域成分を有する擬似音声信号を前記第２の加算音声信号に加えるステップを、さらに含む、請求の範囲第５項または第６項に記載の音声ミキシング方法。
【請求項８】
複数の通信端末とネットワークを介して接続される多地点会議サーバであって、
前記複数の通信端末から受信した複数の音声信号をサンプリング周波数別に分類する信号分類部と、
サンプリング周波数別に設けられた複数のミキシング処理部と、を有し、
前記複数のミキシング処理部のそれぞれは、
同一サンプリング周波数の入力音声信号を加算して第１の加算音声信号を生成し、該第１の加算音声信号のサンプリング周波数を他のミキシング処理部で処理可能なサンプリング周波数に変換し、該サンプリング周波数の変換がなされた音声信号を前記他のミキシング処理部に供給し、
自処理部で生成した前記第１の加算音声信号と、前記他のミキシング処理部から供給される、自処理部での処理が可能なサンプリング周波数への変換がなされた前記第１の加算音声信号とを加算して第２の加算音声信号を生成する、多地点会議サーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の音声信号をミキシングする技術に関し、特に、多地点会議サービスを提供するサーバ等において用いられる音声信号のミキシング技術に関する。
【背景技術】
【０００２】
多地点会議サービスを提供するシステムとして、特開２０００−１７５１７０号公報に記載の多地点テレビ会議システムがある。この多地点テレビ会議システムは、複数の会議端末と、これら会議端末が接続される多地点制御装置とからなる。会議端末が参加者に割り当てられる。【０００３】
この多地点テレビ会議システムでは、各会議端末が、自端末にて検出した音響（音声）に関する音響信号を多地点制御装置に送信する。多地点制御装置は、各会議端末から受信した音響信号を加算する。そして、多地点制御装置は、会議端末のそれぞれに対して、加算した音響信号から当該会議端末から受信した音響信号を減算し、その減算結果として得られる音響信号を符号化し、その符号化した音響信号を当該会議端末に送信する。【０００４】
ところで、多地点制御装置は、回線交換網、モバイル網、パケット網等の種々の通信網に適用することが可能である。回線交換網では、ＩＴＵ‐Ｔ（Telecommunication  Union  Telecommunication  Standardization  Sector）勧告のＨ．３２３やＨ．３２４により規定される通信プロトコルが用いられる。モバイル網では、３Ｇ−３２４Ｍにより規定される通信プロトコルが用いられる。ＩＰ(Internet  Protocol)に基づくパケット網では、ＩＥＴＦ（The  Internet  Engineering  Task  Force）のＲＦＣ３５５０ＲＴＰが用いられる。「ＲＦＣ」は「Request  for  Comments」の略であり、「ＲＴＰ」は「Real-time  Transport  Protocol」の略である。【０００５】
また、多地点制御装置には、サンプリング周波数が８ｋＨｚで、帯域が３．４ｋＨｚの電話帯域音声向けの音声符号化器を搭載するものや、サンプリング周波数が１６ｋＨｚで、帯域が７ｋＨｚの広帯域音声向けの音声符号化器を搭載するものなどがある。電話帯域音声向けの音声符号化器として、ＩＴＵ‐Ｔ勧告のＧ．７１１やＧ．７２９，３ＧＰＰで採用されているＡＭＲ(Adaptive  Multi-Rate)方式のものや、３ＧＰＰ２で採用されているＥＶＲＣ(Enhanced  Variable  Rate  Codec)方式のものなどが用いられる。広帯域音声向けの音声符号化器として、ＩＴＵ‐Ｔ勧告によるＧ．７２２や３ＧＰＰ  ＴＳ２６．１９０で規定されているＡＭＲ‐ＷＢ(Wide  Band)方式のものが用いられる。さらに、ＭＰＥＧ‐４ＡＡＣ(Advanced  Audio  Coding)などのコーデックを用いることで、より広帯域な音声信号を扱うことが可能である。
【発明の開示】
【０００６】
多地点会議サービスを利用する上での利便性を考慮すると、電話帯域を利用する端末や広帯域を利用する端末といった、異なる帯域の音声（音響）信号を送受信する端末間においても多地点会議サービスを提供できることが望ましい。しかしながら、上述した多地点制御装置は、電話帯域音声向け、または、広帯域音声向け、といったように、単一の帯域の音声信号にしか対応していないため、異なる帯域の音声信号を送受信する端末間における多地点会議サービスを提供することは困難である。
【０００７】
本発明の目的は、上記課題を解決し、サンプリング周波数が異なる複数の帯域の音声信号をミキシングすることができる、音声ミキシング装置、音声ミキシング方法および多地点会議サーバを提供することにある。
【０００８】
上記目的を達成するため、本発明の音声ミキシング装置は、
サンプリング周波数別に設けられた複数のミキシング処理部からなり、
前記複数のミキシング処理部のそれぞれは、
同一サンプリング周波数の入力音声信号を加算して第１の加算音声信号を生成し、該第１の加算音声信号のサンプリング周波数を他のミキシング処理部で処理可能なサンプリング周波数に変換し、該サンプリング周波数の変換がなされた音声信号を前記他のミキシング処理部に供給し、
自処理部で生成した前記第１の加算音声信号と、前記他のミキシング処理部から供給される、自処理部での処理が可能なサンプリング周波数への変換がなされた前記第１の加算音声信号とを加算して第２の加算音声信号を生成する、ことを特徴とする。
【０００９】
本発明の音声ミキシング方法は、
サンプリング周波数が異なる複数の入力音声信号をサンプリング周波数別に複数のグループに分類する第１のステップと、
前記第１のステップで分類したグループ毎に、同一サンプリング周波数の入力音声信号を加算して第１の加算音声信号を生成し、該第１の加算音声信号のサンプリング周波数を他のグループで処理可能なサンプリング周波数に変換し、該サンプリング周波数の変換がなされた音声信号を前記他のグループに割り当てる第２のステップと、
前記第１のステップで分類したグループ毎に、自グループで生成した前記第１の加算音声信号と、前記他のグループから割り当てられる、自グループでの処理が可能なサンプリング周波数への変換がなされた前記第１の加算音声信号とを加算して第２の加算音声信号を生成する第３のステップと、を含むことを特徴とする。
【００１０】
本発明の多地点会議サーバは、複数の通信端末とネットワークを介して接続される多地点会議サーバであって、
前記複数の通信端末から受信した複数の音声信号をサンプリング周波数別に分類する信号分類部と、
サンプリング周波数別に設けられた複数のミキシング処理部と、を有し、
前記複数のミキシング処理部のそれぞれは、
同一サンプリング周波数の入力音声信号を加算して第１の加算音声信号を生成し、該第１の加算音声信号のサンプリング周波数を他のミキシング処理部で処理可能なサンプリング周波数に変換し、該サンプリング周波数の変換がなされた音声信号を前記他のミキシング処理部に供給し、
自処理部で生成した前記第１の加算音声信号と、前記他のミキシング処理部から供給される、自処理部での処理が可能なサンプリング周波数への変換がなされた前記第１の加算音声信号とを加算して第２の加算音声信号を生成する、ことを特徴とする。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態である音声ミキシング装置の構成を示すブロック図である。
【図２】図１に示す音声ミキシング装置を搭載した多地点会議サーバを用いた多地点会議システムの構成を示すブロック図である。
【図３】図１に示す音声ミキシング装置のミキシング処理の一手順を示すフローチャートである。
【符号の説明】
【００１２】
１1〜１k  ミキシング処理部
１０1〜１０n、２０1〜２０n、３０1〜３０n  音声信号入力端子
１３1〜１３k  グループ信号加算部
１４1〜１４k-1、１２1〜１２k-1、１３1〜１３k-1  サンプリング変換部
１５1〜１５k  全信号加算部
１６1〜１６n、２６1〜２６n、３６1〜３６n  信号減算部
１７1〜１７n、２７1〜２７n、３７1〜３７n  符号化部
１９1〜１９n、２９1〜２９n、３９1〜３９n  音声信号出力端子
【発明を実施するための最良の形態】
【００１３】
次に、本発明の実施形態について図面を参照して説明する。【００１４】
図１は、本発明の一実施形態である音声ミキシング装置の構成を示すブロック図である。【００１５】
図１に示す音声ミキシング装置は、多地点制御装置である多地点会議サーバに搭載されるものであって、ｋ個のミキシング処理部１1〜１kを有する。多地点会議サーバは、サンプリング周波数の異なる複数の帯域の音声信号を受信することが可能とされており、ミキシング処理部は、その帯域毎に設けられている。すなわち、ミキシング処理部１1〜１kの数は、多地点会議サーバで取り扱うことができる帯域の最大数に対応する。ここでは、多地点会議サーバは、ｋ個の異なる帯域Ｂ1〜Ｂkの音声信号を受信するように構成されており、受信した音声信号が帯域別に設けられたミキシング処理部１1〜１kに供給される。【００１６】
本実施形態の音声ミキシング装置の詳細な構成を説明する前に、本実施形態の音声ミキシング装置を搭載する多地点会議サーバの構成について簡単に説明する。【００１７】
図２は、図１に示した音声ミキシング装置を搭載した多地点会議サーバを用いた多地点会議システムの構成を示すブロック図である。この多地点会議システムは、複数の端末２００と、これら端末２００が伝送路３００を介して接続される多地点会議サーバ１００とを有する。【００１８】
伝送路３００は、回線交換網、モバイル網、パケット網等の複数の通信網を含む。端末２００と多地点会議サーバ１００の間において音声信号を送受信する際に、それぞれの通信網のプロトコルを通じて、音声信号の呼接続情報（音声信号を送信した端末のアドレス情報、帯域の情報、サンプリング周波数の情報などを含む）が多地点会議サーバ１００に供給される。【００１９】
複数の端末２００は、伝送路３００を介して送受信される音声信号の帯域およびサンプリング周波数が異なる複数の端末を含む。例えば、サンプリング周波数が８ｋＨｚで、帯域が３．４ｋＨｚの電話帯域音声向けの端末や、サンプリング周波数が１６ｋＨｚで、帯域が７ｋＨｚの広帯域音声向けの端末などが、端末２００として用いられる。なお、各端末２００の構成は基本的に同じである。【００２０】
端末２００は、ＡＤ変換部２０１、符号化部２０２、送信部２０３、ＤＡ変換部２０４、復号部２０５および受信部２０６からなる。【００２１】
ＡＤ変換部２０１は、マイクロホン２０７からの音声信号（アナログ信号）をデジタル信号に変換する。符号化部２０２は、ＡＤ変換部２０１から供給された音声信号（デジタル信号）を符号化する。送信部２０３は、符号化部２０２から供給された符号化音声信号を、伝送路３００を介して多地点会議サーバ１００へ送信する。【００２２】
受信部２０６は、多地点会議サーバ１００からの符号化音声信号（デジタル信号）を、伝送路３００を介して受信する。復号部２０５は、受信部２０６から供給される符号化音声信号を復号する。ＤＡ変換部２０４は、復号部２０５からの復号音声信号（デジタル信号）をアナログ信号に変換する。アナログ信号に変換された音声信号は、ＤＡ変換部２０４からスピーカ２０８に供給される。【００２３】
多地点会議サーバ１００は、受信部１０１、複数の復号部１０２、信号分類部１０３、音声ミキシング装置１０４および送信部１０５を有する。音声ミキシング装置１０４は、図１に示した音声ミキシング装置である。【００２４】
受信部１０１は、各端末２００からの音声信号を、伝送路３００を介して受信する。受信した音声信号は、受信部１０１から複数の復号部１０２のいずれかに供給される。復号部１０２は、受信部１０１から供給された音声信号を復号する。復号された音声信号は、復号部１０２から信号分類部１０３に供給される。【００２５】
信号分類部１０３は、復号部１０２から供給された復号音声信号を、該復号音声信号のサンプリング周波数に応じて、図１に示したミキシング処理部１1〜１kのうちの対応するミキシング処理部に供給する。また、信号分類部１０３は、音声ミキシング装置１０４から供給された音声信号を送信部１０５に供給する。復号音声信号のサンプリング周波数は、受信部１０１が音声信号を受信した際に得られる呼制御情報から得ることができる。【００２６】
送信部１０５は、信号分類部１０３から供給された音声信号を、伝送路３００を介して、複数の端末２００のうちの対応する端末へ送信する。受信部１０１が音声信号を受信した際に得られる呼制御情報に基づいて、送信先となる端末を識別することができる。【００２７】
音声ミキシング装置１０４は、信号分類部１０３から供給される、サンプリング周波数別に分類された複数の音声信号をミキシングして符号化し、符号化した音声信号を信号分類部１０３に供給する。【００２８】
以下、図１を参照して音声ミキシング装置１０４の構成を具体的に説明する。【００２９】
音声ミキシング装置１０４は、ミキシング処理部１1〜１kからなる。ミキシング処理部１1〜１kは、基本的に同じ構成である。便宜上、図１には、ミキシング処理部１1、ミキシング処理部１2およびミキシング処理部１kについての具体的な構成が示されている。【００３０】
［ミキシング処理部１1の構成］
ミキシング処理部１1は、音声信号入力端子１０1〜１０n、グループ信号加算部１３1、サンプリング変換部１４1〜１４k-1、全信号加算部１５1、信号減算部１６1〜１６n、符号化部１７1〜１７n、および音声信号出力端子１９1〜１９nを有する。【００３１】
帯域Ｂ1の音声信号は、音声信号入力端子１０1〜１０nに割り振られる。例えば、帯域Ｂ1の音声信号として、ｎ個の音声信号を受信した場合は、音声信号入力端子１０1〜１０nのそれぞれに受信音声信号が供給される。【００３２】
音声信号入力端子１０1からの音声信号は、信号減算部１６1の第１の入力に供給されるとともに、グループ信号加算部１３1に供給される。これと同様に、音声信号入力端子１０2〜１０nからの音声信号は、信号減算部１６2〜１６nの第１の入力に供給されるとともに、グループ信号加算部１３1に供給される。【００３３】
グループ信号加算部１３1は、音声信号入力端子１０1〜１０nからの音声信号を加算し、その加算結果を出力する。グループ信号加算部１３1の出力は、サンプリング変換部１４1〜１４k-1および全信号加算部１５1に供給される。【００３４】
サンプリング変換部１４1〜１４k-1は、帯域Ｂ1を除く他の帯域Ｂ2〜Ｂkに対応して設けられている。サンプリング変換部１４1は、グループ信号加算部１３1から供給された音声信号（加算結果）のサンプリング周波数を、帯域Ｂ2の音声信号のサンプリング周波数に一致するように変換する。例えば、帯域Ｂ1の音声信号のサンプリング周波数が８ｋＨｚであり、帯域Ｂ2の音声信号のサンプリング周波数が１６ｋＨｚである場合は、サンプリング変換部１４1は、グループ信号加算部１３1からの音声信号のサンプリング周波数を、８ｋＨｚから１６ｋＨｚに変換する。これと同様に、サンプリング変換部１４2〜１４k-1も、グループ信号加算部１３1からの音声信号のサンプリング周波数を対応する帯域の音声信号のサンプリング周波数に変換する。【００３５】
サンプリング変換部１４1の出力は、帯域Ｂ2に対応するミキシング処理部１2の全信号加算部に供給される。これと同様に、サンプリング変換部１４2〜１４k-1の出力は、帯域Ｂ3〜Ｂkに対応するミキシング処理部１3〜１kの全信号加算部に供給される。【００３６】
全信号加算部１５1は、グループ信号加算部１３1からの音声信号と他のミキシング処理部１2〜１kの各グループ信号加算部からの音声信号とを入力とし、これら入力音声信号を加算する。全信号加算部１５1の出力は、信号減算部１６1〜１６nに供給される。【００３７】
信号減算部１６1は、音声信号入力端子１０1からの音声信号を第１の入力とし、全信号加算部１５1からの音声信号を第２の入力としており、第２の入力から第１の入力を差し引いた音声信号を出力する。信号減算部１６1の出力は、符号化部１７1に供給される。これと同様に、信号減算部１６2〜１６nのそれぞれも、音声信号入力端子１０2〜１０nのうちの対応する入力端子からの音声信号を第１の入力とし、全信号加算部１５1からの音声信号を第２の入力としており、第２の入力から第１の入力を差し引いた音声信号を出力する。信号減算部１６2〜１６nの出力は、符号化部１７2〜１７nに供給される。【００３８】
符号化部１７1は、信号減算部１６1からの音声信号を符号化する。これと同様に、符号化部１７2〜１７nも、信号減算部１６2〜１６nのうちの対応する信号減算部からの音声信号を符号化する。符号化部１７1〜１７nの出力は、音声信号出力端子１９1〜１９nに供給される。音声信号出力端子１９1〜１９nは、入力された音声信号を図２に示した信号分類部１０３に供給する。【００３９】
［ミキシング処理部１2の構成］
ミキシング処理部１2は、音声信号入力端子２０1〜２０n、グループ信号加算部１３2、サンプリング変換部２４1〜２４k-1、全信号加算部１５2、信号減算部２６1〜２６n、符号化部２７1〜２７n、および音声信号出力端子２９1〜２９nを有する。【００４０】
帯域Ｂ2の音声信号は、音声信号入力端子２０1〜２０nに割り振られる。音声信号入力端子２０1〜２０nの数は、他のミキシング処理部の音声信号入力端子の数と同じであっても、異なっていても良い。【００４１】
音声信号入力端子２０1からの音声信号は、信号減算部２６1の第１の入力に供給されるとともに、グループ信号加算部１３2に供給される。これと同様に、音声信号入力端子２０2〜２０nからの音声信号は、信号減算部２６2〜２６nの第１の入力に供給されるとともに、グループ信号加算部１３2に供給される。【００４２】
グループ信号加算部１３2は、音声信号入力端子２０1〜２０nからの音声信号を加算し、その加算結果を出力する。グループ信号加算部１３2の出力は、サンプリング変換部２４1〜２４k-1および全信号加算部１５2に供給される。【００４３】
サンプリング変換部２４1〜２４k-1は、帯域Ｂ2を除く他の帯域Ｂ1、Ｂ3〜Ｂkに対応して設けられている。サンプリング変換部２４1は、グループ信号加算部１３2から供給された音声信号（加算結果）のサンプリング周波数を、帯域Ｂ1の音声信号のサンプリング周波数に一致するように変換する。これと同様に、サンプリング変換部２４2〜２４k-1も、グループ信号加算部１３2からの音声信号のサンプリング周波数を対応する帯域の音声信号のサンプリング周波数に変換する。【００４４】
サンプリング変換部２４1の出力は、帯域Ｂ1に対応するミキシング処理部１1の全信号加算部に供給される。これと同様に、サンプリング変換部２４2〜２４k-1の出力は、帯域Ｂ3〜Ｂkに対応するミキシング処理部１3〜１kの全信号加算部に供給される。【００４５】
全信号加算部１５2は、グループ信号加算部１３2からの音声信号と他のミキシング処理部１1、１3〜１kの各グループ信号加算部からの音声信号とを入力とし、これら入力音声信号を加算する。全信号加算部１５2の出力は、信号減算部２６1〜２６nに供給される。【００４６】
信号減算部２６1は、音声信号入力端子２０1からの音声信号を第１の入力とし、全信号加算部１５2からの音声信号を第２の入力としており、第２の入力から第１の入力を差し引いた音声信号を出力する。信号減算部２６1の出力は、符号化部２７1に供給される。これと同様に、信号減算部２６2〜２６nのそれぞれも、音声信号入力端子２０2〜２０nのうちの対応する音声信号入力端からの音声信号を第１の入力とし、全信号加算部１５2からの音声信号を第２の入力としており、第２の入力から第１の入力を差し引いた音声信号を出力する。信号減算部２６2〜２６nの出力は、符号化部２７2〜２７nに供給される。【００４７】
符号化部２７1は、信号減算部２６1からの音声信号を符号化する。これと同様に、符号化部２７2〜２７nも、信号減算部２６2〜２６nのうちの対応する信号減算部からの音声信号を符号化する。符号化部２７1〜２７nの出力は、音声信号出力端子２９1〜２９nに供給される。音声信号出力端子２９1〜２９nは、入力された音声信号を図２に示した信号分類部１０３に供給する。【００４８】
［ミキシング処理部１kの構成］
ミキシング処理部１kは、音声信号入力端子３０1〜３０n、グループ信号加算部１３k、サンプリング変換部３４1〜３４k-1、全信号加算部１５k、信号減算部３６1〜３６n、符号化部３７1〜３７n、および音声信号出力端子３９1〜３９nを有する。【００４９】
帯域Ｂkの音声信号は、音声信号入力端子３０1〜３０nに割り振られる。音声信号入力端子３０1〜３０nの数は、他のミキシング処理部の音声信号入力端子の数と同じであっても、異なっていても良い。【００５０】
音声信号入力端子３０1からの音声信号は、信号減算部３６1の第１の入力に供給されるとともに、グループ信号加算部１３kに供給される。これと同様に、音声信号入力端子３０2〜３０nからの音声信号は、信号減算部３６2〜３６nの第１の入力に供給されるとともに、グループ信号加算部１３kに供給される。【００５１】
グループ信号加算部１３kは、音声信号入力端子３０1〜３０nからの音声信号を加算し、その加算結果を出力する。グループ信号加算部１３kの出力は、サンプリング変換部３４1〜３４k-1および全信号加算部１５kに供給される。【００５２】
サンプリング変換部３４1〜３４k-1は、帯域Ｂkを除く他の帯域Ｂ1〜Ｂk-1に対応して設けられている。サンプリング変換部３４1は、グループ信号加算部１３kから供給された音声信号（加算結果）のサンプリング周波数を、帯域Ｂ1の音声信号のサンプリング周波数に一致するように変換する。これと同様に、サンプリング変換部３４2〜３４k-1も、グループ信号加算部１３kからの音声信号のサンプリング周波数を対応する帯域の音声信号のサンプリング周波数に変換する。【００５３】
サンプリング変換部３４1の出力は、帯域Ｂ1に対応するミキシング処理部１1の全信号加算部に供給される。これと同様に、サンプリング変換部３４2〜３４k-1の出力は、帯域Ｂ1〜Ｂk-1に対応するミキシング処理部１1〜１k-1の全信号加算部に供給される。【００５４】
全信号加算部１５kは、グループ信号加算部１３kからの音声信号と他のミキシング処理部１1〜１k-1の各グループ信号加算部からの音声信号とを入力とし、これら入力音声信号を加算する。全信号加算部１５kの出力は、信号減算部３６1〜３６nに供給される。【００５５】
信号減算部３６1は、音声信号入力端子３０1からの音声信号を第１の入力とし、全信号加算部１５kからの音声信号を第２の入力としており、第２の入力から第１の入力を差し引いた音声信号を出力する。これと同様に、信号減算部３６2〜３６nのそれぞれも、音声信号入力端子３０2〜３０nのうちの対応する音声信号入力端子からの音声信号を第１の入力とし、全信号加算部１５kからの音声信号を第２の入力としており、第２の入力から第１の入力を差し引いた音声信号を出力する。信号減算部３６1〜３６nの出力は、符号化部３７1〜３７nに供給される。【００５６】
符号化部３７1は、信号減算部３６1からの音声信号を符号化する。これと同様に、符号化部３７2〜３７nも、信号減算部３６2〜３６nのうちの対応する信号減算部からの音声信号を符号化する。符号化部３７1〜３７nの出力は、音声信号出力端子３９1〜３９nに供給される。音声信号出力端子３９1〜３９nに入力された音声信号は、図２に示した信号分類部１０３に供給される。【００５７】
他のミキシング処理部１3〜１k-1の構成も、基本的に、上述したミキシング処理部１1、１2、１kの構成と同じである。【００５８】
次に、本実施形態の音声ミキシング装置の動作について詳細に説明する。【００５９】
図３は、図１に示した音声ミキシング装置のミキシング処理の一手順を示すフローチャートである。【００６０】
ミキシング処理部１1〜１kの動作は基本的に同じである。ここでは、図２に示した信号分類部１０３が、帯域Ｂ1〜Ｂkの音声信号をミキシング処理部１1〜１kに供給した場合におけるミキシング処理部１1の動作について、図１および図３を参照して説明する。なお、帯域Ｂ1〜Ｂkの音声信号のサンプリング周波数はそれぞれサンプリング周波数Ｆ1〜Ｆkとする。【００６１】
帯域Ｂ1の音声信号として、サンプリング周波数Ｆ1の複数の音声信号Ｓ1〜Ｓnが音声信号入力端子１０1〜１０nに供給される（ステップＳ１０）。音声信号入力端子１０1〜１０nからの音声信号Ｓ1〜Ｓnは、信号減算部１６1〜１６nの第１の入力に供給されるとともに、グループ信号加算部１３1の第１の入力に供給される。【００６２】
次に、グループ信号加算部１３1が、音声信号入力端子１０1〜１０nからの音声信号Ｓ1〜Ｓnを加算して第１の加算音声信号を生成する（ステップＳ１１）。第１の加算音声信号は、サンプリング変換部１４1〜１４k-1および全信号加算部１５1に供給される。【００６３】
次に、サンプリング変換部１４1が、グループ信号加算部１３1から供給された同一帯域の第１の加算音声信号のサンプリング周波数Ｆ1をサンプリング周波数Ｆ2に変換する。これと同様に、サンプリング変換部１４2〜１４k-1が、グループ信号加算部１３1から供給された同一帯域の第１の加算音声信号のサンプリング周波数Ｆ1をサンプリング周波数Ｆ3〜Ｆkのうちの対応するサンプリング周波数に変換する。サンプリング変換部１４1〜１４k-1にてサンプリング周波数が他の帯域のサンプリング周波数に変換された同一帯域の第１の加算音声信号は、他のミキシング処理部１2〜１kの全信号加算部１５2〜１５kに供給される（ステップＳ１２）。【００６４】
次に、全信号加算部１５1が、グループ信号加算部１３1から供給された同一帯域の第１の加算音声信号と、他のミキシング処理部１2〜１kからの、サンプリング周波数が変換された他の同一帯域の第１の加算音声信号とを加算して、同一サンプリング周波数Ｆ1の第２の加算音声信号を出力する（ステップＳ１３）。全信号加算部１５1から出力された同一サンプリング周波数Ｆ1の第２の加算音声信号は、信号減算部１６1〜１６nに供給される。【００６５】
次に、信号減算部１６1が、全信号加算部１５1からの第２の加算音声信号（第２の入力）から音声信号入力端子１０1からの入力音声信号（第１の入力）を差し引いた音声信号を出力する。そして、符号化部１７1が、信号減算部１６1からの音声信号を符号化する。これと同様に、信号減算部１６2〜１６nのそれぞれが、全信号加算部１５1からの第２の加算音声信号（第２の入力）から、音声信号入力端子１０2〜１０nのうちの対応する入力端子からの音声信号（第１の入力）を差し引いた音声信号を出力する。そして、符号化部１７2〜１７nが、信号減算部１６2〜１６nからの音声信号を符号化する（ステップＳ１４）。【００６６】
符号化部１７1〜１７nの出力は、音声信号出力端子１９2〜１９nを介して図２に示した信号分類部１０３に供給される（ステップＳ１５）。【００６７】
他のミキシング処理部１2〜１kにいても、上述のステップＳ１０〜Ｓ１５と同様な手順で、音声ミキシング処理が行われる。【００６８】
次に、本実施形態の音声ミキシング装置の各ミキシング処理部の動作について、サンプリング周波数の具体的な数値を挙げて説明する。【００６９】
図２に示した複数の端末２００が、サンプリング周波数が８ｋＨｚである音声信号（例えば、Ｇ．７２９方式やＡＭＲ方式の音声データ）を送受信する第１の端末グループと、サンプリング周波数が１６ｋＨｚである音声信号（例えば、Ｇ．７２２方式やＡＭＲ‐ＷＢ方式の音声データ）を送受信する第２の端末グループと、サンプリング周波数が３２ｋＨｚである音声信号（例えば、ＡＡＣ方式の音声データ）を送受信する第３の端末グループとを含む。【００７０】
第１の端末グループからの音声信号はミキシング処理部１1に供給され、第２の端末グループからの音声信号はミキシング処理部１2に供給され、第３の端末グループからの音声信号はミキシング処理部１3に供給される。【００７１】
ミキシング処理部１1では、図３に示した手順で、第１の端末グループからの音声信号に対するミキシング処理が行われる。このミキシング処理では、サンプリング変換部１４1が、グループ信号加算部１３1からの同一帯域の加算音声信号のサンプリング周波数８ｋＨｚを、ミキシング処理部１2での処理が可能なサンプリング周波数１６ｋＨｚに変換する。【００７２】
上記のサンプリング周波数８ｋＨｚからサンプリング周波数１６ｋＨｚへのアップサンプリング変換では、例えば、サンプリング周波数８ｋＨｚの音声信号の各サンプルの間に値が０のサンプルを１つ挿入することにより、サンプル数を倍にした音声信号を生成する。そして、その生成した音声信号を、周波数４ｋＨｚ以下の帯域のみを通過させる帯域制限フィルタに通すことにより、サンプリング周波数１６ｋＨｚの音声信号を得る。【００７３】
また、サンプリング変換部１４2が、グループ信号加算部１３1からの同一帯域の加算音声信号のサンプリング周波数８ｋＨｚを、ミキシング処理部１3での処理が可能なサンプリング周波数３２ｋＨｚに変換する。【００７４】
上記のサンプリング周波数８ｋＨｚからサンプリング周波数３２ｋＨｚへのアップサンプリング変換では、例えば、サンプリング周波数８ｋＨｚの音声信号の各サンプルの間に値が０のサンプルを３つ挿入することにより、サンプル数を４倍にした音声信号を生成する。そして、その生成した音声信号を、周波数４ｋＨｚ以下の帯域のみを通過させる帯域制限フィルタに通すことにより、サンプリング周波数３２ｋＨｚの音声信号を得る。【００７５】
上述のサンプリング変換の詳細については、例えば、文献「J.O.Smith,  "A  Flexible  Sampling-Rate  Conversion  Method,"  Proc.  IEEEICASSP  '84  Vol.  9,  Part  1,  pp.112-115.」を参照できる。【００７６】
なお、アップサンプリング変換を行う際に、帯域が異なる音声信号をミキシングすることで生じる違和感を避けるために、例えば、高域に擬似的な信号を付加する帯域拡張処理を施してもよい。帯域拡張処理の詳細については、例えば、文献「Yan  Ming  Cheng,  O'Shaughnessy  and  D.  Mermelstein,  "Statistical  Recovery  of  Wideband  Speech  from  Narrowband  speech,"  Speech  and  Audio  Processing,  IEEE  Transactions  on  Volume  2,  Issue  4,  Oct.  1994  pp.544-548.」を参照できる。【００７７】
ミキシング処理部１2でも、図３に示した手順で、第２の端末グループからの音声信号に対するミキシング処理が行われる。このミキシング処理では、サンプリング変換部２４1が、グループ信号加算部１３2からの同一帯域の加算音声信号のサンプリング周波数１６ｋＨｚを、ミキシング処理部１1での処理が可能なサンプリング周波数８ｋＨｚに変換する。【００７８】
上記のサンプリング周波数１６ｋＨｚからサンプリング周波数８ｋＨｚへのダウンサンプリング変換では、例えば、サンプリング周波数１６ｋＨｚの音声信号を、周波数４ｋＨｚ以下の帯域のみを通過させる帯域制限フィルタに通した後、１サンプル毎に間引くことにより、サンプリング周波数が８ｋＨｚの音声信号を得る。【００７９】
また、サンプリング変換部２４2が、グループ信号加算部１３2からの同一帯域の加算音声信号のサンプリング周波数１６ｋＨｚを、ミキシング処理部１3での処理が可能なサンプリング周波数３２ｋＨｚに変換する。【００８０】
上記のサンプリング周波数１６ｋＨｚからサンプリング周波数３２ｋＨｚへのアップサンプリング変換では、例えば、１６ｋＨｚサンプリングの音声信号の各サンプルの間に値が０のサンプルを１つ挿入することによりサンプル数を倍にした音声信号を生成する。そして、その生成した音声信号を、周波数８ｋＨｚ以下の帯域のみを通過させる帯域制限フィルタに通すことにより、サンプリング周波数が３２ｋＨｚの音声信号を得る。【００８１】
ミキシング処理部１3でも、図３に示した手順で、第３の端末グループからの音声信号に対するミキシング処理が行われる。このミキシング処理では、サンプリング変換部３４1が、グループ信号加算部１３3からの同一帯域の加算音声信号のサンプリング周波数３２ｋＨｚを、ミキシング処理部１1での処理が可能なサンプリング周波数８ｋＨｚに変換する。【００８２】
上記のサンプリング周波数３２ｋＨｚからサンプリング周波数８ｋＨｚへのダウンサンプリング変換では、例えば、サンプリング周波数が３２ｋＨｚの音声信号を、周波数４ｋＨｚ以下の帯域のみを通過させる帯域制限フィルタに通した後、３サンプル毎に間引くことにより、サンプリング周波数が８ｋＨｚの音声信号を得る。【００８３】
また、サンプリング変換部３４2が、グループ信号加算部１３2からの同一帯域の加算音声信号のサンプリング周波数３２ｋＨｚを、ミキシング処理部１2での処理が可能なサンプリング周波数１６ｋＨｚに変換する。【００８４】
上記のサンプリング周波数３２ｋＨｚからサンプリング周波数１６ｋＨｚへのダウンサンプリング変換では、例えば、サンプリング周波数が３２ｋＨｚの音声信号を、周波数８ｋＨｚ以下の帯域のみを通過させる帯域制限フィルタに通した後、１サンプル毎に間引くことにより、サンプリング周波数が１６ｋＨｚの音声信号を得る。【００８５】
上述のようなサンプリング周波数の変換処理により、帯域別に設けられた各ミキシング処理部において、自処理部に供給された音声信号と、他のミキシング処理部に供給された音声信号とのミキシングを行うことができる。【００８６】
以上説明したように、本実施形態の音声ミキシング装置では、ミキシング処理部１1〜１kのそれぞれが、入力された同一帯域の加算音声信号のサンプリング周波数を他のミキシング処理部で処理可能なサンプリング周波数に変換する。さらに、ミキシング処理部１1〜１kのそれぞれが、自処理部で生成した同一帯域の加算音声信号と、他のミキシング処理部から供給される、自処理部のサンプリング周波数への変換がなされた同一帯域の加算音声信号とを加算して、同一サンプリング周波数の加算信号を生成する。そして、ミキシング処理部１1〜１kのそれぞれが、同一サンプリング周波数の加算信号から入力音声信号を減算し、その減算結果として得られた音声信号を符号化する。【００８７】
上記の構成によれば、ミキシング処理部１1〜１kのそれぞれが、同一帯域の加算音声信号のサンプリング周波数を他のミキシング処理部で処理可能なサンプリング周波数に変換するとともに、自処理部で生成した同一帯域の加算音声信号と、他のミキシング処理部から供給される、自処理部のサンプリング周波数への変換がなされた同一帯域の加算音声信号とを加算することで、複数の異なる帯域の音声信号をミキシングすることが可能となっている。したがって、例えば、電話帯域を利用する端末や広帯域を利用する端末、といった異なる帯域の音声信号を送受信する端末間において、多地点会議サービスを提供することができる。【００８８】
また、ミキシング処理部１1〜１kのそれぞれが、自処理部で生成した同一帯域の加算音声信号と、他のミキシング処理部から供給される、自処理部のサンプリング周波数への変換がなされた同一帯域の加算音声信号とを加算する際に、その加算信号に、予め定められた高域成分を有する擬似音声信号を付加してもよい。これにより、アップサンプリング変換を行う際の、帯域が異なる音声信号をミキシングすることで生じる違和感を避けることができ、低いサンプリング周波数の信号の音質を改善することができる。【００８９】
上述した本実施形態の音声ミキシング装置は、本発明の一例であり、その構成および動作は、発明の趣旨を逸脱しない範囲で適宜に変更することができる。【００９０】
例えば、図１に示した音声ミキシング装置において、ミキシング処理部１1〜１kは、全信号加算部１５1〜１５kから出力される音声信号、または、その出力音声信号を符号化した音声データを、それぞれの出力信号としてもよい。【００９１】
また、図１に示した音声ミキシング装置において、ミキシング処理部１1〜１kの各符号化部（例えば、符号化部１７1〜１７k、２７1〜２７k、３７1〜３７kなど）が、予測符号化器であってもよい。【００９２】
また、図１および図２に示した構成において、復号部や信号分類部は、音声ミキシング装置内に設けられてもよく、また、受信部に設けられてもよい。【００９３】
また、図２に示した多地点会議サーバは、プログラムにより動作するコンピュータシステムより実現することができる。このコンピュータシステムの主要部は、プログラムやデータなどを蓄積する記憶装置、キーボードやマウスなどの入力装置、ＬＣＤ（Liquid  Crystal  Display）などの表示装置、外部との通信を行うモデムなどの通信装置、プリンタなどの出力装置、および記憶装置に格納されたプログラム従って動作し、入力装置からの入力を受け付けて通信装置、出力装置、表示装置の動作を制御する制御装置（ＣＰＵ：Central  Processing  Unit）から構成される。プログラムとして、図３に示したミキシング処理をＣＰＵに実行させるためのプログラムが記憶装置に格納される。このプログラムは、記録媒体やインターネットを通じて提供されてもよい。また、プログラムとして、図３に示したミキシング処理をＤＳＰ（Digital  Signal  Processor）に実行させるためのプログラムを提供することもできる。【００９４】
以上説明した本発明によれば、サンプリング周波数が異なる複数の帯域の音声信号を混在させた音声ミキシングを行うことが可能であるので、例えば、電話帯域を利用する端末や広帯域を利用する端末、といった異なる帯域の音声（音響）信号を送受信する端末間においても多地点会議サービスを提供できる。したがって、多地点音声会議サービスにおける利便性の向上を図ることができる。【００９５】
本発明は、多地点会議サービスを提供するシステムの他、音声ミキシングを行う装置全般に適用することができる。例えば、本発明は、３ＧＰＰにて規定されたＭＲＦ（Media  Resource  Function）と呼制御部に相当するＭＲＣＦ（Media  Resource  Control  Function）によって実現される、種々のメディアサービスを提供するシステムに適用することができる。ＭＲＦおよびＭＲＣＦは、所謂、多地点会議システムの多地点制御装置（ＭＣＵ：Multi-Point  Control  Unit）の機能を実現するために用いられている。【００９６】
以上、実施形態を参照して本発明を説明したが、本発明は上述した実施形態に限定されるものではない。本発明の構成及び動作については、本発明の趣旨を逸脱しない範囲において、当業者が理解し得る様々な変更を行うことができる。【００９７】
この出願は、２００８年２月４日に出願された日本出願特願２００８−２３９７６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2009098975.tif 000003
【図２】
2009098975.tif 000004
【図３】
2009098975.tif 000005
【手続補正書】
【提出日】平成22年7月21日(2010.7.21)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
全信号加算部１５1は、グループ信号加算部１３1からの音声信号と他のミキシング処理部１2〜１kの各サンプリング変換部からの音声信号とを入力とし、これら入力音声信号を加算する。全信号加算部１５1の出力は、信号減算部１６1〜１６nに供給される。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
全信号加算部１５2は、グループ信号加算部１３2からの音声信号と他のミキシング処理部１1、１3〜１kの各サンプリング変換部からの音声信号とを入力とし、これら入力音声信号を加算する。全信号加算部１５2の出力は、信号減算部２６1〜２６nに供給される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
サンプリング変換部３４1の出力は、帯域Ｂ1に対応するミキシング処理部１1の全信号加算部に供給される。これと同様に、サンプリング変換部３４2〜３４k-1の出力は、帯域Ｂ2〜Ｂk-1に対応するミキシング処理部１2〜１k-1の全信号加算部に供給される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
全信号加算部１５kは、グループ信号加算部１３kからの音声信号と他のミキシング処理部１1〜１k-1の各サンプリング変換部からの音声信号とを入力とし、これら入力音声信号を加算する。全信号加算部１５kの出力は、信号減算部３６1〜３６nに供給される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
符号化部１７1〜１７nの出力は、音声信号出力端子１９1〜１９nを介して図２に示した信号分類部１０３に供給される（ステップＳ１５）。
【国際調査報告】
2009098975.tif 000006
2009098975.tif 000007
2009098975.tif 000008