(57)【要約】【課題】利用者の数に応じて通信のデータ量が増加することを防止することができ、利用者数の制限をなくすことができる音声処理システム、装置および方法を提供すること。【解決手段】音声チャットサーバ１０とｎ台の音声チャットクライアント２０−１〜２０−ｎを含んで音声処理システムが構成されている。各音声チャットクライアントは、マイクロホン２２によって集音した音声をデジタル化した後圧縮して音声チャットサーバ１０に送信する。音声チャットサーバ１０は、各音声チャットクライアントから送られてくる音声データに基づいて、各利用者の位置を考慮した三次元音声データを生成し、それぞれの音声チャットクライアントに向けて送信する。【選択図】        図１
2004336292.tif 000002
【特許請求の範囲】
【請求項１】
複数の端末装置と音声処理装置とが通信回線を介して接続された音声処理システムにおいて、
前記端末装置は、
利用者の音声に対応する音声データを前記音声処理装置に向けて送信する第１の送信手段と、
前記複数の端末装置のそれぞれの利用者の発声位置を特定可能な三次元音声データが前記音声処理装置から送られてきたときにこれを受信する第１の受信手段と、
前記第１の受信手段によって受信された前記三次元音声データに対応する音声を複数のスピーカから出力する音声出力手段とを備え、
前記音声処理装置は、
前記複数の端末装置のそれぞれから送られてくる前記音声データを受信する第２の受信手段と、
前記第２の受信手段によって受信された前記音声データに基づいて、前記三次元音声データを生成する三次元音声データ生成手段と、
前記三次元音声データ生成手段によって生成された前記三次元音声データを前記端末装置に向けて送信する第２の送信手段とを備えることを特徴とする音声処理システム。
【請求項２】
請求項１において、
前記第１および第２の送信手段は、前記音声データを圧縮して送信し、
前記第１および第２の受信手段は、受信した前記音声データを伸長することを特徴とする音声処理システム。
【請求項３】
請求項１または２において、
前記三次元音声データ生成手段は、一の前記端末装置に送信する前記三次元音声データを、この端末装置以外の他の前記端末装置に対応する前記音声データに基づいて生成することを特徴とする音声処理システム。
【請求項４】
請求項１〜３のいずれかにおいて、
前記端末装置から前記音声処理装置に送られる前記音声データは、モノラル再生が可能な音声データであり、
前記音声処理装置から前記端末装置に送られる前記三次元音声データは、ステレオ再生が可能な右用および左用の音声データであることを特徴とする音声処理システム。
【請求項５】
請求項１〜４のいずれかにおいて、
ゲームの仮想空間内に登場する複数のキャラクタのそれぞれが前記複数の端末装置のそれぞれに対応しており、
前記三次元音声データ生成手段は、一の前記端末装置に送信する前記三次元音声データにおける各音声の発声位置を、この端末装置以外の他の端末装置に対応する前記キャラクタの前記仮想空間内での位置に基づいて設定することを特徴とする音声処理システム。
【請求項６】
複数の端末装置に通信回線を介して接続された音声処理装置であって、
前記複数の端末装置のそれぞれから送られてくる音声データを受信する第２の受信手段と、
前記第２の受信手段によって受信された前記音声データに基づいて、三次元音声データを生成する三次元音声データ生成手段と、
前記三次元音声データ生成手段によって生成された前記三次元音声データを前記端末装置に向けて送信する第２の送信手段と、
を備えることを特徴とする音声処理装置。
【請求項７】
請求項６において、
前記三次元音声データ生成手段は、一の前記端末装置に送信する前記三次元音声データを、この端末装置以外の他の前記端末装置に対応する前記音声データに基づいて生成することを特徴とする音声処理装置。
【請求項８】
複数のスピーカと、音声データを送信する第１の送信手段と、三次元音声データを受信する第１の受信手段と、前記第１の受信手段で受信した前記三次元音声データに対応する音声を前記複数のスピーカから出力する音声出力手段とをそれぞれが有する複数の端末装置と、前記複数の端末装置との間で前記音声データあるいは前記三次元音声データの送受信を行う第２の送信手段および第２の受信手段と、前記第２の受信手段によって受信された前記音声データに基づいて前記複数の端末装置のそれぞれの利用者の発声位置を特定可能な前記三次元音声データを生成する三次元音声データ生成手段とを有する音声処理装置とを備える音声処理システムにおける音声処理方法であって、
利用者の音声に対応する前記音声データを前記端末装置に備わった前記第１の送信手段から前記音声処理装置に備わった前記第２の受信手段に向けて送信するステップと、
前記第２の受信手段によって受信した前記複数の端末装置から送られてきた前記音声データに基づいて、前記複数の端末装置のそれぞれの利用者の発声位置を特定可能な三次元音声データを前記三次元音声データ生成手段によって生成するステップと、
前記三次元音声データ生成手段によって生成された前記三次元音声データを前記音声処理装置に備わった前記第２の送信手段から前記複数の端末装置のそれぞれに備わった前記第１の受信手段に向けて送信するステップと、
前記第１の受信手段によって受信した前記三次元音声データに対応する音声を前記音声出力手段によって前記複数のスピーカから出力するステップと、
を有することを特徴とする音声処理方法。
【請求項９】
請求項８において、
前記三次元音声データ生成手段による前記三次元音声データの生成は前記複数の端末装置のそれぞれに対応して行われており、
一の前記端末装置に送信する前記三次元音声データは、この端末装置以外の他の前記端末装置から送られてきた前記音声データに基づいて生成されることを特徴とする音声処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数の端末を用いて複数の利用者間で会話を行う際に音声データの送受信を行う音声処理システム、装置および方法に関する。
【０００２】
【従来の技術】
従来から、ネットワークを介して接続された複数の端末を用いて、各端末の利用者間で会話を行う音声チャットシステムが知られている。例えば、インターネットのサービスプロバイダはこの音声チャットシステムを備えており、複数の利用者間で会話を楽しむことができるようになっている（例えば、特許文献１参照。）。
【０００３】
図８は、従来の音声チャットシステムの構成を示す図である。図８に示す音声チャットシステムは、音声チャットサーバ３００とこれに接続されたｎ台の音声チャットクライアント３１０−１〜３１０−ｎとを含んで構成されている。各音声チャットクライアント３１０−１等のそれぞれは、マイクロホン３２２で集音した利用者の音声データ（上り音声）を音声チャットサーバ３００に向けて送信し、音声チャットサーバ３００は、各音声チャットクライアント３１０−１等に対して他の音声チャットクライアント３１０−２等から送られてきた音声データを転送する処理を行っている。各音声チャットクライアント３１０−１等では、音声チャットサーバ３００から送られてくる自装置以外の（ｎ−１）人分の音声データ（下り音声）を受信し、各利用者の位置に基づいて３次元音声処理を行い、各利用者の発声位置を異ならせることにより臨場感のあるステレオ音声をスピーカ３２４、３２６から出力する。
【０００４】
【特許文献１】
特開２００３−６１３２号公報（第３−５頁、図１−７）
【０００５】
【発明が解決しようとする課題】
ところで、上述した従来の音声チャットシステムに含まれる各音声チャットクライアント３１０−１等は、自装置以外から送られてくる（ｎ−１）人分の下り音声を受信しているため、自装置から送信する１人分の上り音声を加えると、回線を介してｎ人分の音声データを同時に送受信することになり、音声チャットに参加する利用者の人数が増えれば増えるほど通信のデータ量が増加するという問題があった。また、一般には、電話回線やＩＳＤＮ回線等を介して各音声チャットクライアント３１０−１等と音声チャットサーバ３００とが接続されるネットワークの形態が多いが、このように限られた通信容量の回線を用いる場合には、同時に会話することができる利用者の数がこの通信容量によって制限されてしまい、会話に参加することができる利用者数を増やすことができないという問題があった。さらに、この種の問題は、音声チャットシステムと同様の手法を採用して音声データの送受信を行う音声会議システム等についても存在する。
【０００６】
本発明は、このような点に鑑みて創作されたものであり、その目的は、利用者の発声位置を特定可能な三次元音声データにより臨場感のあるステレオ音声を得ることができるとともに、利用者の数に応じて通信のデータ量が増加することを防止することができ、利用者数の制限をなくすことができる音声処理システム、装置および方法を提供することにある。
【０００７】
【課題を解決するための手段】
上述した課題を解決するために、本発明の音声処理システムは、複数の端末装置と音声処理装置とが通信回線を介して接続されている。端末装置は、利用者の音声に対応する音声データを音声処理装置に向けて送信する第１の送信手段と、複数の端末装置のそれぞれの利用者の発声位置を特定可能な三次元音声データが音声処理装置から送られてきたときにこれを受信する第１の受信手段と、第１の受信手段によって受信された三次元音声データに対応する音声を複数のスピーカから出力する音声出力手段とを備えている。音声処理装置は、複数の端末装置のそれぞれから送られてくる音声データを受信する第２の受信手段と、第２の受信手段によって受信された音声データに基づいて、三次元音声データを生成する三次元音声データ生成手段と、三次元音声データ生成手段によって生成された三次元音声データを端末装置に向けて送信する第２の送信手段とを備えている。
【０００８】
また、本発明の音声処理方法は、音声処理システムに適用されるものであり、利用者の音声に対応する音声データを端末装置に備わった第１の送信手段から音声処理装置に備わった第２の受信手段に向けて送信するステップと、第２の受信手段によって受信した複数の端末装置から送られてきた音声データに基づいて、複数の端末装置のそれぞれの利用者の発声位置を特定可能な三次元音声データを三次元音声データ生成手段によって生成するステップと、三次元音声データ生成手段によって生成された三次元音声データを音声処理装置に備わった第２の送信手段から複数の端末装置のそれぞれに備わった第１の受信手段に向けて送信するステップと、第１の受信手段によって受信した三次元音声データに対応する音声を音声出力手段によって複数のスピーカから出力するステップとを有している。
【０００９】
本発明の音声処理システムや音声処理装置を用いることにより、あるいは、本発明の音声処理方法を実行することにより、音声処理装置において各端末装置から送られてくる音声データに基づいて三次元音声データが生成されて各端末装置に送信されるため、各端末装置では他の端末装置から送信される別々の音声データを用いることなく、三次元音声データに基づいて各端末装置に利用者の発声位置が特定可能な臨場感のあるステレオ音声の再生を行うことができる。このため、各端末装置と音声処理装置とを接続する通信回線は、端末装置から音声処理装置に向けて送信される音声データと、反対に音声処理装置からこの端末装置に向けて送信される三次元音声データとに対応した通信容量を確保するだけでよく、しかも三次元音声データのデータ量は端末装置の数に関係しないため、利用者の数に応じて通信のデータ量が増加することを防止することができる。また、利用者数に関係なく通信のデータ量がほぼ一定となることから、利用者数の制限をなくすことができる。
【００１０】
なお、通信のデータ量を削減する別の手法として、各端末装置から送られてくる音声データを音声処理装置において単純にミキシングする方法もあるが、この場合には、本発明の目的の一つである臨場感のあるステレオ音声を得るという目的は達成できない。
【００１１】
また、上述した第１および第２の送信手段は、音声データを圧縮して送信し、第１および第２の受信手段は、受信した音声データを伸長することが望ましい。端末装置と音声処理装置との間で圧縮された音声データを送受信することにより、通信のデータ量をさらに削減することが可能になる。
【００１２】
また、上述した三次元音声データ生成手段は、一の端末装置に送信する三次元音声データを、この端末装置以外の他の端末装置に対応する音声データに基づいて生成することが望ましい。音声処理装置において一の端末装置に送信する三次元音声データをその他の端末装置から送られてきた音声データに基づいて生成し、この一の端末装置に送信することにより、各端末装置では、自装置の利用者以外の各利用者の音声を出力することが可能になる。また、このように各端末装置に個別の三次元音声データを送信することにより、各端末装置に対して必要最小限のデータを送信することが可能になり、通信のデータ量を削減することができる。
【００１３】
また、上述した端末装置から音声処理装置に送られる音声データは、モノラル再生が可能な音声データであり、音声処理装置から端末装置に送られる三次元音声データは、ステレオ再生が可能な右用および左用の音声データであることが望ましい。三次元音声データとして、右音声と左音声とからなるステレオ音声を採用することにより、各端末装置において各利用者の発声位置の特定が可能になる。また、音声処理装置から各端末装置に送信する三次元音声データとして、利用者数に関係なく右用と左用の２種類の音声データを用意すればよいため、通信のデータ量を少なく、しかも利用者数に関係なくほぼ一定にすることができる。
【００１４】
また、ゲームの仮想空間内に登場する複数のキャラクタのそれぞれが複数の端末装置のそれぞれに対応しており、上述した三次元音声データ生成手段は、一の端末装置に送信する三次元音声データにおける各音声の発声位置を、この端末装置以外の他の端末装置に対応するキャラクタの仮想空間内での位置に基づいて設定することが望ましい。これにより、複数の端末装置を用いてゲームを行う場合に、各端末装置に対応したキャラクタ毎に異なる発声位置を設定することが可能になり、しかも、ゲームの進行に応じて仮想空間内において各キャラクタが移動すると各発声位置もその移動に伴って変化するゲームを実現することができるため、各プレーヤが他の登場キャラクタと実際に会話を行っているような擬似的な体験を行うことができる臨場感のあるゲームを実現することが可能になる。
【００１５】
【発明の実施の形態】
以下、本発明を適用した一実施形態の音声処理システムについて、図面を参照しながら詳細に説明する。
図１は、一実施形態の音声処理システムの全体構成を示す図である。図１に示すように、本実施形態の音声処理システムは、音声チャットサーバ１０とｎ台の音声チャットクライアント２０−１〜２０−ｎとを含んで構成されている。
【００１６】
音声チャットクライアント２０−１〜２０−ｎのそれぞれは、利用者の音声を集音するマイクロホン２２と、ステレオ音声を出力する２個のスピーカ２４、２６とが接続されており、マイクロホン２２によって集音したモノラルの音声をデジタル化した後圧縮して通信回線３０−１等を介して音声チャットサーバ１０に向けて送信する機能と、通信回線３０−１等を介して音声チャットサーバ１０から送られてくる右音声および左音声からなるステレオ音声の圧縮データを伸長する機能を有している。
【００１７】
図２は、音声チャットクライアント２０−１の構成を示す図である。なお、他の音声チャットクライアント２０−２〜２０−ｎも同じ構成を有している。
図２に示すように、音声チャットクライアント２０−１は、Ａ／Ｄ（アナログ−デジタル）変換部２００、クライアント処理部２１０、通信装置２２０、Ｄ／Ａ（デジタル−アナログ）変換部２３０、２３２、アンプ２４０、２４２を含んで構成されている。また、音声チャットクライアント２０−１には、利用者の音声を集音するマイクロホン２２と、左音声と右音声からなるステレオ音声を出力する２つのスピーカ２４、２６が接続されている。
【００１８】
Ａ／Ｄ変換部２００は、マイクロホン２２から出力されるアナログ音声信号をデジタルの音声データに変換する。例えば、ＰＣＭ形式の音声データに変換されて、クライアント処理部２１０に入力される。
クライアント処理部２１０は、入力される音声データを音声チャットサーバ１０に向けて送信するとともに、音声チャットサーバ１０から送られてくる音声データを受信する制御を行う。このために、クライアント処理部２１０は、音声圧縮処理部２１２、送信処理部２１４、受信処理部２１６、音声伸長処理部２１８を備える。
【００１９】
音声圧縮処理部２１２は、Ａ／Ｄ変換部２００から入力される音声データに対して所定の圧縮処理を行って圧縮音声データを生成する。送信処理部２１４は、音声圧縮処理部２１２によって生成された圧縮音声データを音声チャットサーバ１０に向けて送信する処理を行う。受信処理部２１６は、音声チャットサーバ１０から送られてくる圧縮音声データを受信する処理を行う。音声伸長処理部２１８は、受信処理部２１６によって受信された圧縮音声データを伸長して非圧縮音声データを生成する。
【００２０】
通信装置２２０は、音声チャットクライアント２０−１と音声チャットサーバ１０とを接続する通信回線３０−１との間で物理的な電気信号の送受信処理を行う。Ｄ／Ａ変換部２３０は、クライアント処理部２１０から出力される右音声用の非圧縮音声データをアナログの音声信号に変換する。この音声信号は、アンプ２４０によって増幅されて、スピーカ２４から出力される。同様に、Ｄ／Ａ変換部２３２は、クライアント処理部２１０から出力される左音声用の非圧縮音声データをアナログの音声信号に変換する。この音声信号は、アンプ２４２によって増幅されて、スピーカ２６から出力される。
【００２１】
図３は、音声チャットサーバ１０の構成を示す図である。図３に示すように、音声チャットサーバ１０は、通信装置１００とサーバ処理部１１０を含んで構成されている。通信装置１００は、音声チャットサーバ１０と音声チャットクライアント２０−１等とを接続する通信回線３０−１等との間で物理的な電気信号の送受信処理を行う。サーバ処理部１１０は、音声チャットクライアント２０−１等から送られてくる各音声データを合成して各音声チャットクライアント２０−１等に送り返す処理を行う。このために、サーバ処理部１１０は、受信処理部１１２、音声伸長処理部１１４、三次元音声処理部１１６、音声圧縮処理部１１８、送信処理部１２０を備える。
【００２２】
受信処理部１１２は、各音声チャットクライアント２０−１等から送られてくるモノラル音声に対応する圧縮音声データを受信する処理を行う。音声伸長処理部１１４は、受信処理部１１２によって受信処理された各圧縮音声データを伸張して非圧縮音声データに変換する処理を行う。
【００２３】
三次元音声処理部１１６は、音声チャットクライアント２０−１〜２０−ｎのそれぞれに対応する非圧縮音声データに基づいて、それぞれの音声チャットクライアント２０−１等において他の音声チャットクライアントの利用者の発声位置を特定可能な右音声と左音声からなる三次元音声を生成する。これにより、音声チャットクライアント２０−２〜２０−ｎのそれぞれから送られてくる音声データに基づいて、音声チャットクライアント２０−１に送信する左右別々の音声データが生成される。また、音声チャットクライアント２０−１、２０−３〜２０−ｎのそれぞれから送られてくる音声データに基づいて、音声チャットクライアント２０−２に送信する左右別々の音声データが生成される。このように、一の音声チャットクライアントを除く他の音声チャットクライアントから送られてくる各音声データに基づいて、この一の音声チャットクライアントに送信する音声データが生成される。それぞれの音声チャットクライアント２０−１〜２０−ｎに対応して生成する各音声の発声位置の設定方法については後述する。
【００２４】
音声圧縮処理部１１８は、三次元音声処理部１１６によって生成された各音声チャットクライアント毎の音声データ（非圧縮音声データ）をデータ送信に適した形式で圧縮する処理を行う。送信処理部１２０は、音声圧縮処理部１１８によって生成された三次元音声データとしての各圧縮音声データを、それぞれのデータ送信先となる各音声チャットクライアント２０−１等に向けて送信する処理を行う。
【００２５】
上述した音声チャットクライアント２０−１〜２０−ｎが端末装置に、送信処理部２１４、通信装置２２０が第１の送信手段に、受信処理部２１６、通信装置２２０が第１の受信手段に、Ｄ／Ａ変換部２３０、２３２、アンプ２４０、２４２が音声出力手段にそれぞれ対応する。また、受信処理部１１２、通信装置１００が第２の受信手段に、送信処理部１２０、通信装置１００が第２の送信手段に、三次元音声処理部１１６が三次元音声データ生成手段にそれぞれ対応する。
【００２６】
本実施形態の音声処理システムはこのような構成を有しており、次にその動作を説明する。
図４は、音声チャットクライアント２０−１等による音声データ送信の動作手順を示す流れ図である。音声チャットクライアント２０−１〜２０−ｎのそれぞれにおける音声データ送信の動作手順は同じであるため、以下では、音声チャットクライアント２０−１の動作に着目して説明を行うものとする。
【００２７】
音声チャットクライアント２０−１を使用する利用者が発声して、マイクロホン２２から出力されるモノラルの音声信号が音声チャットクライアント２０−１に入力されると（ステップ１００）、Ａ／Ｄ変換部２００は、この入力されたアナログの音声信号をデジタルの非圧縮音声データに変換する（ステップ１０１）。
【００２８】
次に、クライアント処理部２１０内の音声圧縮処理部２１２は、Ａ／Ｄ変換部２００から出力される非圧縮音声データを圧縮して送信用の圧縮音声データを生成する（ステップ１０２）。送信処理部２１４は、この圧縮音声データを通信装置２２０から音声チャットサーバ１０に向けて送信する（ステップ１０３）。
【００２９】
図５は、各音声チャットクライアント２０−１等から音声データが送られてきた音声チャットサーバ１０による三次元音声データ生成の動作手順を示す流れ図である。
各音声チャットクライアント２０−１等から圧縮音声データが送られてくると、サーバ処理部１１０内の受信処理部１１２は、これらの圧縮音声データを受信する処理を行う（ステップ２００）。音声伸張処理部１１４は、この受信した各音声チャットクライアント２０−１等毎の圧縮音声データを伸張して、元の非圧縮音声データを生成する（ステップ２０１）。
【００３０】
次に、三次元音声処理部１１６は、音声伸張処理部１１４によって生成された各音声チャットクライアント毎の圧縮音声データを用いて、ｎ台の音声チャットクライアント２０−１〜２０−ｎのそれぞれに送信するｎ組の三次元音声データを、それぞれの音声の発声位置を考慮して生成する処理を行う（ステップ２０２）。例えば、音声チャットクライアント２０−１に送信する一組の三次元音声データとして、音声チャットクライアント２０−２〜２０−ｎのそれぞれのモノラルの非圧縮音声データを用いて、これらの音声チャットクライアントに対応する利用者の発声位置が特定可能なステレオ再生を行うために必要な右用の非圧縮音声データと左用の非圧縮音声データが生成される。同様にして、他の音声チャットクライアント２０−２〜２０−ｎのそれぞれに対応する（ｎ−１）組の三次元音声データが別々に生成される。
【００３１】
それぞれの音声チャットクライアント２０−１〜２０−ｎに対応して生成する各音声の発声位置の設定方法については、いくつかの具体例が考えられる。
（１）各音声チャットクライアント２０−１〜２０−ｎを所定の順番に適当に三次元空間上に配置し、この配置状態に基づいて各音声の発声位置を設定する。
【００３２】
（２）各音声チャットクライアント２０−１〜２０−ｎの地理的な配置に基づいて各音声の発声位置を設定する。例えば、各音声チャットクライアント２０−１〜２０−ｎの設置位置の経度、緯度、高度等があらかじめわかっており、あるいは接続の都度これらの情報が各音声チャットクライアントから送られてきて、これらの情報に基づいて地理的な配置を認識する場合や、各音声チャットクライアント２０−１〜２０−ｎに対応する電話番号に基づいて地理的な配置を認識する場合などが考えられる。
【００３３】
（３）会話を行っている各音声チャットクライアント２０−１〜２０−ｎの仮想的な状況に従って各音声の発声位置を設定する。例えば、本実施形態の音声処理システムを用いてロールプレイングゲームを行う場合を考えるものとする。各音声チャットクライアント２０−１〜２０−ｎでは、ゲームの仮想空間内で自己のキャラクタ（この音声チャットクライアントを操作するプレーヤに対応するキャラクタ）の位置を中心として、他のキャラクタ（他の音声チャットクライアントを操作するプレーヤに対応するキャラクタ）の仮想空間内での相対的な位置が決まるため、このようにして決定された各キャラクタの仮想空間内での位置に基づいて各音声の発声位置が設定される。各音声の発声位置は、ゲームの進行に伴って各キャラクタの相対的な位置が移動したときに、この移動内容に応じて変化する。
【００３４】
図６は、各音声チャットクライアント２０−１〜２０−ｎに送られる三次元音声データにおける各音声の発声位置を示す説明図である。図６において、各音声チャットクライアントに対応する三次元空間内での発声位置が丸印で、その発声の向きが矢印で示されている。また、具体的な発声位置の設定は、上述した（１）〜（３）のいずれかの手法を用いて行われるものとする。
【００３５】
このように各音声の相対的な発声位置が設定されている場合に、着目している一の音声チャットクライアントを中心として他の音声チャットクライアントの位置に各発声位置が設定された三次元音声データが生成される。例えば、音声チャットクライアント２０−１に送信される三次元音声データでは、音声チャットクライアント２０−１の位置を中心にして、その右側に音声チャットクライアント２０−２〜２０−ｎのそれぞれに対応した発声位置が設定される。また、音声チャットクライアント２０−２に送信される三次元音声データでは、音声チャットクライアント２０−２を中心にして、左前方に音声チャットクライアント２０−１に対応した発声位置が設定され、右側に音声チャットクライアント２０−３〜２０−ｎのそれぞれに対応した発声位置が設定される。他の音声チャットクライアント２０−２〜２０−ｎのそれぞれに送信される三次元音声データについても同様であり、送信先となる音声チャットクライアントを中心にして、他の音声チャットクライアントに対応した発声位置が設定される。
【００３６】
次に、音声圧縮処理部１１８は、三次元音声処理部１１６によって生成されたｎ組の三次元音声データを圧縮する（ステップ２０３）。これらｎ組の三次元音声データのそれぞれは、ｎ台の音声チャットクライアント２０−１〜２０−ｎのそれぞれに別々に送信されるため、ステップ２０３における圧縮処理は、ｎ組の三次元音声データのそれぞれについて別々に行われる。その後、送信処理部１２０は、圧縮された三次元音声データを通信装置１００から各音声チャットクライアントに向けて送信する処理を行う（ステップ２０４）。
【００３７】
図６は、音声チャットサーバ１０から三次元音声データが送られてきた音声チャットクライアント２０−１等による三次元音声データ受信の動作手順を示す流れ図である。音声チャットクライアント２０−１〜２０−ｎのそれぞれにおける三次元音声データ受信の動作手順は同じであるため、以下では、音声チャットクライアント２０−１の動作に着目して説明を行うものとする。
【００３８】
音声チャットサーバ１０から圧縮された三次元音声データが送られてくると、クライアント処理部２１０内の受信処理部２１６は、この圧縮された三次元音声データを受信する処理を行う（ステップ３００）。音声伸張処理部２１８は、この受信した三次元音声データを伸張して、右用の非圧縮音声データと左用の非圧縮音声データを生成する（ステップ３０１）。Ｄ／Ａ変換部２３０、２３２は、これら左右の非圧縮音声データを別々にアナログの音声信号に変換する（ステップ３０２）。その後、これらの音声信号は、アンプ２４０、２４２によって増幅されて、スピーカ２４、２６から出力される（ステップ３０３）。
【００３９】
このように、本実施形態の音声処理システムでは、各音声チャットクライアント２０−１等から送られてきた音声データに基づいて、音声チャットサーバ１０によって各音声チャットクライアント毎に対応する三次元音声データを生成し、各音声チャットクライアントに送信しているため、各音声チャットクライアント２０−１等では利用者の発声位置を特定可能な三次元音声データにより臨場感のあるステレオ音声を得ることができる。また、各音声チャットクライアント２０−１等と音声チャットサーバ１０との間を接続する通信回線３０−１等は、一の音声チャットクライアントから音声チャットサーバ１０に向けて送信される音声データと、反対に音声チャットサーバ１０からこの音声チャットクライアントに向けて送信される左右用の音声データとを考慮した容量を確保すれば十分であり、音声チャットクライアントおよびその利用者の数に応じて通信のデータ量が増加することを防止することができる。例えば、図１に示すように、モノラル音声やステレオの左音声、右音声のそれぞれの送受信に必要な帯域を１とすると、本実施形態の音声処理システムでは、各音声チャットクライアント２０−１等と音声チャットサーバ１０とを接続する通信回線３０−１等の通信帯域として３を確保すれば十分であり、しかもこの通信帯域の値は、接続される音声チャットクライアント２０−１等の台数によらず一定となる。
【００４０】
また、本実施形態の音声処理システムでは、一定の通信容量を確保しておくだけでよいため、本実施形態の音声処理システムを用いた音声チャットに参加する利用者数の制限をなくすことができる。
また、ゲームの仮想空間内に登場する複数のキャラクタのそれぞれが複数の音声チャットクライアント２０−１〜２０−ｎのそれぞれに対応したロールプレイングゲーム等を考えた場合には、音声チャットサーバ１０から各音声チャットクライアントに送信する三次元音声データにおける各音声の発声位置を、このゲームに登場するキャラクタの仮想空間内での位置に基づいて設定することが望ましい。これにより、複数の音声チャットクライアント２０−１〜２０−ｎを用いてゲームを行う場合に、各キャラクタ毎に異なる発声位置を設定することが可能になり、しかも、ゲームの進行に応じて仮想空間内において各キャラクタが移動すると各発声位置もその移動に伴って変化するゲームを実現することができるため、各プレーヤが他の登場キャラクタと実際に会話を行っているような擬似的な体験を行うことができる臨場感のあるゲームを実現することが可能になる。
【００４１】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、各音声チャットクライアント２０−１等において右音声と左音声からなる２チャンネルのステレオ再生を行うようにしたが、３チャンネル以上のステレオ再生を行いたい場合には、音声チャットサーバ１０において生成する三次元音声を構成する音声のチャンネル数を増やせばよい。例えば、５チャンネルの三次元音声に対応する音声データを音声チャットサーバ１０から各音声チャットクライアント２０−１等に送信することにより、各音声チャットクライアント２０−１等では、空間的な広がりを有する臨場感ある音場を再生することができるようになる。また、三次元音声を実現するためにチャンネル数を増加させた場合には、その分だけ通信回線３０−１等の通信容量を増加させる必要があるが、利用者数の増加に関係なく常に一定の通信容量を確保するだけでよい。
【００４２】
また、上述した実施形態では、音声チャットシステムに本発明を適用したが、その他の音声処理システム、例えば複数の会議室を通信回線で接続した電子会議システムに本発明を適用することができる。
また、上述した実施形態では、マイクロホン２２を用いて利用者の音声を集音したが、マイクロホン２２を用いる代わりに音声合成技術等を用いて利用者の音声に対応する音声データを生成するようにしてもよい。例えば、利用者としてのプレーヤが操作可能な複数の端末装置と、ゲームサーバとしての機能を有する音声処理装置とが通信回線を介して接続されている場合に、プレーヤが端末装置に備わったキーボードやその他の操作部を操作したときに、この操作内容に応じた音声データを端末装置によって生成して音声処理装置に向けて送信するようにしてもよい。
【００４３】
また、上述した実施形態では、端末装置としての音声チャットクライアントと音声処理装置としての音声チャットサーバとを別々に構成したが、音声処理装置に端末装置の機能を持たせたり、一の端末装置に音声処理装置の機能を持たせるようにしてもよい。
【００４４】
また、上述した実施形態では、音声チャットサーバ１０から音声チャットクライアント２０−１〜２０−ｎのそれぞれに、ステレオ音声の再生が可能な三次元音声データを送信したが、各音声チャットクライアント２０−１等から送られてきた個別音声データを単に合成して生成したモノラル音声用の合成音声データを送信するようにしてもよい。この場合には、音声チャットクライアント２０−１等に含まれる一方のＤ／Ａ変換器２３２やアンプ２４２および外付けされたスピーカ２６を省略することができる。しかも、この場合であっても、音声チャットクライアントおよびその利用者の数に応じて通信のデータ量が増加することを防止するとともに、音声チャットに参加する利用者数の制限をなくすことができる。
【００４５】
【発明の効果】
上述したように、本発明によれば、音声処理装置おいて各端末装置から送られてくる音声データに基づいて三次元音声データが生成されて各端末装置に送信されるため、各端末装置では他の端末装置から送信される別々の音声データを用いることなく、三次元音声データに基づいて各端末装置に利用者の発声位置が特定可能な音声の再生を行うことができる。このため、各端末装置と音声処理装置とを接続する通信回線は、端末装置から音声処理装置に向けて送信される音声データと、反対に音声処理装置からこの端末装置に向けて送信される三次元音声データとに対応した通信容量を確保するだけでよく、しかも三次元音声データのデータ量は端末装置の数に関係しないため、利用者の数に応じて通信のデータ量が増加することを防止することができる。また、利用者数に関係なく通信のデータ量がほぼ一定となることから、利用者数の制限をなくすことができる。
【図面の簡単な説明】
【図１】一実施形態の音声処理システムの全体構成を示す図である。
【図２】音声チャットクライアントの構成を示す図である。
【図３】音声チャットサーバの構成を示す図である。
【図４】音声チャットクライアントによる音声データ送信の動作手順を示す流れ図である。
【図５】各音声チャットクライアントから音声データが送られてきた音声チャットサーバによる三次元音声生成の動作手順を示す流れ図である。
【図６】各音声チャットクライアントに送られる三次元音声データにおける各音声の発声位置を示す説明図である。
【図７】音声チャットサーバから三次元音声データが送られてきた音声チャットクライアントによる三次元音声データ受信の動作手順を示す流れ図である。
【図８】従来の音声チャットシステムの構成を示す図である。
【符号の説明】
１０  音声チャットサーバ
２０−１〜２０−ｎ  音声チャットクライアント
２２  マイクロホン
２４、２６  スピーカ
１００、２２０  通信装置
１１０  サーバ処理部
１１２、２１６  受信処理部
１１４、２１８  音声伸張処理部
１１６  三次元音声処理部
１１８、２１２  音声圧縮処理部
１２０、２１４  送信処理部
２１０  クライアント処理部
【図１】
2004336292.tif 000003
【図２】
2004336292.tif 000004
【図３】
2004336292.tif 000005
【図４】
2004336292.tif 000006
【図５】
2004336292.tif 000007
【図６】
2004336292.tif 000008
【図７】
2004336292.tif 000009
【図８】
2004336292.tif 000010