(57)【要約】【課題】仮想空間における音源の方向を、より正確に判別（認識）できるようにすることにある。【解決手段】クライアント２０１は、仮想空間上で、ユーザの首を左右または上下に振るスイング指示を受け付ける受付手段２３１、２３２と、受付手段が受け付けたスイング指示を、音響サーバ１２０に送信するクライアント送信手段２２２と、音源各々の音響効果を制御した立体音響を音響サーバ１２０から受信するクライアント受信手段２１５と、クライアント受信手段が受信した立体音響を出力する出力手段２１７と、を有する。【選択図】  図３
2006094315.tif 000002
【特許請求の範囲】
【請求項１】
仮想空間に存在する少なくとも１つの音源の音響を制御する立体音響再生システムであって、
前記音源各々の音響効果を制御する音響サーバと、ユーザが使用するクライアントとを有し、
前記クライアントは、
前記仮想空間に配置された前記ユーザの首を左右または上下に振るスイング指示を受け付ける受付手段と、
前記受付手段が受け付けたスイング指示を、前記音響サーバに送信するクライアント送信手段と、
前記音源各々の音響効果を制御した立体音響信号を、前記音響サーバから受信するクライアント受信手段と、
前記クライアント受信手段が受信した立体音響信号の立体音響を出力する出力手段と、を有し、
前記音響サーバは、
前記ユーザおよび前記音源各々の前記仮想空間における位置および向きを記憶するサーバ記憶手段と、
前記音源各々から、当該音源が出力する音響信号を受信するサーバ受信手段と、
前記サーバ記憶手段に記憶された前記ユーザおよび前記音源各々の位置および向きに基づいて、前記サーバ受信手段が受信した音響信号各々に適用する音響効果を制御する音響制御手段と、
前記音響制御手段が音響効果を制御した立体音響信号を、前記クライアントに送信するサーバ送信手段と、を有し、
前記クライアントから前記スイング指示を受信した場合、前記音響制御手段は、前記サーバ記憶手段に記憶された前記ユーザの向きから左右または上下に変更した向きに基づいて、前記受信した音響信号各々に適用する音響効果を制御すること
を特徴とする立体音響再生システム。
【請求項２】
請求項１記載の立体音響再生システムにおいて、
前記ユーザおよび前記音源各々の仮想空間上の位置を管理する管理サーバを、さらに有し、
前記管理サーバは、
前記ユーザおよび前記音源各々の前記仮想空間における位置および向きを前記クライアントまたは前記音源各々から受信する管理サーバ受信手段と、
前記管理サーバ受信手段が受信した前記位置および向きを記憶する管理サーバ記憶手段と、
前記管理サーバ記憶手段に記憶された前記ユーザおよび前記音源各々の位置および向きを、前記音響サーバに送信する管理サーバ送信手段と、を有し、
前記クライアントは、
前記仮想空間における前記ユーザの位置および向きを前記管理サーバに送信する位置情報送信手段をさらに有し、
前記音響サーバは、
前記管理サーバから、前記ユーザおよび前記音源各々の前記仮想空間における位置および向きを受信し、前記サーバ記憶手段に記憶する位置情報受信手段をさらに有し、
前記音響制御手段は、前記位置情報受信手段が受信した位置および向きにもとづいて、前記サーバ受信手段が受信した音響信号各々に適用する音響効果を制御すること
を特徴とする立体音響再生システム。
【請求項３】
請求項１記載の立体音響再生システムにおいて、
前記クライアントは、
前記ユーザおよび前記音源各々の前記仮想空間における位置および向きを記憶するクライアント記憶手段と、
前記クライアント記憶手段に記憶された位置および向きに基づいて、表示装置に出力するイメージデータを作成するイメージ作成手段と、をさらに有し、
前記イメージ作成手段は、前記ユーザおよび前記音源各々との前記仮想空間における距離を示すための縮尺を、前記イメージデータに表示し、
前記音響サーバの音響制御手段は、
前記サーバ記憶手段に記憶された前記ユーザおよび前記音源各々の位置および向きに基づいて、前記ユーザと前記音源各々との仮想空間における距離を算出し、
前記サーバ受信手段が受信した前記音源の音響信号毎に、前記算出した距離に応じて、直接音に対する反射音の比率を増減させて音響効果を制御すること
を特徴とする立体音響再生システム。
【請求項４】
請求項３記載の立体音響再生システムにおいて、
前記ユーザおよび前記音源各々の仮想空間上の位置を管理する管理サーバを、さらに有し、
前記管理サーバは、
前記ユーザおよび前記音源各々の前記仮想空間における位置および向きを、前記クライアントまたは前記音源各々から受信する管理サーバ受信手段と、
前記管理サーバ受信手段が受信した前記位置および向きを記憶する管理サーバ記憶手段と、
前記管理サーバ記憶手段に記憶された前記ユーザおよび前記音源各々の位置および向きを、前記音響サーバに送信する管理サーバ送信手段と、を有し、
前記クライアントは、
前記仮想空間における前記ユーザの位置および向きを、前記管理サーバに送信する位置情報送信手段をさらに有し、
前記音響サーバは、
前記管理サーバから、前記ユーザおよび前記音源各々の前記仮想空間における位置および向きを受信し、前記サーバ記憶手段に記憶する位置情報受信手段をさらに有し、
前記音響制御手段は、前記位置情報受信手段が受信した位置および向きにもとづいて、前記ユーザと前記音源各々との仮想空間における距離を算出し、前記サーバ受信手段が受信した音響信号各々に適用する音響効果を制御すること
を特徴とする立体音響再生システム。
【請求項５】
請求項１記載の立体音響再生システムにおいて、
前記クライアントは、
前記ユーザおよび前記音源各々の前記仮想空間における位置および向きを記憶するクライアント記憶手段と、
前記クライアント記憶手段に記憶された位置および向きに基づいて、表示画面に出力するイメージデータを作成するイメージ作成手段と、をさらに有し、
前記スイング指示を受け付けた場合、前記イメージ作成手段は、前記仮想空間における前記ユーザの位置と向きを固定し、前記ユーザを中心として前記音源各々を相対的に左右または上下に移動させたイメージデータを作成すること
を特徴とする立体音響再生システム。
【請求項６】
請求項５記載の立体音響再生システムにおいて、
前記音源は、前記仮想空間に配置された前記ユーザ以外の他ユーザであって、
前記クライアントの前記イメージ作成手段は、前記ユーザおよび前記他ユーザ各々との前記仮想空間における距離を示すための前記ユーザの肩幅および前記他ユーザ各々の肩幅を、前記イメージデータに表示し、
前記音響サーバの音響制御手段は、
前記サーバ記憶手段に記憶された前記ユーザおよび前記他ユーザ各々の位置および向きに基づいて、前記ユーザと前記他ユーザ各々との仮想空間における距離を算出し、
前記サーバ受信手段が受信した前記他ユーザの音響信号毎に、前記算出した距離に応じて、直接音に対する反射音の比率を増減させて音響効果を制御すること
を特徴とする立体音響再生システム。
【請求項７】
仮想空間に存在する少なくとも１つの音源の音響を制御する立体音響再生装置であって、
前記立体音響装置を使用するユーザと前記音源各々との、前記仮想空間における位置および向きを記憶する記憶手段と、
前記音源各々から、当該音源が出力する音響信号を受信する受信手段と、
前記記憶手段に記憶された前記ユーザおよび前記音源各々の位置および向きに基づいて、前記受信手段が受信した音響信号各々に適用する音響効果を制御する音響制御手段と、
前記仮想空間に配置された前記ユーザの首を左右または上下に振るスイング指示を受け付ける受付手段と、
前記音響制御手段が制御した立体音響を出力する出力手段と、を有し、
前記スイング指示を受け付けた場合、前記音響制御手段は、前記記憶手段に記憶された前記ユーザの向きから左右または上下に変更した向きに基づいて、前記受信した音響信号各々に適用する音響効果を制御すること
を特徴とする立体音響再生装置。
【請求項８】
仮想空間に存在する少なくとも１つの音源の音響を制御する立体音響再生システムにおける立体音響再生方法であって、
前記立体音響再生システムは、前記音源各々の音響効果を制御する音響サーバと、ユーザが使用するクライアントとを有し、
前記クライアントの処理部は、
前記仮想空間に配置された前記ユーザの首を左右または上下に振るスイング指示を受け付ける指示受付ステップと、
前記指示受付ステップにおいて受け付けたスイング指示を、前記音響サーバに送信するクライアント送信ステップと、
前記音源各々の音響効果を制御した立体音響信号を、前記音響サーバから受信するクライアント受信ステップと、
前記クライアント受信ステップが受信した立体音響信号の立体音響を出力する出力ステップと、を有し、
前記音響サーバは、処理部と、前記ユーザおよび前記音源各々の前記仮想空間における位置および向きを記憶する記憶部と、を有し、
前記音響サーバの処理部は、
前記音源各々から、当該音源が出力する音響信号を受信するサーバ受信ステップと、
前記記憶部に記憶された前記ユーザおよび前記音源各々の位置および向きに基づいて、前記サーバ受信ステップにおいて受信した音響信号各々に適用する音響効果を制御する音響制御ステップと、
前記音響制御ステップにおいて音響効果を制御した立体音響信号を、前記クライアントに送信するサーバ送信ステップと、を有し、
前記クライアントから前記スイング指示を受信した場合、前記音響制御ステップは、前記記憶部に記憶された前記ユーザの向きから左右または上下に変更した向きに基づいて、前記受信した音響信号各々に適用する音響効果を制御すること
を特徴とする立体音響再生システム。
【請求項９】
情報処理装置が行う、仮想空間に存在する少なくとも１つの音源の音響を制御する立体音響再生方法であって、
前記情報処理装置は、処理部と、当該情報処理装置を使用するユーザおよび前記音源各々の前記仮想空間における位置および向きを記憶する記憶部と、前記仮想空間に配置された前記ユーザの首を左右または上下に振るスイング指示を受け付ける指示受付部と、を有し、
前記処理部は、
前記音源各々から、当該音源が出力する音響信号を受信する受信ステップと、
前記記憶部に記憶された前記ユーザおよび前記音源各々の位置および向きに基づいて、前記受信ステップにおいて受信した音響信号各々に適用する音響効果を制御する音響制御ステップと、
前記音響制御ステップにおいて制御した立体音響を出力する出力ステップと、を有し、
前記音響制御ステップは、前記指示受付部が前記スイング指示を受け付けた場合、前記記憶部に記憶された前記ユーザの向きから左右または上下に変更した向きに基づいて、前記受信した音響信号各々に適用する音響効果を制御すること
を特徴とする立体音響再生方法。
【請求項１０】
情報処理装置が行う、仮想空間に存在する少なくとも１つの音源の音響を制御する立体音響再生プログラムであって、
前記情報処理装置に、
前記立体音響装置を使用するユーザと前記音源各々との、前記仮想空間における位置および向きを記憶する記憶手段、
前記音源各々から、当該音源が出力する音響信号を受信する受信手段、
前記記憶手段に記憶された前記ユーザおよび前記音源各々の位置および向きに基づいて、前記受信手段が  受信した音響信号各々に適用する音響効果を制御する音響制御手段、
前記仮想空間に配置された前記ユーザの首を左右または上下に振るスイング指示を受け付ける受付手段、および、
前記音響制御手段が制御した立体音響を出力する出力手段、として実行させ、
前記スイング指示を受け付けた場合、前記音響制御手段は、前記記憶手段に記憶された前記ユーザの向きから左右または上下に変更した向きに基づいて、前記受信した音響信号各々に適用する音響効果を制御すること
を特徴とする立体音響再生プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想空間における音源の位置に応じて、立体的に音響を再生する技術に関する。
【背景技術】
【０００２】
本発明に関連する第 1 の背景技術として、デジタル信号処理にもとづく立体音響生成技術 (以下、「3 次元オーディオ技術」) がある。3 次元オーディオ技術は、複数のスピーカーを使用した多チャンネルステレオ再生、または、ステレオ・ヘッドフォンを使用したバイノーラル再生のための信号を、デジタル信号処理技術を使用して生成する（例えば、非特許文献１参照）。
【０００３】
3次元オーディオ技術の中には、頭部伝達関数 HRTF (Head-Related Transfer Function) または頭部インパルス応答 HRIR (Head-Related Impulse Response) を使用したデジタル信号処理にもとづく技術がある。HRTF は、人頭とその周辺における耳殻、肩などによる音の変化を、伝達関数 (周波数応答) の形式で表現したものである。また、HRIR は、人頭とその周辺における耳殻、肩などによる音の変化を、インパルス応答の形式で表現したものである。なお、HRIR をフーリエ変換したものが HRTF である。HRTF または HRIR を使用した技術により、聴取者は、再生音において音源の方向（すなわち左右、前後、上下）を識別できるようになる。
【０００４】
本発明に関連する第 2 の背景技術として、仮想空間を使用した会議システムがある（例えば、特許文献１、特許文献２および非特許文献２参照）。会議システムは、複数のユーザが仮想的な空間を共有し、同一の空間内にいるユーザ同士が会話をすることができるシステムである。
【０００５】
【特許文献１】ＵＳ  ６，４０８，３２７ Ｂ１
【特許文献２】ＵＳ  ５，８８９，８４３
【非特許文献１】Begault, D. R.,   -D Sound for Virtual Reality and Multimedia   NASA/TM-2000-XXXX, NASA Ames Research Center, April 2000, http://human-factors.arc.nasa.gov/ihh/spatial/papers/pdfs_db/Begault_2000_3d_Sound_Multimedia.pdf
【非特許文献２】Singer，A．，Hindus，D．，Stifelman，L．，and White，S．，「Tangible Progress: Less Is More In Somewire Audio Spaces」，ACM CHI '９９ (Conference on Human Factors in Computing Systems)，pp．１０４-１１２，May １９９９．
【発明の開示】
【発明が解決しようとする課題】
【０００６】
さて、３次元オーディオ技術を用いてスピーカーまたはヘッドフォンから出力される再生音を聴く場合、人（聴取者）は、音源の方向を正確に判別（認知）することは容易ではない。
【０００７】
その第１の理由としては、人は左右2つの耳しかもっていないという本質的な問題にある。人は、実空間において、両耳間の音量差および時間差、周波数特性の変化などにより音源の方向を識別する。しかしながら、耳は左右2つであることから、もともと人は、前後または上下の方向を判別する能力が低い。そのため、一般的に人は、実空間において直接聞こえる音についても、しばしば、前後または上下の方向について誤って判別する。
【０００８】
第２の理由は、３次元オーディオ技術を用いた再生音においては、個人ごとに異なる HRTF（またはHRIR） が正確に反映されていないことによる。すなわち、HRTF等に用いるデータは、標準的な人間の頭の形、耳殻を有するダミーヘッドを用いて測定される。しかしながら、人間の頭の形、耳殻は個人差があるため、ダミーヘッドの頭の形、耳殻等とは異なる聴取者は、３次元オーディオ技術を用いた再生音から、音源の方向を正確に判別（認知）することは容易ではない。
【０００９】
本発明は上記事情を考慮してなされたものであり、本発明の目的は、仮想空間における音源の方向を、より正確に判別（認識）できるようにすることにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明では、仮想空間上で、ユーザの首を左右または上下に振るスイング指示を受け付け、首を振った状態で音源の音響を制御する。
【００１１】
例えば、仮想空間に存在する少なくとも１つの音源の音響を制御する立体音響再生システムであって、音源各々の音響効果を制御する音響サーバと、ユーザが使用するクライアントとを有する。クライアントは、仮想空間上で、ユーザの首を左右または上下に振るスイング指示を受け付ける受付手段と、受付手段が受け付けたスイング指示を、音響サーバに送信するクライアント送信手段と、音源各々の音響効果を制御した立体音響を音響サーバから受信するクライアント受信手段と、クライアント受信手段が受信した立体音響を出力する出力手段と、を有する。
【００１２】
音響サーバは、ユーザおよび音源各々の仮想空間における位置および向きを記憶するサーバ記憶手段と、音源各々から、当該音源が出力する音響を受信するサーバ受信手段と、サーバ記憶手段に記憶されたユーザおよび音源各々の位置および向きに基づいて、サーバ受信手段が受信した音響各々に適用する音響効果を制御する音響制御手段と、音響制御手段が音響効果を制御した立体音響を、クライアントに送信するサーバ送信手段と、を有し、クライアントからスイング指示を受信した場合、音響制御手段は、サーバ記憶手段に記憶されたユーザの向きから左右または上下に変更した向きに基づいて、受信した音響各々に適用する音響効果を制御する。
【発明の効果】
【００１３】
本発明によれば、仮想空間において、ユーザは、仮想的に左右または上下に首をふる。これにより、音源から聞こえる音の変化に基づいて、音源の方向をより正確に把握することができる。
【発明を実施するための最良の形態】
【００１４】
以下に本発明の実施の形態について説明する。
【００１５】
図１は、本発明の一実施形態が適用された立体音響再生システムのシステム構成図を示したものである。図示するように、本システムは、複数ユーザ各々が使用する複数のクライアント２０１、２０２、２０３と、部屋管理サーバ１１０と、音響サーバ１２０と、登録サーバ１３０とを有する。そして、これらの装置２０１、２０２、２０３、１１０、１２０、１３０は、インターネット等のネットワーク１０１を介して接続されている。
【００１６】
部屋管理サーバ１１０は、仮想空間および当該仮想空間に存在するユーザのプレゼンス（位置情報等）を管理するとともに、セッション制御を行う。プレゼンスは、仮想空間そのものと、仮想空間内における各ユーザの位置情報（存在感）である。音響サーバ１２０は、クライアント２０１、２０２、２０３各々から入力された音声信号を、3次元オーディオ技術を用いて立体化しミキシングする。登録サーバ１３０は、各ユーザの登録または認証を行う。
【００１７】
なお、本実施形態では３台のクライアントを有しているが、クライアントの数は３台に限定されず、２台または４台以上であってもよい。また、本実施形態では、ネットワーク１０１は単一のドメインによって構成されているが、複数のドメインによりネットワークが構成され、各ドメインを結合して複数ドメインにまたがる通信を行うことも可能である。その場合には、部屋管理サーバ１１０、音響サーバ１２０および登録サーバ１３０は、複数個存在する。
【００１８】
次に、立体音響再生システムのハードウェア構成について説明する。
【００１９】
図２は、クライアント２０１、２０２、２０３、部屋管理サーバ１１０、音響サーバ１２０および登録サーバ１３０の各装置のハードウェア構成を示したものである。
【００２０】
クライアント２０１、２０２、２０３は、プログラムに従ってデータの加工・演算を行なうＣＰＵ３０１と、ＣＰＵ３０１が直接読み書き可能なメモリ３０２と、ハードディスク等の外部記憶装置３０３と、外部システムとデータ通信をするための通信装置３０４と、入力装置３０５と、出力装置３０６とを有する一般的なコンピュータシステムを利用することができる。例えば、PDA（Personal Digital Assistant）、ウェアラブルコンピュータ、PC（Personal Computer）など携帯用のコンピュータシステムである。なお、入力装置３０５および出力装置３０６については、図３において後述する。
【００２１】
部屋管理サーバ１１０、音響サーバ１２０および登録サーバ１３０は、少なくともプログラムに従ってデータの加工・演算を行なうＣＰＵ３０１と、ＣＰＵ３０１が直接読み書き可能なメモリ３０２と、ハードディスク等の外部記憶装置３０３と、外部システムとデータ通信をするための通信装置３０４と、を有する一般的なコンピュータシステムを利用することができる。具体的には、サーバ、ホストコンピュータなどである。
【００２２】
なお、上記各装置の後述する機能は、メモリ３０２にロードまたは記憶された所定のプログラム（クライアント２０１、２０２、２０３の場合はクライアント用のプログラム、部屋管理サーバ１１０の場合は部屋管理サーバ用のプログラム、音響サーバ１２０の場合は音響サーバ用のプログラム、そして、登録サーバ１３０の場合は登録サーバ用プログラム）を、ＣＰＵ３０１が実行することにより実現される。
【００２３】
次に、図３を参照しクライアント２０１の入力装置３０５と、出力装置３０６と、機能構成とについて説明する。なお、クライアント２０２、２０３においても同様の構成とする。
【００２４】
クライアント２０１は、入力装置３０５として、マイクロフォン２１１と、ポインティングデバイス２３０と、左右スイングボタン２３１と、上下スイングボタン２３２と、を有する。ポインティングデバイス２３０は、ユーザが自分自身の仮想空間上における移動情報（位置情報および方位情報）を入力するための装置である。左右スイングボタン２３１は、仮想空間においてユーザが首を左右に振る（すなわち、頭を左右に回転させる）ことを指示するための入力装置である。上下スイングボタン２３２は、仮想空間においてユーザが首を上下に振る（すなわち、頭を上向きまたは下向きに回転させる）ことを指示するための入力装置である。
【００２５】
また、クライアント２０１は、出力装置３０６として、３次元オーディオ技術対応のヘッドフォン２１７と、ディスプレイ２２０とを有する。
【００２６】
機能構成としては、オーディオエンコーダ２１２と、オーディオデコーダ２１６と、オーディオ通信部２１５と、グラフィクスレンダラ２１９と、空間モデラ２２１と、プレゼンスプロバイダ２２２と、セッション制御部２２３と、を有する。
【００２７】
オーディオエンコーダ２１２は、マイクロフォン２１１から入力された音声（アナログ信号）を、オーディオ信号（デジタル信号）に変換し、オーディオ通信部２１５に出力する。
【００２８】
オーディオ通信部２１５は、音響サーバ１２０との間でオーディオ信号をリアルタイムに送受信する。すなわち、オーディオ通信部２１５は、オーディオエンコーダ２１２が変換した自ユーザのオーディオ信号を音響サーバ１２０に送信する。また、オーディオ通信部２１５は、３次元オーディオ技術を使用して残響、フィルタリングなど仮想空間の属性から帰結する処理を行って立体化された他ユーザのオーディオ信号を、音響サーバ１２０から受信する。
【００２９】
オーディオデコーダ２１６は、オーディオ通信部２１５から入力された立体的なオーディオ信号を、音声（アナログ信号）に変換し、ヘッドフォン２１７に出力する。
【００３０】
グラフィクスレンダラ２１９は、仮想空間の属性から帰結する処理を行い、ディスプレイに出力する仮想空間のイメージデータを生成する。空間モデラ２２１は、ポインティングデバイス２３０から入力された移動情報を受け付けて、仮想空間上での自ユーザの位置や向きなどのプレゼンスを計算する。また、空間モデラ２２１は、左右スイングボタン２３１または上下スイングボタン２３２から入力された指示を受け付けて、仮想空間上での自ユーザが首を振った場合の向き計算する。
【００３１】
プレゼンスプロバイダ２２２は、部屋管理サーバ１１０との間で、仮想空間における各ユーザの位置情報および方位情報を送受信する。また、プレゼンスプロバイダ２２２は、左右スイングボタン２３１または上下スイングボタン２３２が押されたことによる自ユーザの向きの変更を、音響サーバ１２０に送信する。なお、このような情報を送受信するためのプロトコルとしては、IETF (Internet Engineering Task Force) において標準化中であるSIP (Session Initiation Protocol)の拡張仕様を用いることが考えられる。
【００３２】
セッション制御部２２３は、部屋管理サーバ１１０との間で、通信セションを制御する。このようなセッション制御のためのプロトコルとしては、IETF のドキュメントRFC3261において標準化されたSIP を用いることが考えられる。
【００３３】
ここで仮想空間とは、複数のユーザが会議または会話を行うために仮想的に作り出した空間、または、音楽やインターネット放送を聴くために仮想的に作り出した空間である。そして、部屋管理サーバ１１０が、仮想空間を管理している。ユーザがある仮想空間に入場すると、部屋管理サーバ１１０は、その仮想空間の属性、および、その仮想空間に存在する他のユーザの仮想空間における位置情報および方位情報を送信する。そして、空間モデラ２２１は、送信されたこれらの情報と、ポインティングデバイス２３０から入力された自ユーザの仮想空間上での位置情報および方位情報と、をメモリ３０２または外部記憶装置３０３に格納する。
【００３４】
なお、仮想空間の属性には、例えば、空間の大きさ、天井の高さ、壁および天井の反射率・色彩・質感、残響特性、空間内の空気による音の吸収率などがある。これらのうち壁および天井の反射率、残響特性、空間内の空気による音の吸収率などは聴覚的な属性であり、壁および天井の色彩・質感は視覚的な属性であり、空間の大きさ、天井の高さは聴覚・視覚の両方にかかわる属性である。
【００３５】
つぎに、各機能の動作についてプレゼンス、音声、映像の順に説明する。
【００３６】
プレゼンスについては、ポインティングデバイス２３０が、自ユーザからの移動情報（位置情報または方位情報）の入力を受付け、これらの情報をデジタル信号に変換して空間モデラ２２１に入力する。空間モデラ２２１は、ポインティングデバイス２３０からの入力を受け付けて、仮想空間における自ユーザの位置および向きを変化させる。すなわち、空間モデラ２２１は、メモリ３０２または外部記憶装置３０３に保持された仮想空間の属性に基づいて、仮想空間上における自ユーザの位置および向きを変更する。
【００３７】
そして、空間モデラ２２１は、プレゼンスプロバイダ２２２を介して、自ユーザの仮想空間の位置情報および方位情報を部屋管理サーバ１１０に送信する。また、空間モデラ２２１は、プレゼンスプロバイダ２２２を介して、他のユーザの仮想空間の位置情報および方位情報を、部屋管理サーバ１１０から受信する。そして、空間モデラ２２１は、クライアントを使用する自ユーザの仮想空間内の位置情報および方位情報と、他のユーザの仮想空間内の位置情報および方位情報とを保持する。
【００３８】
また、左右スイングボタン２３１は、ボタンの押下を検知すると、空間モデラ２２１に左右スイング指示を入力する。空間モデラ２２１は、左右スイング指示を受け付けると、１秒程度の間に次の操作をおこなう。
【００３９】
まず、空間モデラ２２１は、仮想空間における自ユーザの首を現時点から 所定の角度（例えば、10°程度）左に振った場合の自ユーザの向き（方位情報）を算出する。そして、空間モデラ２２１は、算出した自ユーザの向きを、グラフィクスレンダラ２１９とプレゼンスプロバイダ２２２に送出する。プレゼンスプロバイダ２２２は、自ユーザの方位情報を、音響サーバ１２０に送信する。
【００４０】
そして、空間モデラ２２１は、仮想空間における自ユーザの首を現時点から 所定の角度（例えば、10°程度）右に振った場合の自ユーザの向き（方位情報）を算出する。そして、空間モデラ２２１は、算出した自ユーザの向きを、グラフィクスレンダラ２１９と音響サーバ１２０に送出する。なお、空間モデラ２２１は、プレゼンスプロバイダ２２２を介して、自ユーザの方位情報を音響サーバ１２０に送信する。
【００４１】
以下、図４、図５および図６を用いて、左右スイングボタン２３１が押された場合について、さらに説明する。
【００４２】
図４は、仮想空間における自ユーザと音源（例えば、通信相手の他ユーザなど）を模式的に示した図である。図４では、自ユーザを真上から示した自ユーザ１と、音源２とを示している。自ユーザ１は、向きを示すために鼻１１を有している。すなわち、自ユーザ１は、鼻１１が付加されている方向３に向いている。図４では、最初の状態（左右スイングボタン２３１を押下する前の状態）において、自ユーザ１は、正面の方向３を向いており、音源２は、自ユーザ１の斜め右前方（ｎ°の角度４の方向）に存在している。
【００４３】
さて、人間の耳は左右に２つしかないために、音源２が前方に存在するのか、または、後方に存在するのかを識別する能力が低い。したがって、実空間上であっても、自ユーザ１は、音源２の方向を、誤って後方に存在すると認識する場合がある。なお、このような人間の耳の特性については、例えば、以下に示す文献に記述されている。
【００４４】
B. C. J. ムーア 著，大串 健吾 訳: 聴覚心理学概論，誠信書房，1994．P. 220-221。(原著: B. C. J. Moore: An Introduction to the Psychology of Hearing, 3rd Ed., Academic Press, 1989.)
このような状況において、自ユーザ１は、3次元オーディオ技術により再生される音源２の立体音響（再生音）をヘッドフォンから聞いて、音源２が斜め右前方に存在するか、または、斜め右後方２ａに存在するのかを判別することが困難な場合（曖昧な場合）がある。この場合、自ユーザ１は、実空間上で一般的に音源の方向を確認する場合と同じように、首を左右に振る。すなわち、音源２の方向を正確に判別（認知）するために、左右スイングボタン２３１を押す。なお、誤認識しやすい音源２ａは、自ユーザ１の左右の耳を結ぶ平面５に対して、実際の音源２と前後に対称な位置に存在する。
【００４５】
図５は、左右スイングボタン２３１が押されたことにより、空間モデラ２２１が、自ユーザ１の首を左に振った状態を模式的に示した図である。すなわち、空間モデラ２２１は、自ユーザ１の向きを所定の角度（α°）左に変更する。この状態において、音源２は、最初の状態よりさらに右（すなわち、ｎ＋α°の方向４Ｌ）に移動することになる。したがって、自ユーザ１は、3次元オーディオ技術により再生される音源２の立体音響（再生音）が、図４に示す最初の状態から右に移動して聞こえる。なお、誤認識しやすい音源２ａの位置に音源が存在する場合、自ユーザ１は、3次元オーディオ技術により再生される音源２’の立体音響が、図４に示す最初の状態から左に移動して聞こえる。
【００４６】
図６は、空間モデラ２２１が、自ユーザ１の首を右に振った状態を模式的に示した図である。すなわち、空間モデラ２２１は、自ユーザ１の向きを所定の角度（α°）右に変更する。この状態において、音源２は、最初の状態より左（すなわち、ｎ−α°の方向４Ｒ）に移動することになる。したがって、自ユーザ１は、3次元オーディオ技術により再生される音源２の立体音響（再生音）が、図４に示す最初の状態から左に移動して聞こえる。なお、誤認識しやすい音源２ａ 位置に音源が存在する場合、自ユーザ１は、3次元オーディオ技術により再生される音源２ａの立体音響が、図４に示す最初の状態から右に移動して聞こえる。
【００４７】
このように、左右スイングボタン２３１を使用することによって、ユーザは、方向が曖昧な音源について、正確な方向を把握することができる。すなわち、音源が前方にあるのか後方にあるのかが曖昧な場合、ユーザは、左右スイングボタン２３１を押す。そして、ユーザは、音源が最初に右、次に左に移動して聞こえる場合は、音源が前方にあると正しく判別することができる。一方、ユーザは、音源が最初に左、次に右に移動して聞こえる場合は、音源が後方にあると正しく判別することができる。
【００４８】
なお、一度に所定の角度左（または右）にユーザの向きが変化するような不連続な動作は、ユーザの混乱をまねく可能性がある。そのため、空間モデラ２２１は、一度に 所定の角度を左および右に振った場合の方位情報を、グラフィクスレンダラ２１９および音響サーバ１２０に送出するのでなく、一定の間隔の角度ごとに補間した方位情報をグラフィクスレンダラ２１９および音響サーバ１２０に送出する。これにより、実空間においてユーザが首を振った場合の動作のようにほぼ連続的な動作となり、ユーザの混乱を防止することができる。
【００４９】
また、首を振る順番や、首を振る角度には個人差がある。そのため、先に左に振るかあるいは右に振るか、また、首を振る所定の角度については、ユーザ毎に調整（変更）できるものとする。
【００５０】
次に、上下スイングボタン２３２を押した場合について説明する。上下スイングボタン２３２は、ボタンの押下を検知すると、空間モデラ２２１に上下スイング指示を入力する。空間モデラ２２１は、上下スイング指示を受け付けると、１秒程度の間に次の操作をおこなう。
【００５１】
まず、空間モデラ２２１は、仮想空間における自ユーザの首を現時点（水平な状態）から 所定の角度（例えば、10°程度）上に振った場合の自ユーザの向き（上下の方位情報）を算出する。そして、空間モデラ２２１は、算出した自ユーザの向きを、グラフィクスレンダラ２１９と音響サーバ１２０に送出する。
【００５２】
そして、空間モデラ２２１は、仮想空間における自ユーザの首を現時点（水平な状態）から 所定の角度（例えば、10°程度）下に振った場合の自ユーザの向き（上下の方位情報）を算出する。そして、空間モデラ２２１は、算出した自ユーザ向きを、グラフィクスレンダラ２１９および音響サーバ１２０に送出する。以下、図７を用いて、上下スイングボタン２３２が押された場合について、さらに説明する。
【００５３】
図７は、仮想空間における自ユーザと音源を模式的に示した図である。図７では、自ユーザを側面から示した自ユーザ１と、音源２とを示している。自ユーザ１は、向きを示すために鼻１１を有している。最初の状態（上下スイングボタン２３２を押下する前）において、自ユーザ１は、水平の方向３を向いており、音源２は、自ユーザ１の斜め上前方（ｎ°の上方向４）に存在している。
【００５４】
さて、人間の耳は左右に２つしかないために、前後の判別と同様に、音源２が上方に存在するか、または、下方に存在するかを識別する能力が低い。このような人間の耳の特性については、前述の文献（聴覚心理学概論）に記述されている。
【００５５】
このような状況において、自ユーザ１は、３次元オーディオ技術により再生された音源２の立体音響（再生音）をヘッドフォンから聞いて、音源２が前方上方向に存在するか、または、前方下方向に存在するのかを判別することが困難な場合（曖昧な場合）がある。この場合、自ユーザは、音源の方向を正確に判別（認知）するために、実空間において音源の方向を確認するときと同様に、上下スイングボタン２３２を押す。なお、誤認識しやすい音源２ａは、自ユーザ１の左右の耳を結ぶ平面５に対して、実際の音源２と上下に対称な位置に存在する。
【００５６】
上下スイングボタン２３２が押されたことにより、空間モデラ２２１は、最初に、自ユーザ１の向きを所定の角度（β°）上に変更する。すなわち、空間モデラ２２１は、自ユーザ１の首を上方向３Ｕに振る。この状態において、音源２は、最初の状態より下に（すなわち、ｎ°−β°の方向４Ｕ）に位置することになる。したがって、自ユーザ１は、3次元オーディオ技術により再生される音源２の立体音響（再生音）が、最初の水平状態から下に移動して聞こえる。なお、誤認識しやすい音源２ａの位置に実際の音源が存在する場合、自ユーザ１は、3次元オーディオ技術により再生される音源２ａの立体音響が、最初の状態から上に移動して聞こえる。
【００５７】
次に、空間モデラ２２１は、次に、自ユーザ１の向きを所定の角度（β°）下に変更する。すなわち、空間モデラ２２１は、自ユーザ１の首を下方向３Ｄに振る。この状態において、音源２は、最初の状態より上に（すなわち、ｎ°＋β°の方向４Ｄ）に位置することになる。したがって、自ユーザ１は、3次元オーディオ技術により再生される音源２の立体音響が、最初の水平状態から上に移動して聞こえる。なお、誤認識しやすい音源２ａの位置に実際の音源が存在する場合、自ユーザ１は、3次元オーディオ技術により再生される音源４の立体音響が、最初の状態から上に移動して聞こえる。
【００５８】
このように、上下スイングボタン２３２を使用することによって、ユーザは、方向が曖昧な音源について、正確な方向を把握することができる。すなわち、音源が上にあるのか下にあるのかが曖昧な場合、ユーザは、上下スイングボタン２３２を押す。そして、ユーザは、音源が最初に下、次に上に移動して聞こえる場合は、音源が上にあると正しく判別することができる。一方、ユーザは、音源が最初に上、次に下に移動して聞こえる場合は、音源が下にあると正しく判別することができる。
【００５９】
なお、一度に所定の角度上（または下）にユーザの向きが変化するような不連続な動作は、ユーザの混乱をまねく可能性がある。そのため、空間モデラ２２１は、左右スイングボタン２３１と同様に、一定の間隔の角度ごとに補間した方位情報をグラフィクスレンダラ２１９と音響サーバ１２０に送出する。これにより、実空間においてユーザが首を振った場合の動作のようにほぼ連続的な動作となり、ユーザの混乱を防止することができる。また、首を振る順番や、首を振る角度は、個人差があるため、ユーザ毎に調整（変更）できるものとする。
【００６０】
また、以上説明した左右スイングボタン２３１および上下スイングボタン２３２による首振り動作は、ポインティングデバイス２３０を流用して入力することもできる。しかしながら、左右スイングボタン２３０および上下スイングボタン２３２を別途もうけることにより、ユーザは容易にかつ的確に首振り指示を入力することができる。
【００６１】
次に、音声について説明する。
【００６２】
音声については、マイクロフォン２１１が当該クライアントを使用する自ユーザの音声を収集し、オーディオエンコーダ２１２に送付する。そして、オーディオエンコーダ２１２は、自ユーザの音声をオーディオ信号（デジタル信号）に変換して、オーディオ通信部２１５に出力する。オーディオ通信部２１５は、オーディオエンコーダ２１２から入力された自ユーザのオーディオ信号を、リアルタイムに音響サーバ１２０に送信する。
【００６３】
また、オーディオ通信部２１５は、音響サーバ１２０から３次元オーディオ技術を使用して立体化された他のクライアントの他ユーザのオーディオ信号（立体音響）をリアルタイムに受信し、オーディオデコーダ２１６に出力する。オーディオデコーダ２１６は、音響サーバ１２０から受信したオーディオ信号（立体音響）をヘッドフォン２１７に出力する。なお、音響サーバ１２０が行うオーディオ信号の３次元オーディオ技術を使用した音響の立体化処理については後述する。
【００６４】
なお、オーディオ信号のリアルタイム通信には、IETF (Internet Engineering Task Force) が発行したドキュメントRFC 3550に記述されたプロトコルであるRTP(Real-time Transport Protocol) が使用される。
【００６５】
次に、画像について説明する。
【００６６】
画像については、グラフィクスレンダラ２１９が、空間モデラ２２１が保持する視覚的な仮想空間属性、仮想空間における他ユーザ（通信相手）の位置および自ユーザの位置にもとづいて、仮想空間上でどのように他ユーザが見えるかを計算（座標変換）する。次に、グラフィクスレンダラ２１９は、あらかじめ定められた他ユーザの画像に対して、前記計算により自ユーザの位置から見た視点で仮想空間の属性から帰結する処理を行い、画面上に出力するイメージデータ（映像）を作成する。
【００６７】
このグラフィクスレンダラ２１９により生成された映像は、クライアントを使用する自ユーザの視点からの映像に再生され、ディスプレイ２２０に出力される。自ユーザは、必要に応じてディスプレイ２２０に出力された映像を参照する。
【００６８】
図８は、平面図を用いた仮想空間の一例である。図示する表示内容は、クライアント２０１を使用する自ユーザが、クライアント２０２およびクライアント２０３を使用する第１および第２の他ユーザと、仮想空間を共有している場合を例にしたものである。図示する仮想空間は、空間モデラ２２１が保持する仮想空間の属性、仮想空間内における自ユーザおよび他ユーザの位置・方位情報をもとに、真上から仮想空間に配置された自ユーザ４１１と、第１の他ユーザ４１２および第２の他ユーザ４１３と、を眺めることで得られる２次元画像を表示している。なお、図示する自ユーザ４１１および他ユーザ４１２、４１３は、それぞれ、頭aと、仮想空間に配置された各ユーザの向いている方向を示すための鼻ｂと、肩（肩幅）ｃとを有する。
【００６９】
グラフィクスレンダラ２１９は、自ユーザ４１１の位置と向きを固定し、自ユーザ４１１を中心として仮想空間や仮想空間中の他のユーザ４１２、４１３が相対的に移動し回転するように表示する。ポインティングデバイス２３０を用いて自ユーザ４１１が移動または向きが変更した場合、仮想空間や仮想空間中の他のユーザが相対的に移動・回転した画面がリアルタイムでディスプレイ２２０に表示される。自ユーザの向きを前方に固定することにより、音声とグラフィクス表示との整合性が確保され、他ユーザの位置および方向を身体感覚として把握することができる。
【００７０】
また、図示する仮想空間では、所定の長さ（例えば、１ｍ）を示すスケールバー４１４を表示している。また、図示する仮想空間では、各ユーザの肩（肩幅）ｃを表示している。スケールバー４１４および肩（肩幅）ｃを表示することにより、自ユーザ４１１は、他ユーザ４１２、４１３との仮想空間上でのおよその距離を視覚的（直感的）に把握することができる。そして、自ユーザは、スケールバー４１４および肩（肩幅）ｃが表示されたイメージデータ（図８）を参照しつつ、ヘッドフォンから出力される３次元オーディオ技術を用いた他ユーザの立体音響を聴く。
【００７１】
なお、3次元オーディオ技術には、部屋の残響をシミュレートすることで、自ユーザと音源との距離や、部屋の大きさなどを表現する残響シミュレーション技術がある。部屋の残響は、音源が存在する部屋（仮想空間）の壁や部屋内の物体などによる音の反射や拡散などにより、音源の音響（以下、「直接音」）に付加される音響（以下、「反射音」）である。一般的に人間は、音源までの距離を判別（認識）する際に、直接音と残響である反射音との比率にもとづいて判別している。
【００７２】
したがって、自ユーザは、ディスプレイを参照することにより他ユーザ（音源）との距離を視覚的に把握しつつ、ヘッドフォンからは直接音と反射音とがまざった他ユーザの立体音響を聞く。これにより、自ユーザは、仮想空間内で移動することによって他ユーザとの距離を変化させ、距離の変化によって直接音と反射音との比がどのように変化するかを学習することができる。このような学習を繰り返すことにより、自ユーザは、ディスプレイを見なくても他ユーザとのおよその距離がわかるようになる。
【００７３】
なお、スケールバー４１４の所定の長さは、仮想空間の大きさや、ユーザの指示により変更（調整）することができるものとする。また、図示する仮想空間では、スケールバー４１４および肩（肩幅）ｃの両方を表示している。しかしながら、スケールバー４１４または肩（肩幅）ｃのいずれか一方のみを表示することとしてもよい。
【００７４】
図９は、図８の状態において、左右スイングボタン２３１が押された場合に表示された仮想空間の一例である。左右スイングボタン２３１が押された場合、まず自ユーザ４１１は左に首を振る。そのため、ディスプレイに表示される仮想空間の平面図９Ａでは、他ユーザ４１２、４１３は、図８に表示された位置から右方向に移動（すなわち、所定の角度だけ右に回転）する。
【００７５】
次に、自ユーザ４１１は右に首を振るため、ディスプレイに表示される仮想空間の平面図９Ｂでは、他ユーザ４１２、４１３は、図８に表示された位置から左方向に移動（すなわち、所定の角度だけ左に回転）する。そして、そして、ディスプレイに表示される仮想空間は、図８に示すもとの状態を表示する。なお、自ユーザ４１１の位置および向きは、左右スイングボタンが２３１が押されても図８の状態と変わらない。
【００７６】
図１０は、図８の状態において、上下スイングボタン２３２が押された場合に表示された仮想空間の一例である。上下スイングボタン２３１が押された場合、まず自ユーザ４１１は首を上に振る。そのため、ディスプレイに表示される仮想空間の平面図１０Ａでは、上辺が底辺より小さい台形に変形して表示される。したがって、仮想空間内で自ユーザ４１１の前方に存在する他ユーザ４１２、４１３は、図８に示すもとの大きさより所定の割合だけ小さく表示される。
【００７７】
次に、自ユーザ４１１は首を下に振るので、ディスプレイに表示される仮想空間の平面図１０Ａでは、底辺が上辺より小さい台形に変形して表示される。したがって、仮想空間内で自ユーザ４１１の前方に存在する他ユーザ４１２、４１３は、もとの大きさより所定の割合だけ大きく表示される。そして、ディスプレイに表示される仮想空間は、図８に示すもとの状態を表示する。なお、自ユーザの位置および向きは、上下スイングボタン２３２が押されても図８の状態と変わらない。
【００７８】
図１１は、図８に示す平面図で表示した仮想空間を、３次元グラフィックス技術を使用して透視図のレンダリングを行った場合の仮想空間の一例である。すなわち、グラフィクスレンダラ２１９は、メモリ３０２または外部記憶装置３０３に記憶している空間の大きさ、壁および天井の材質などの仮想空間の属性、仮想空間内における自ユーザおよび他ユーザの位置情報などの３次元のデータから２次元画像を作成し、ディスプレイ２２０に表示する。図示する例では、仮想空間内における自ユーザ４１１の位置より定まる視点から、仮想空間に配置された壁面、天井、床面、他ユーザ４１２、４１３を眺めることで得られる２次元画像を表示している。
【００７９】
図１１では、スケールバーとして、床面に所定の距離を示すメッシュ（例えば、１ｍ×１ｍ）を表示している。これにより、図８で説明したスケールバーと同様の効果が発生する。すなわち、自ユーザは、他ユーサとの距離の変化によって直接音と反射音との比がどのように変化するかを学習することができる。
【００８０】
なお、所定の距離を示すメッシュ（例えば、１ｍ×１ｍ）だけでは、自ユーザは、遠くに存在する他ユーザとの距離を直感的に把握することは難しい。そのため、所定の距離より大きな距離（例えば、５ｍ×５ｍ、ないし、１０ｍ×１０ｍ）ごとに、より太い線でメッシュを表示することにしてもよい。また、メッシュの一部だけを表示したり、メッシュの交点だけを表示したりすることによって、距離を自ユーザに把握させるようにしてもよい。また、図８に示す平面図では、スケールバー４１４を表示しているが、メッシュを表示することとしてもよい。
【００８１】
また、本実施形態では、平面のディスプレイ２２０を使用している。しかしながら、ステレオ視が可能なヘッドマウントディスプレイ等を使用することによって、スケールバーやメッシュを表示することなく、より直接的に距離を表示することとしてもよい。
【００８２】
以上で、図２のクライアントの説明を終了する。なお、クライアントのなかで、マイクロフォン２１１、ポインティングデバイス２３０、左右スイングボタン２３１、上下スイングボタン２３２、ヘッドフォン２１７ およびディスプレイ ２２０は、ハードウェアによって実現される。また、オーディオエンコーダ２１２、オーディオデコーダ２１６およびグラフィクスレンダラ２１９は、ソフトウェア、ハードウェアまたはこれらの組み合せによって実現される。また、オーディオ通信部２１５、空間モデラ ２２１ およびセッション制御部２２３ は、通常、ソフトウェアによって実現される。
【００８３】
なお、クライアント２０１は、例えば、図１２に示すようなＰＤＡまたはハンドヘルド・コンピュータに近い大きさと機能を有するコンピュータを用いることが考えられる。すなわち、クライアント本体２３０は、ディスプレイ２２０と、ポインティングデバイス２３０として自ユーサの位置および向きを入力するための操作部２４０と、左右スイングボタン２３１と、上下スイングボタン２３２と、ネットワーク１０１に接続するためのアンテナ２３７と、を有する。
【００８４】
また、本体２３０に接続されたヘッドセットは、ヘッドフォン２１７およびマイクロフォン２１１を有する。図示するヘッドセットは、本体２３０に有線接続されているが、BluetoothまたはIrDA(赤外線)などにより無線接続することも可能である。また、クライアント２０１は、一般的なパーソナルコンピュータ（Personal Computer）を用いることとしてもよい。 
次に、音響サーバ１２０について説明する。
【００８５】
音響サーバ１２０は、クライアントのオーディオ通信部２１５各々から送信されたオーディオ信号を、３次元オーディオ技術を使用して、音響サーバ１２０の空間モデラが保持する聴覚的な仮想空間属性、および、仮想空間上に存在する自ユーザおよび他ユーザ（音源）の位置にもとづいて、仮想空間上でどのように他ユーザの音声が聞こえるかを計算する。
【００８６】
図１６は、音響サーバ１２０の構成図である。図示するように、音響サーバ１２０は、オーディオ受信部１２１と、オーディオレンダラ１２２と、オーディオ送信部１２３と、をそれぞれ少なくとも１つ有する。すなわち、音響サーバ１２０は、クライアントの数だけ（すなわち、クライアント毎に）これらの処理部１２１〜１２３を有するものとする。なお、音響サーバ１２０は、オーディオ受信部１２１、オーディオレンダラ１２２およびオーディオ送信部１２３を、クライアントの数だけ有することなく、それぞれ1つのプログラムまたは装置を時分割で使用することによって実現することとしてもよい。
【００８７】
また、音響サーバ１２０は、空間モデラ１２４と、通信セション１２５を有する。空間モデラ１２４は、部屋管理サーバ１１０から、仮想空間における各ユーザの位置および仮想空間の属性を受信し、図３に示すクライアントの空間モデラ２２１と同様の処理を行い、仮想空間上に各ユーザを配置する。セッション制御部１２５は、図３に示すクライアントのセッション制御部２２３と同様に、部屋管理サーバ１１０との間で、通信セションを制御する。
【００８８】
クライアント毎に対応付けられたオーディオ受信部１２１各々は、各クライアントのオーディオ通信部２１５からオーディオ信号（音声）を受信する。そして、オーディオ受信部１２１各々は、受信したオーディオ信号をバッファリングすることによって、全てのクライアントからのオーディオ信号間で同期させた (対応づけた) 信号データを、各オーディオレンダラ１２２に送出する。このバッファリング (プレイアウト・バッファリング) の方法については、たとえば次の文献に記述されている。
Colin Perkins 著:  RTP: Audio and Video for the Internet, Addison-Wesley Pub Co; 1st edition (June 11, 2003).
クライアント毎に対応付けられたオーディオレンダラ１２２各々は、各オーディオ受信部１２１から入力された各オーディオ信号（音声）を、空間モデラ１２４が配置した仮想空間上の各ユーザの位置に基づいて立体化する。そして、オーディオレンダラ１２２は、当該クライアントに対応した２チャンネル（左チャンネルと右チャンネル）の信号データ（信号列）を、当該クライアントのオーディオ送信部１２３に出力する。クライアント毎に対応付けられたオーディオ送信部１４４は、２チャンネルの信号データを対応するクライアントに送信する。
【００８９】
次に、オーディオレンダラ１２２について、具体的に説明する。
【００９０】
３次元オーディオ技術においては、おもに人の頭（以下、「人頭」）のまわりでの音響の変化のしかた (インパルス応答) をあらわす HRIR (Head Related Impulse Response) と、部屋などの仮想環境によって生成される擬似的な残響とによって音の方向および距離を表現する。そして、HRIR は、音源と人頭との距離、および、人頭と音源との角度 (水平角度および垂直角度)によって決定される。なお、音響サーバ１２０のメモリ３０２または外部記憶装置３０３には、あらかじめダミーへッド（人頭）を使用して各距離および各角度毎に測定したHRIRの数値が記憶されているものとする。また、HRIRの数値には、左チャネル用（ダミーヘッドの左耳で測定したもの）と、右チャネル用（ダミーヘッドの右耳で測定したもの）とで異なる数値を使用することによって、左右、前後または上下の方向感を表現する。
【００９１】
図１４は、オーディオレンダラ１２２の処理を示した図である。
【００９２】
オーディオレンダラ１２２は、各音源（他ユーザ）に関して RTP (Real-time Transport Protocol) によって受信される 1 パケットごと (通常は 20 ms ごと) に、下記の計算をおこなう。
【００９３】
まず、オーディオレンダラ１２２は、音源毎、音源の信号列 si[t] (t = 1, ...) および音源の仮想空間内での座標 (xi, yi，ｚi ）の入力を受け付ける（Ｓ６１）。なお、仮想空間内での各音源の座標については、空間モデラ１２４から入力される。空間モデラ１２４は、仮想空間上に各音源（各ユーザ）を配置した後、各音源の座標をオーディオレンダラ１２２に入力する。また、各音源の信号列は、各オーディオ受信部１２１から入力される。
【００９４】
そして、オーディオレンダラ１２２は、音源の直接音と、残響である反射音とを計算する。
【００９５】
直接音については、オーディオレンダラ１２２は、入力された座標を用いて、自ユーザと音源との距離および角度 (azimuth) を、音源ごとに計算する（Ｓ６２）。そして、オーディオレンダラ１２２は、自ユーザとの距離および角度 (azimuth)に対応するHRIR を、メモリ３０２または外部記憶装置３０３にあらかじ記憶されたHRIRの数値の中から特定する（Ｓ６３）。なお、オーディオレンダラ１２２は、メモリ３０２等に記憶されたHRIRの数値を補間することによって算出したHRIRの数値を使用することとしてもよい。
【００９６】
そして、オーディオレンダラ１２２は、Ｓ６１において入力した信号列と、Ｓ６３において特定したHRIRの左チャネル用 HRIR と、を使用してたたみこみ (convolution) 計算を行い、左チャネル信号を生成する（Ｓ６４）。また、オーディオレンダラ１２２は、Ｓ６１において入力した信号列と、Ｓ６３において特定したHRIRの右チャネル用 HRIR と、を使用してたたみこみ (convolution) 計算を行い、右チャネル信号を生成する（Ｓ６５）。
【００９７】
反射音については、オーディオレンダラ１２２は、入力された座標を用いて、付加すべき残響を計算する（Ｓ６６、Ｓ６７）。すなわち、オーディオレンダラ１２２は、仮想空間の属性による音響の変化の仕方 (インパルス応答) にもとづいて残響を計算する。以下、残響の計算について説明する。
【００９８】
残響は初期反射（ｅａｒｌｙ  ｒｅｆｌｅｃｔｉｏｎ）と後期残響（ｌａｔｅ  ｒｅｖｅｒｂｅｒａｔｉｏｎ）とによって構成されている。そして、初期反射の方が後期残響より、他ユーザとの距離や部屋の大きさなどに関する感覚の形成（認知）において、重要であると一般的に考えられている。実空間上の室内では、音源から直接発せられた音（直接音）が聞こえた後、数ｍｓから１００ｍｓくらいの間に、条件によっては、壁、天井、床などからの数１０個の初期反射を聞くことができるといわれている。部屋の形状が直方体であれば、１回の初期反射は６個だけである。しかしながら、より複雑な形状または家具などがある部屋においては、反射音の数が増え、また、壁などで複数回反射した音も聞こえる。
【００９９】
初期反射の計算法としてｉｍａｇｅ  ｓｏｕｒｃｅ  ｍｅｔｈｏｄがあり、たとえば次の文献に記述されている。
【０１００】
Ａｌｌｅｎ，  Ｊ．  Ｂ．  ａｎｄ  Ｂｅｒｋｌｅｙ，  Ａ．，  “Ｉｍａｇｅ  Ｍｅｔｈｏｄ  ｆｏｒ  ｅｆｆｉｃｉｅｎｔｌｙ  Ｓｉｍｕｌａｔｉｎｇ  Ｓｍａｌｌ−Ｒｏｏｍ  Ａｃｏｕｓｔｉｃｓ”，  Ｊ．  Ａｃｏｕｓｔｉｃａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ａｍｅｒｉｃａ，  Ｖｏｌ．  ６５，  Ｎｏ．  ４．，  ｐｐ．  ９４３−９５０，  Ａｐｒｉｌ  １９７９．
単純なｉｍａｇｅ  ｓｏｕｒｃｅ  ｍｅｔｈｏｄにおいては、部屋の壁、天井、床を鏡面とみなし、反射音を鏡面の反対側にある音源の像からの音として計算する。
【０１０１】
図１５は、説明を簡単にするために、天井と床を省略した２次元のｉｍａｇｅ  ｓｏｕｒｃｅ  ｍｅｔｈｏｄを図示したものである。すなわち、中央に本来の音室１があり、当該音室１には音源と聴取者である自ユーザが存在する。そして、音室１の周囲には、部屋の壁２を含む１２個の鏡像が描かれている。なお、鏡像は、１２個である必然性はなく、これより多くすることも少なくすることもできる。
【０１０２】
オーディオレンダラ１２２は、鏡像各々の中に存在する各音源の像の位置からの音が、聴取者（自ユーザ）に直進するものとして、各音源の像から聴取者までの距離と方向を算出する（Ｓ６６）。音の強さは距離に反比例するため、オーディオレンダラ１２２は、距離に従って各音量を減衰させる。ただし、壁の反射率をα（０≦α≦１）とすると、壁でｎ回反射される音の標本には、αnを乗じて、音量をさらに減衰させる。
【０１０３】
なお、反射率αの値は、０．６程度の値を使用する。０．６程度の値にする理由は、聴取者が音源との距離を認識するのに充分な残響（すなわち、直接音と反射音との比）を取得するためである。また、もう１つの理由としては、αの値を過大にした場合、聴取者の方向感覚をにぶらせるからである。
【０１０４】
そして、オーディオレンダラ１２２は、各音源の像毎に、自ユーザとの距離および角度 (azimuth)に対応するHRIR を、メモリ３０２または外部記憶装置３０３にあらかじ記憶されたHRIRの数値の中から特定する（Ｓ６７）。反射音はそれぞれ異なる方向から人頭に達するため、Ｓ６３において特定した直接音のHRIRとは異なるHRIRを適用する必要がある。
【０１０５】
なお、多数の反射音各々に、異なるHRIRを用いて後述するたたみこみ計算（Ｓ６７、Ｓ６８）を行うと膨大な計算が必要になる。計算量の増加を防止するため、反射音の計算には、実際の音源の方向にかかわらず正面に音源があるときのHRIRを適用することとしてもよい。そして、音が左右の耳に達する際の時間差（ＩＴＤ，  ｉｎｔｅｒａｕｒａｌ  ｔｉｍｅ  ｄｉｆｆｅｒｅｎｃｅ）と強度差（ＩＩＤ，  ｉｎｔｅｒａｕｒａｌ  ｉｎｔｅｎｓｉｔｙ  ｄｉｆｆｅｒｅｎｃｅ）だけを計算することによって、少ない計算量でHRIRの計算を代替することができる。
【０１０６】
そして、オーディオレンダラ１２２は、Ｓ６１において入力した信号列と、Ｓ６７において特定したHRIRの左チャネル用HRIR とを使用して、たたみこみ （convolution） 計算を行い、左チャネル信号の残響を生成する（Ｓ６８）。また、オーディオレンダラ１２２は、Ｓ６１において入力した信号列と、Ｓ６７において特定したHRIRの右チャネル用HRIR とを使用して、たたみこみ （convolution） 計算を行い、右チャネル信号の残響を生成する（Ｓ６９）。
【０１０７】
そして、オーディオレンダラ１２２は、各音源からの左チャネル信号を全て加算する（Ｓ７０）。なお、左チャネル信号は、Ｓ６４で算出した直接音と、Ｓ６８において算出した反射音とが含まれる。
【０１０８】
また、オーディオレンダラ１２２は、各音源からの右チャネル信号を全て加算する（Ｓ７１）。なお、左チャネル信号は、Ｓ６５で算出した直接音と、Ｓ６９において算出した反射音とが含まれる。
【０１０９】
なお、HRIR計算（Ｓ６３、Ｓ６７）は、前記のように１パケットごとに行うが、たたみこみ計算（Ｓ６４、Ｓ６５、Ｓ６８、Ｓ６９）においては、次のパケットに繰り越すべき部分が生じる。そのため、特定したHRIRまたは入力された信号列を次のパケットの処理まで保持する必要がある。
【０１１０】
このように、オーディオレンダラ１２２は、各クライアントのオーディオ通信部２１５から送信された各ユーザの音声に対して、前記計算による音量の調節、残響や反響音の重ね合わせ、フィルタリングなどの処理を行い、自ユーザの仮想空間内の位置において聞こえるべき音に音響効果を制御する。すなわち、オーディオレンダラ１２２は、仮想空間の属性と他ユーザとの相対的な位置から帰結する処理によって音声を定位させた立体音響を生成する。
【０１１１】
なお、クライアント毎に備えられたオーディオレンダラ１２２は、必要に応じて、当該クライアントを使用する自ユーザの音声に対して残響、フィルタリングなどの仮想空間の属性から帰結する処理を行うこととしてもよい。オーディオレンダラ１２２により生成された自ユーザの音声は、ヘッドフォン２１７に出力され、これを自ユーザが聴取する。自ユーザの音声の直接音を自ユーザに聴取させると奇異な印象をあたえることがあり、特に遅延が大きいと自らの発声に支障を与えるため、通常は自ユーザに自身の音声を聴取させない。しかしなから、直接音については聴取させず、遅延を数 10 ms の範囲におさえた反射音（残響）だけを聴取させることも可能である。これによって、自ユーザの仮想空間内での位置、または、仮想空間の大きさを、自ユーザに身体感覚として把握させることができる。
【０１１２】
ただし、本実施形態のように音響サーバ１２０が残響の計算を行う場合、ユーザが声を発してから音響サーバ１２０で計算された反射音がユーザに届くまでに100 msあるいはそれ以上の時間がかかることが多い。この遅延は通常の部屋における反射音の遅延時間よりはるかに大きいため、ユーザの知覚を混乱させる原因となりうる。この問題を解決するために、クライアント上に音響サーバ１２０のオーディオレンダラ１２２と同様の機能を有するオーディオレンダラを実装する。そして、自ユーザの音声については、クライアントに実装されたオーディオレンダラが残響の計算をすることによって遅延を小さくし、ユーザが実際の部屋にいるのと同程度の遅延の残響を実現することが考えられる。なお、他ユーザの音声については、前述のとおり音響サーバ１２０が残響計算を行う。 
次に、クライアントの処理について説明する。
【０１１３】
以下、ネットワーク接続処理、入場処理、退場処理、自ユーザの移動処理、他ユーザの移動処理、および、スイング処理の順にクライアントの処理を説明する。
ネットワーク接続処理は、ネットワーク１０１に接続するときの処理手順であって、クライアントの電源投入時に実行される。まず、セッション制御部２２３は、ユーザの識別情報と認証情報とを含むログインメッセージを、登録サーバ１３０に送信する。そして、登録サーバ１３０は、ユーザの識別情報および認証情報を認証し、部屋管理サーバ１１０ にログインメッセージを送付する。そして、プレゼンスプロバイダ２２２は、部屋管理サーバ１１０ から部屋リストを受け取り、ディスプレイ ２２０ に表示する。
【０１１４】
なお、クライアントと登録サーバ１３０との通信には、SIP (Session Initiation Protocol) の REGISTER メッセージを使用することが考えられる。また、クライアントと、部屋管理サーバ１１０ との通信には、SIP の INVITEメッセージ、BYEメッセージ、SUBSCRIBE メッセージおよびNOTIFY メッセージを使用することができる。
【０１１５】
入場処理は、ユーザがディスプレイ２２０に表示された部屋リストの中から入場したい部屋を選択したときのクライアントの処理である。プレゼンスプロバイダ２２２ は、入力装置３０５を用いて入力された部屋の選択指示を受け付け、部屋管理サーバ１１０ に入場メッセージ (enter) を送信する。入場メッセージには、自ユーザの識別情報と、自ユーザの仮想空間における位置情報および方位情報（以下、「位置情報等」）とが含まれる。なお、自ユーザの位置情報等は、あらかじめメモリ３０２または外部記憶装置３０３（以下、「メモリ等」）に記憶されているものとする。
【０１１６】
入場メッセージの送信は、SIP の INVITE メッセージを使用することもできる。INVITE メッセージは、クライアントと部屋管理サーバ１１０間の音声通信の開始を宣言する。INVITEメッセージを受信すると、部屋管理サーバ１１０は、音響サーバ１２０に指示してクライアントと音響サーバ１２０間の音声通信が開始される。このINVITE メッセージの用法は、IETFのドキュメントRFC3261に従えばよい。
【０１１７】
また、クライアントは、入場メッセージの送信と同時に、ユーザの位置を通知するためにSIPのPUBLISHメッセージを送信することができる。PUBLISHメッセージは、選択した部屋の仮想空間において発生したイベント（例えば、ユーザの移動など）を、通知要求がないときでも通知するメッセージである。
【０１１８】
また、クライアントは、他ユーザの位置の変更を含む仮想空間内のイベント通知を部屋管理サーバ１１０に要求するために、SUBSCRIBE メッセージを送信することができる。SUBSCRIBE メッセージは、選択した部屋の仮想空間において発生したイベント（例えば、ユーザの移動など）の通知を要求するメッセージである。SUBSCRIBEメッセージを受信した部屋管理サーバ１１０は、仮想空間内でイベントが発生すると、当該イベントの内容をNOTIFY メッセージによってクライアントに通知する。NOTIFY メッセージは、仮想空間において発生したイベント（例えば、ユーザの位置の変更）を通知要求にしたがって通知するメッセージである。
【０１１９】
これらのPUBLISHメッセージ、SUBSCRIBE メッセージ、NOTIFY メッセージの用法は、IETFのドキュメントRFC2543（Roach，Ａ．Ｂ著「Session Initiation Protocol（SIP）−Specific Event Notification」）、および、インターネットドラフト“Session Initiation Protocol（SIP）Extension for Event State Publication”(Niemi，Ａ．編)に従えばよい。
【０１２０】
そして、プレゼンスプロバイダ２２２は、選択した部屋の入場者リストを、例えばNOTIFYメッセージの形式で、部屋管理サーバ１１０ から受けとる。なお、入場者リストには、部屋に入場している他ユーザの識別情報および仮想空間内における位置情報等と、選択した部屋の仮想空間属性と、が含まれているものとする。
【０１２１】
退場処理は、ユーザが部屋を退場する時の処理である。プレゼンスプロバイダ２２２は、自ユーザの退場指示を受付けて、自ユーザの識別情報を含む退場メッセージを部屋管理サーバ１１０に送信する。なお、入場者メッセージとしてSIPのINVITEメッセージを使用したときは、退場メッセージとしてBYEメッセージを使用するのが適切である。また、入場処理においてSUBSCRIBE メッセージを送信していた場合、クライアントは、SUBSCRIBE メッセージによる通知要求を取り消すためのUNSUBSCRIBE メッセージを部屋管理サーバ１１０に送信するべきである。
【０１２２】
自ユーザの移動処理は、自ユーザがプレゼンスを変更した場合、すなわち仮想空間において位置または向きを変更した場合の処理である。
【０１２３】
図１６は、自ユーザの移動処理の処理フロー図である。まず、空間モデラ２２１は、ポインティングデバイス２３０から移動情報の入力を受け付ける（Ｓ１１０１）。すなわち、自ユーザがポインティングデバイス２３０を操作することにより、空間モデラ２２１に移動情報が入力される。
【０１２４】
そして、空間モデラ ２２１は、ポインティングデバイス２３０からの入力を検知すると、自ユーザの移動前の位置および向きと、ポインティングデバイス２３０からの入力された移動情報と、を用いて自ユーザの移動後の位置および向きを算出する（Ｓ１１０２）。なお、ポインティングデバイス２３０は、移動後の位置情報等を直接入力することとしてもよい。そして、空間モデラ２２１は、算出した移動後の位置情報等をメモリ等に記憶する。
【０１２５】
次に、空間モデラ２２１は、算出した移動後の位置情報等をグラフィクスレンダラ２１９、および、プレゼンスプロバイダ２２２に通知する（Ｓ１１０３）。グラフィクスレンダラ２１９は、仮想空間内の通知された移動後の位置および向きに基づいて自ユーザの視点を変更し、仮想空間上でどのように他ユーザが見えるかを計算（座標変換）する。そして、グラフィクスレンダラ２１９は、当該位置および向きからの眺めで画面上に出力するイメージデータを作成し、表示画面を更新する。
【０１２６】
プレゼンスプロバイダ２２２は、通知された自ユーザの移動後の位置情報等を、例えばＮＯＴＩＦＹメッセージの形式で部屋管理サーバ１１０に通知（送信）する（Ｓ１１０４）。なお、ＮＯＴＩＦＹメッセージは、通常ＳＵＢＳＣＲＩＢＥメッセージを受信した結果として送信される。そのため、部屋管理サーバ１１０は、クライアント２０１から入場メッセージを受信した際に、入場者リストを返信するとともに前記ＮＯＴＩＦＹメッセージに対応するＳＵＢＳＣＲＩＢＥメッセージを送信することが考えられる。
【０１２７】
なお、部屋管理サーバ１１０は、プレゼンスプロバイダ２２２から通知された位置情報等を受け付け、入場者リストにおける当該ユーザの位置情報等を更新する。そして、部屋管理サーバ１１０は、通知された位置情報等を音響サーバ１２０および他ユーザのクライアントに送信する。音響サーバ１２０は、通知された自ユーザの仮想空間内の位置および向きでどのように他ユーザの音声が聞こえるかを計算する（図１４参照）。そして、音響サーバ１２０は、他ユーザの音声に対して前記計算による音量の調節、残響、フィルタリングなどの処理を行い、自ユーザの仮想空間内の位置において聞こえるべき音に音響効果を制御し、立体音響を更新する。そして、音響サーバ１２０は、更新された立体音響のオーディオ信号を、クライアントに送信する。
【０１２８】
他ユーザの移動処理は、部屋管理サーバ１１０がクライアントに他のユーザの仮想空間における位置情報等を通知した場合の処理である。
【０１２９】
図１７は、他ユーザの移動処理の処理フロー図である。
【０１３０】
空間モデラ２２１は、プレゼンスプロバイダ２２２を介して部屋管理サーバ１１０から、他ユーザの仮想空間上の位置情報等を受け付ける（Ｓ１２０１）。なお、部屋管理サーバ１１０は、図１６のＳ１１０４においてクライアントから送信された位置情報等を、当該送信元のクライアント以外のクライアントに通知（送信）する。そして、空間モデラ２２１は、通知された仮想の位置情報等をメモリ等に記憶する。
【０１３１】
そして、空間モデラ２２１は、通知された位置情報等を用いて、他ユーザの仮想空間上の位置および向きを変更する（Ｓ１２０２）。そして、空間モデラ２２１は、グラフィクスレンダラ２１９に、変更後の位置情報等を通知する（Ｓ１２０３）。グラフィクスレンダラ２１９は、図１６のＳ１１０３で説明したように、通知された他ユーザの位置および向きにもとづいて、表示画面を更新する。
【０１３２】
なお、部屋管理サーバ１１０は、クライアントに他のユーザの仮想空間における位置情報等を通知する場合、あわせて、音響サーバ１２０にも他のユーザの位置情報等を通知する。音響サーバ１２０は、他ユーザの位置情報に基づいて更新された立体音響のオーディオ信号を、クライアントに送信する。
【０１３３】
スイング処理は、左右スイングボタン２３１または上下スイングボタンが押された場合の処理である。
【０１３４】
図１８は、スイング処理の処理フロー図である。空間モデラ２２１は、左右スイングボタン２３１または上下スイングボタン２３２から、スイング処理の入力を受け付ける（Ｓ１３０１）。すなわち、自ユーザは、通信相手の方向を判別することが困難な場合、前記ボタン２３１、２３２を押すことにより、仮想空間上で仮想的に首を振ることを指示する。
【０１３５】
そして、空間モデラ ２２１は、前記ボタン２３１、２３２からの入力を検知すると、自ユーザの首を所定の角度だけ左（または、上）に振った場合の自ユーザの向きを算出する。そして、空間モデラ２２１は、算出した自ユーザの方位情報を、グラフィクスレンダラ２１９、および、プレゼンスプロバイダ２２２に通知する（Ｓ１３０２）。
【０１３６】
そして、空間モデラ ２２１は、自ユーザの首を所定の角度だけ右（または、下）に振った場合の自ユーザの向きを算出する。そして、空間モデラ２２１は、算出した自ユーザの方位情報を、グラフィクスレンダラ２１９、および、プレゼンスプロバイダ２２２に通知する（Ｓ１３０３）。
【０１３７】
グラフィクスレンダラ２１９は、図９または図１０に示すように、自ユーザの視点で、自ユーザが首を振った場合のメージデータを作成し、表示画面を更新する。
【０１３８】
プレゼンスプロバイダ２２２は、Ｓ１３０２およびＳ１３０３で通知された自ユーザの方位情報を、順次、音響サーバ１２０に通知（送信）する（Ｓ１２０４）。音響サーバ１２０は、プレゼンスプロバイダ２２２から通知された方位情報を受け付け、空間モデラ１２４おける当該自ユーザの方位情報を、順次更新する。そして、音響サーバ１２０は、通知された自ユーザの仮想空間内の向きでどのように通信相手の音声が聞こえるかを計算する（図１４参照）。そして、音響サーバ１２０は、通信相手である他ユーザの音声に対して前記計算による音量の調節、残響、フィルタリングなどの処理を行い、自ユーザの仮想空間内の位置および向きにおいて聞こえるべき音に音響効果を制御し、立体音響を更新する。そして、音響サーバ１２０は、更新された立体音響のオーディオ信号を、前記ボタン２３１、２３２が押されたクライアントに送信する。
【０１３９】
なお、図１８に示すスイング処理は、所定の時間（例えば、１秒程度の間）に行われ、その後、クライアントおよび音響サーバ１２０は、前記ボタン２３１、２３２が押される前の状態に戻る。
【０１４０】
次に、部屋管理サーバ１１０の機能構成および処理手順について説明する。なお、登録サーバ１３０については、 SIP を使用する従来の通信と同じため、説明を省略する。
【０１４１】
図１９は、部屋管理サーバ１１０ の機能構成を示す。部屋管理サーバ１１０は、クライアントおよび音響サーバ１２０と各種情報の送受信をするためのインタフェース部１１１と、クライアントからのメッセージ種別を判定する判定部１１２と、判定結果に応じた処理を行う処理部１１３と、仮想空間の属性、仮想空間で発生したイベント（ユーザの入退場、移動等）、部屋リスト、入場者リスト等を、管理し記憶する記憶部１１４とを有する。
【０１４２】
記憶部１１４には、あらかじめ、部屋管理サーバ１１０が管理するいくつかの仮想空間の属性が記憶されている。前述した入場処理において、ユーザはこれらの仮想空間（仮想的な部屋）の中から、入場したい仮想空間を選択する。その後、クライアントは、仮想空間に入場したユーザの各種のイベントを部屋管理サーバ１１０に送信する。これにより各仮想空間内には、各種のイベントが発生する。なお、記憶部１１４はこれらの情報をメモリ３０２または外部記憶装置３０３に記憶する。
【０１４３】
図２０は、部屋管理サーバ１１０ の処理手順を示したものである。部屋管理サーバ１１０は、クライアントからの要求を受け付け、これに対する処理を部屋管理サーバ１１０が停止するまで行う。まず、インタフェース部１１１は、クライアントからのメッセージを待つ（Ｓ１４１１）。メッセージを受信すると、判定部１１２は、インタフェース部１１１が受け付けたメッセージの種類を判定する（Ｓ１４１２）。
【０１４４】
ログインメッセージの場合、処理部１１３は、メッセージ送信元のクライアントに部屋リストを送信するようインタフェース部１１１に指示する（Ｓ１４２１）。インタフェース部１１１は、部屋リストをメッセージ送信元のクライアントに送信し、その後Ｓ１４１１に戻り、次のメッセージを待つ。
【０１４５】
入場メッセージの場合、処理部１１３は、メッセージ送信元クライアントのユーザを、指定された部屋の入場者リストに追加する（Ｓ１４３１）。すなわち、処理部１１３は、入場メッセージに含まれている、当該ユーザの識別情報と、当該ユーザの仮想空間上の位置情報および方位情報と、を入場者リストに追加する。次に、処理部１１３は、指定された部屋の仮想空間属性、および、入場者リストを、メッセージ送信元クライアントに送信するようインタフェース部１１１に指示する。なお、入場者リストには、指定された部屋に入場している全てのユーザの識別情報と、仮想空間上の位置情報および方位情報とが含まれている。インタフェース部１１１は、前記指示に従い送信元クライアントに入場者リストを送信する（Ｓ１４３２）。そして後述するＳ１４３６に進む。
【０１４６】
メッセージが移動メッセージの場合、処理部１１３は、入場者リストにおけるメッセージ送信元クライアント（ユーザ）の仮想空間上の位置情報および方位情報を更新する（Ｓ１４３５）。なお、仮想空間上の位置情報および方位情報は、移動メッセージに含まれている。そして、処理部１１３は、対象となる部屋の全ての入場者のクライアント（但し、メッセージ送信元クライアントは除く）および音響サーバ１２０に、メッセージ送信元クライアントのユーザの識別情報と、仮想空間上の位置情報および方位情報と、を通知するようインタフェース部１１１に指示する（Ｓ１４３６）。インタフェース部１１１は、前記指示に従い各クライアントおよび音響サーバ１２０に送信し、Ｓ１４１１に戻る。
【０１４７】
なお、入場メッセージの場合についても、Ｓ１４３２の処理の後に、Ｓ１４３６の処理を行う。すなわち、入場メッセージを受信した際に、処理部１１３は、メッセージ送信元クライアントのユーザの識別情報および仮想空間上の位置情報等を、通知音響サーバ１２０とクライアントとに通知する（Ｓ１４３６）。これにより、クライアントは、部屋に入場すると音響サーバ１２０の既定の通信ポートとの間で (または、入場時に部屋管理サーバ１１０から通知されるポートとの間で) 音声通信を行う。すなわち、各クライアントのオーディオ通信部２１５は、音響サーバ１２０に１チャンネルの音声ストリームを送信し、音響サーバ１４０から２チャンネルの音声ストリームを受信する。
【０１４８】
退場メッセージの場合、処理部１１３は、メッセージ送信元クライアントのユーザを入場者リストから削除する（Ｓ１４４１）。そして、処理部１１３は、対象となる部屋の全ての入場者のクライアント（但し、メッセージ送信元クライアントは除く）、および、音響サーバ１２０に、当該ユーザが部屋から退場したことを通知するようにインタフェース部１１１に指示する（Ｓ１４４２）。インタフェース部１１１は、前記指示に従いクライアントに送信し、Ｓ１４１１に戻る。
【０１４９】
以上で本発明の一実施形態について説明した。
【０１５０】
本実施形態では、ヘッドフォン２１７から出力される音を聞いただけでは音源の方向を判別することが困難な場合、ユーザは、左右スイングボタン２３１または上下スイングボタン２３２を用いて、仮想空間内で仮想的に首を左右または上下に振る。これにより、ヘッドフォン２１７から再生される音源の音が、左右または上下に変化（振動）する。
【０１５１】
左右スイングボタン２３１の場合、この音源の音の変化の仕方が、音源がユーザの前方に存在するのかあるいは後方に存在するのかによって異なるため、ユーザは、音源の正確な方向を把握することができる。また、この音源の音の変化の仕方が、上下スイングボタン２３２の場合、音源がユーザの上方に存在するのかあるいは下方に存在するのかによって異なるため、ユーザは、音源の正確な方向を把握することができる。すなわち、左右スイングボタン２３１または上下スイングボタン２３２使用することによって、ユーザは、仮想空間内において、音源の方向をより正確に判別（認知）することができる。
【０１５２】
また、本実施形態では、スケールバーまたはメッシュなど距離を表示した仮想空間のイメージ（図８、図１１参照）をディスプレイ２２０に出力する。これによって、ユーザは、ヘッドフォン２１７から出力される３次元化された立体音響から聴覚的に判別（認知）した音源との距離と、ディスプレイ２２０に表示されたイメージから視覚的に判別（認知）した音源との距離との関係を学習する。これによりユーザは、３次元化された立体音響立を聴くだけで、仮想空間における音源との距離をより正確に把握することができるようになる。すなわち、距離を表示した仮想空間のイメージデータを参照することにより、ユーザは、仮想空間における音源までの距離（音源の位置）を把握する能力を高めることができる。
なお、仮想空間における音源との距離を把握する能力を高めることにより、以下の効果が発生する。
【０１５３】
第１には、仮想空間を使用した会議システムにおいて、通信相手（会議の出席者である他ユーザ）との距離を正確に認知することによって、より豊かなコミュニケーション環境を実現することができる。例えば、複数の通信相手である他ユーザが存在する会議において、ある他ユーザが発する発言が自分（自ユーザ）に向けられているのか否かを判別する際に、自ユーザと発言者である他ユーザとの距離を把握することが重要になる。すなわち、発言者である他ユーザが仮想空間内で自ユーザに接近している場合は、自ユーザに対して話している可能性がより高くなる。
【０１５４】
また、１対１の会話においても、他ユーザが近い位置から（例えば１m 程度近づいて）話しかけ場合、自ユーザは、他ユーザがより親密な関係を結ぼうとしているか、または、より重要な（秘密性の高い）内容について会話しようとしていると認識する。しかし、他ユーザが離れた位置（例えば ５m 程度）から話している場合は、自ユーザは、他ユーザが敵対心を抱いているか、または、より重要性（秘密性）の低い内容について会話しようとしていると認識する。
【０１５５】
従来の会議システムでは、このような非言語的なコミュニケーション情報を伝達することは困難であった。しかしながら、仮想空間における音源との距離を学習することによって、このような非言語的な情報の伝達が可能になり、より豊かなコミュニケーションを実現することができる。
【０１５６】
第２には、仮想空間内で敵と戦うゲームにおいて、距離の感覚を取り入れることによって、よりリアリティの高いゲームを実現することができる。すなわち、３次元化された立体音響を用いて仮想空間内で敵と戦うゲームにおいては、ゲーム実施者（自ユーザ）から対戦相手 (他ユーザ、所定の物体) までの距離を正確に把握できるかどうかがゲームの勝敗をわける場合がある。例えば、遠距離にいる対戦相手がゲーム実施者（自ユーザ）に発砲しても的中する可能性が低いが、近距離にいる対戦相手が発砲するとゲーム実施者（自ユーザ）に的中する可能性が高い。そのため、ゲーム実施者（自ユーザ）は、対戦相手が近距離にいる場合は、より注意を払う必要がある。また、コンピュータ・グラフィクスを使用した視覚的なゲームにおいても、対戦相手が後方から接近するときにはディスプレイ上で相手の存在や距離を表示することができない場合など、対戦相手との仮想空間内の距離を学習することは重要である。
【０１５７】
なお、本発明は上記の実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
【０１５８】
例えば、本実施形態のクライアントは、グラフィクスレンダラ２１９がディスプレイ２２０に仮想空間のイメージデータ（図８〜図１１参照）を出力する。しかしながら、本発明は、３次元オーディオ技術を用いた立体音響による通信を主としたシステムであるため、クライアント２０１は、ディスプレイ２２０に仮想空間のイメージデータを出力しないこととしてもよい。この場合、クライアント２０１は、グラフィクスレンダラ２１９およびディスプレイ２２０を有しない。
【０１５９】
また、本実施形態では、音響サーバ１２０が、クライアント各々から送信されたユーザの音声（オーディオ信号）を、３次オーディオ技術を用いてクライアント毎に立体化する。そして、音響サーバ１２０は、クライアント毎に立体化した各ユーザの音声を、各クライアントに送信する。しかしながら、クライアント各々が、音響サーバ１２０を介すことなく、直接１対１で音声（オーディオ信号）を送受信し、他のクライアントから入力された音声を立体化することとしてもよい。
【０１６０】
この場合、各クライアントは、図３に示すクライアントの構成と以下の点において異なる。すなわち、オーディオデコーダ２１６は、音響サーバ１２０のオーディオレンダラ１２２（図１３、図１４参照）と同様の機能を有する。また、オーディオ通信部２１５は、音響サーバ１２０と通信するかわりに、他のクライアントと直接通信する。この場合、音響サーバ１２０は、不要である。
【０１６１】
また、本実施形態における仮想空間は、複数のユーザが会議または会話を行うために仮想的に作り出した空間である。しかしながら、本発明は、これに限定されず、ユーザが、音楽やインターネット放送などの各種の音源を聴くために仮想的に作り出した空間であってもよい。
【０１６２】
また、本実施形態で説明した立体音響再生システムでは、登録サーバ１３０を有する。しかしながら、SIPプロトコルを用いて通信を行わない場合は、登録サーバは不要である。
【図面の簡単な説明】
【０１６３】
【図１】本実施形態における全体構成図である。
【図２】本実施形態における各装置のハードウェア構成図である。
【図３】本実施形態におけるクライアントの構成図である。
【図４】本実施形態における音源の方向を模式的に示した図である。
【図５】本実施形態における、左を向いた状態での音源の方向を模式的に示した図である。
【図６】本実施形態における、右を向いた状態での音源の方向を模式的に示した図である。
【図７】本実施形態における、上または下を向いた状態での音源の方向を模式的に示した図である。
【図８】本実施形態における平面図による仮想空間のディスプレイ表示画面例である。
【図９】本実施形態における左および右を向いた状態の仮想空間のディスプレイ表示画面例である。
【図１０】本実施形態における上および下を向いた状態の仮想空間のディスプレイ表示画面例である。
【図１１】本実施形態における透視図による仮想空間のディスプレイ表示画面例である。
【図１２】本実施形態におけるクライアントの種類を例示したものである。
【図１３】本実施形態における音響サーバの構成図である。
【図１４】本実施形態におけるオーディオレンダラの処理を模式的に示した図である。
【図１５】本実施形態における初期反射を説明するための鏡像を模式的に示した図である。
【図１６】本実施形態におけるクライアントの自ユーザの移動処理フロー図である。
【図１７】本実施形態におけるクライアントの他ユーザの移動処理フロー図である。
【図１８】本実施形態におけるクライアントのスイング処理フロー図である。
【図１９】本実施形態におけるプレゼンスサーバの機能構成図である。
【図２０】本実施形態におけるプレゼンスサーバの処理フロー図である。
【符号の説明】
【０１６４】
１０１…ネットワーク、１１０…プレゼンスサーバ、１２０…音響サーバ、１３０…登録サーバ、２０１、２０２、２０３…クライアント、２１１…マイクロフォン、２１２…オーディオエンコーダ、２１５…オーディオ通信部、２１６…オーディオデコーダ、２１７…ヘッドフォン、２１９…グラフィクスレンダラ、２２０…ディスプレイ、２２１…空間モデラ、２２２…プレゼンスプロバイダ、２２３…セッション制御部、２３０…ポインティングデバイス、２３１…左右スイングボタン、２３２…上下スイングボタン
【図１】
2006094315.tif 000003
【図２】
2006094315.tif 000004
【図３】
2006094315.tif 000005
【図４】
2006094315.tif 000006
【図５】
2006094315.tif 000007
【図６】
2006094315.tif 000008
【図７】
2006094315.tif 000009
【図８】
2006094315.tif 000010
【図９】
2006094315.tif 000011
【図１０】
2006094315.tif 000012
【図１１】
2006094315.tif 000013
【図１２】
2006094315.tif 000014
【図１３】
2006094315.tif 000015
【図１４】
2006094315.tif 000016
【図１５】
2006094315.tif 000017
【図１６】
2006094315.tif 000018
【図１７】
2006094315.tif 000019
【図１８】
2006094315.tif 000020
【図１９】
2006094315.tif 000021
【図２０】
2006094315.tif 000022