【誤訳訂正書】
【提出日】平成23年3月9日(2011.3.9)
【誤訳訂正１】
【訂正対象書類名】特許請求の範囲
【訂正対象項目名】全文
【訂正方法】変更
【訂正の内容】
【特許請求の範囲】
【請求項１】
仮想環境システムにおいて維持される状態情報を含む仮想環境についてオーディオを用いる方法であって、
前記仮想環境に付随する第１アバターを特定するステップと、
前記仮想環境に付随する第２アバターに作成したオーディオ情報に関して、オーディオ再利用判断基準を満たすか否か判定を行うステップであって、
前記オーディオ情報が前記仮想環境に関連付けられるオーディオ・シーンに関するものであり、前記第１アバター及び前記第２アバターが、それぞれ前記仮想環境内の参加者を表わしており、該参加者が、各計算デバイスを有するそれぞれのユーザから成り、
没入型オーディオ通信サーバ・アプリケーションが、複数の没入型オーディオ通信クライアント・アプリケーションから受信した前記オーディオ情報に関連付けられた空間特性に関してオーディオ情報の処理を行うと、前記仮想環境システムの前記サーバ・アプリケーションにおいて前記オーディオ・シーンが生成され、
前記空間特性に関する前記オーディオ情報の処理が、頭部伝達関数を計算することを含み、
前記各計算デバイスが、該計算デバイスのユーザに対して前記オーディオ・シーンをレンダリングする前記没入型オーディオ通信クライアント・アプリケーションの１つを備える、ステップと、
前記没入型オーディオ通信サーバ・アプリケーションにおける前記頭部伝達関数の計算を減らし、前記オーディオ・シーンの生成における効率化を図るために、前記オーディオ再利用判断基準を満たすと判定した場合に、前記オーディオ情報を前記第１アバターに再利用するステップであって、前記オーディオ情報を、前記第１アバターと前記仮想環境内の第３の参加者を表わす第３のアバターとの間の距離に基づいて処理することを備える、ステップと、を備えている、方法。
【請求項２】
請求項１記載の方法において、
複数の前記計算デバイスの１又はそれ以上が、非携帯型計算デバイスの処理能力に関して制限された処理能力を有するデバイス、携帯型計算デバイス、ワイヤレス計算デバイス、又は移動体電話のうちの１又はそれ以上から成る、方法。
【請求項３】
請求項１記載の方法であって、更に、前記オーディオ再利用判断基準を満たしていないと判定した場合に、前記第１アバターに対して代わりのオーディオ情報を作成するステップを備えている、方法。
【請求項４】
請求項１から３までのいずれか１項に記載の方法において、前記オーディオ再利用判断基準を満たすか否か判定を行う前記ステップは、前記第１アバターが、前記オーディオ情報を、前記第３アバターが位置する仮想環境の所定の区域から発するものとして知覚できるか否か判定を行うことを含む、方法。
【請求項５】
請求項１に記載の方法において、
前記仮想環境内の参加者が、自然数１〜ｎの集合によって数えられる複数の参加者から成り、ここで、ｎは２以上の自然数であり、
前記特定するステップ、前記判定を行うステップ、及び再利用するステップの１又はそれ以上が、
１からｎまでの範囲内のｉにおいて、各アバターｉについて集合Ｓｉが空になるまで、又は処理の限界に達するまで、各アバターｉが聞くことができる発話中のアバターの集合Ｓｉを再帰的に繰り返し計算するステップであって、
ｉ．集合Ｓｉの中で最も近くにいる発話者であるアバターｊを見つける
ｉｉ．（Ｉｆ）アバターｉの視点から見たアバターｊからのオーディオ情報についての空間化されたバージョンＨｊｉが、予めの許容可能誤差内で計算されていないとき、（ｔｈｅｎ）
１．アバターｉから見た精度良くレンダリングされた、アバターｊからのオーディオ情報について空間化されたバージョンＨｊｉを作成する
２．Ｈｊｉについて重み付けしたコピーを、リスナであるアバターｉのオーディオ・シーンにおけるレンダリングしたオブジェクトの集合である集合Ｒｉに付加する（ここで、当該適用される重み付けは、仮想世界におけるアバターｉおよびアバターｊ間の相対的な距離の関数である）
ｉｉｉ．そうでない場合（Ｅｌｓｅ）
１．許容可能誤差内にあるレンダリングしたオブジェクトＨｊｉについて重み付けしたコピーを、集合Ｒｉに付加する（ここで、当該適用される重み付けは、仮想世界におけるアバターｉとアバターｊとの間の相対的な距離の関数である）
ｉｖ．前記集合Ｓｉからアバターｊを取り除く
ことを含むステップの１又はそれ以上を備える、方法。
【請求項６】
仮想環境システムにおいて維持される状態情報を含む仮想環境についてオーディオを用いるシステムであって、該システムは、
前記仮想環境に付随する第１アバターを特定するステップと、
前記仮想環境に付随する第２アバターに作成したオーディオ情報に関して、オーディオ再利用判断基準を満たすか否か判定を行うステップであって、
前記オーディオ情報が前記仮想環境に関連付けられるオーディオ・シーンに関するものであり、前記第１アバター及び前記第２アバターが、それぞれ前記仮想環境内の参加者を表わしており、該参加者が、各計算デバイスを有するそれぞれのユーザから成り、
没入型オーディオ通信サーバ・アプリケーションが、複数の没入型オーディオ通信クライアント・アプリケーションから受信した前記オーディオ情報に関連付けられた空間特性に関してオーディオ情報の処理を行うと、前記仮想環境システムの前記サーバ・アプリケーションにおいて前記オーディオ・シーンが生成され、
前記空間特性に関する前記オーディオ情報の処理が、頭部伝達関数を計算することを含み、
前記各計算デバイスが、該計算デバイスのユーザに対して前記オーディオ・シーンをレンダリングする前記没入型オーディオ通信クライアント・アプリケーションの１つを備える、ステップと、
前記没入型オーディオ通信サーバ・アプリケーションにおける前記頭部伝達関数の計算を減らし、前記オーディオ・シーンの生成における効率化を図るために、前記オーディオ再利用判断基準を満たすと判定した場合に、前記オーディオ情報を前記第１アバターに再利用するステップであって、前記オーディオ情報を、前記第１アバターと前記仮想環境内の第３の参加者を表わす第３のアバターとの間の距離に基づいて処理することを備える、ステップと、
を実行するように構成されている処理手段を備えている、システム。
【請求項７】
請求項６記載のシステムにおいて、
複数の前記計算デバイスの１又はそれ以上が、非携帯型計算デバイスの処理能力に関して制限された処理能力を有するデバイス、携帯型計算デバイス、ワイヤレス計算デバイス、又は移動体電話のうちの１又はそれ以上から成る、システム。
【請求項８】
請求項６記載のシステムにおいて、前記処理手段は、更に、前記オーディオ再利用判断基準を満たしていないと判定した場合に、前記第１アバターに対して代わりのオーディオ情報を作成するステップを実行するように構成されている、システム。
【請求項９】
請求項６から８までのいずれか１項に記載のシステムにおいて、前記オーディオ再利用判断基準を満たすか否か判定を行う前記ステップが、前記第１アバターが、前記オーディオ情報を、前記第３アバターが位置する仮想環境の所定の区域から発するものとして知覚できるか否か判定を行うことを含むように前記処理手段が構成される、システム。
【請求項１０】
請求項６に記載のシステムにおいて、
前記仮想環境内の参加者が、自然数１〜ｎの集合によって数えられる複数の参加者から成り、ここで、ｎは２以上の自然数であり、
前記特定するステップ、前記判定を行うステップ、及び再利用するステップの１又はそれ以上が、
１からｎまでの範囲内のｉにおいて、各アバターｉについて集合Ｓｉが空になるまで、又は処理の限界に達するまで、各アバターｉが聞くことができる発話中のアバターの集合Ｓｉを再帰的に繰り返し計算するステップであって、
ｉ．集合Ｓｉの中で最も近くにいる発話者であるアバターｊを見つける
ｉｉ．（Ｉｆ）アバターｉの視点から見たアバターｊからのオーディオ情報についての空間化されたバージョンＨｊｉが、予めの許容可能誤差内で計算されていないとき、（ｔｈｅｎ）
１．アバターｉから見た精度良くレンダリングされた、アバターｊからのオーディオ情報について空間化されたバージョンＨｊｉを作成する
２．Ｈｊｉについて重み付けしたコピーを、リスナであるアバターｉのオーディオ・シーンにおけるレンダリングしたオブジェクトの集合である集合Ｒｉに付加する（ここで、当該適用される重み付けは、仮想世界におけるアバターｉおよびアバターｊ間の相対的な距離の関数である）
ｉｉｉ．そうでない場合（Ｅｌｓｅ）
１．許容可能誤差内にあるレンダリングしたオブジェクトＨｊｉについて重み付けしたコピーを、集合Ｒｉに付加する（ここで、当該適用される重み付けは、仮想世界におけるアバターｉとアバターｊとの間の相対的な距離の関数である）
ｉｖ．前記集合Ｓｉからアバターｊを取り除く
ことを含むステップの１又はそれ以上を備える、ように前記処理手段が構成される、システム。
【請求項１１】
計算デバイスに、請求項１から５までのいずれか１項記載の方法を実行させるように構成されている少なくとも１つの命令を備えているコンピュータ・プログラム。
【請求項１２】
請求項１１記載のコンピュータ・プログラムを備えている、コンピュータ読み取り可能媒体。
【請求項１３】
請求項１に記載の方法において、前記仮想環境システムにおける前記没入型オーディオ通信サーバ・アプリケーション及び前記没入型オーディオ通信クライアント・アプリケーションが、通信システムを用いて相互にデータを交換する、方法。
【請求項１４】
請求項１３に記載の方法において、前記データは、前記没入型オーディオ通信サーバ・アプリケーション及び前記没入型オーディオ通信クライアント・アプリケーションの間で交換され、前記状態情報又は前記オーディオ情報の１又はそれ以上を含む、方法。
【請求項１５】
請求項１３に記載の方法において、前記通信システムが、電話ネットワーク又はパケット交換データ・ネットワークの１又はそれ以上を含む、方法。
【請求項１６】
請求項１に記載の方法において、前記仮想環境が、オンライン・ゲームを含んでおり、前記アバターのそれぞれが、該オンライン・ゲームの個々のプレーヤーから成る、方法。
【請求項１７】
請求項１に記載の方法において、前記仮想環境が、ビジネス関連の機能を備える、方法。
【請求項１８】
請求項１７に記載の方法であって、前記ビジネス関連機能が、仮想会議を含んでおり、前記アバターのそれぞれが、該仮想会議における個々の参加者から成る、方法。
【請求項１９】
請求項１に記載の方法において、前記仮想環境が、教育関連の機能を備える、方法。
【請求項２０】
請求項１９に記載の方法において、前記教育関連機能が、仮想講義を含んでおり、前記アバターのそれぞれが、前記仮想講義における参加者から成る、方法。
【請求項２１】
請求項６に記載のシステムにおいて、前記仮想環境システムにおける前記没入型オーディオ通信サーバ・アプリケーション及び前記没入型オーディオ通信クライアント・アプリケーションが、通信システムを用いて相互にデータを交換する、システム。
【請求項２２】
請求項２１に記載のシステムにおいて、前記データが、前記没入型オーディオ通信サーバ・アプリケーション及び前記没入型オーディオ通信クライアント・アプリケーションの間で交換され、前記状態情報又は前記オーディオ情報の１又はそれ以上を含む、システム。
【請求項２３】
請求項２１に記載のシステムにおいて、前記通信システムが、電話ネットワーク又はパケット交換データ・ネットワークの１又はそれ以上を含む、システム。
【請求項２４】
請求項６に記載のシステムにおいて、前記仮想環境が、オンライン・ゲームを含んでおり、前記アバターのそれぞれが、前記オンライン・ゲームの個々のプレーヤーから成る、システム。
【請求項２５】
請求項６に記載のシステムにおいて、前記仮想環境が、ビジネス関連の機能を備える、システム。
【請求項２６】
請求項２５に記載のシステムにおいて、前記ビジネス関連機能が、仮想会議を含んでおり、前記アバターのそれぞれが、該仮想会議における個々の参加者から成る、システム。
【請求項２７】
請求項６に記載のシステムにおいて、前記仮想環境が、教育関連の機能を備える、システム。
【請求項２８】
請求項２７に記載のシステムにおいて、前記教育関連機能が、仮想講義を含んでおり、前記アバターのそれぞれが、該仮想講義における参加者から成る、システム。
【誤訳訂正２】
【訂正対象書類名】明細書
【訂正対象項目名】全文
【訂正方法】変更
【訂正の内容】
【発明の詳細な説明】
【発明の名称】没入型オーディオ通信
【技術分野】
【０００１】
本発明は、一般的には、没入型オーディオ通信(immersive audio communication)に関するものであり、仮想環境のアバターに付随する没入型オーディオ・シーン(immerisive audio scene)に特に該当するが、決してこれに限定されるのではない。
【背景技術】
【０００２】
従来より、分散型仮想環境（マルチプレーヤ・オンライン・ゲーム等）は、ユーザが互いに通信し合えるようにするために、初歩的な手段を用いていた。例えば、ある分散型仮想環境では、テキストに基づく通信を採用し、他の仮想環境では、インターネット・プロトコル技術によって単純なモノラル音声(mono voice)をサポートしている。
【０００３】
中程度または高い品質のオーディオ通信によって仮想環境を増強することにより、ユーザの仮想環境の知覚を改善できることが示唆されている。このため、分散型仮想環境にリアルタイム没入型オーディオ通信を装備するために、かなりの研究が行われている。研究の殆どは、ユーザに空間オーディオを提供して、方向および距離の感覚を伝えることを中心に据えている。即ち、オーディオ情報が、特定の方向から発するように聞こえ、ある距離を伝わってきたような感覚を伝える。
【０００４】
分散型仮想環境に没入型オーディオ通信を装備するための研究では、一般に、仮想環境のユーザが用いる計算機（デスクトップ・コンピュータ等）にはそれなりの量の処理能力があり、比較的高い帯域幅のデータ・リンクを通じて仮想環境に接続されていることを想定している。したがって、今日の没入型オーディオ通信技術は、一般に、１つ以上の中央サーバおよびユーザの計算機に跨って分散した没入型オーディオ・シーン計算を伴う。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
Nokia N-Gageや、Playstation Portableのような、近年の携帯用ワイヤレス計算デバイスの普及(uptake)は、携帯用ワイヤレス計算機を通じて仮想環境にアクセスしたい潜在的なユーザ数が増大しつつあることを意味する。これらと同等のデスクトップ型と比較すると、携帯用ワイヤレス計算機は、処理能力に限界があり、それなりに低い帯域幅のワイヤレス・リンクを通じて仮想環境に接続する。生憎、今日の没入型オーディオ通信技術は、携帯用ワイヤレス計算機（または、計算能力が比較的低いその他の計算機）を効率よくサポートするとは考えられない。何故なら、ワイヤレス計算機には、分散オーディオ・シーン計算に関与できる程の十分な処理能力がないこともあるからである。この結果、計算が集中するオーディオ・シーンの処理の多くが、仮想環境サーバに押し戻されることになる。これが基本的に意味するのは、携帯用ワイヤレス計算機をサポートして、没入型オーディオ通信を提供するには、一層強力なサーバを採用しなければならなくなる可能性があるということである。
【課題を解決するための手段】
【０００６】
本発明の第１の態様によれば、仮想環境のためにオーディオを用いる方法を提供する。この方法は、
仮想環境に付随する第１アバターを特定するステップと、
第２アバターに作成したオーディオ情報に関して、オーディオ再利用判断基準を満たすか否か判定を行うステップと、
オーディオ再利用判断基準を満たすと判定した場合、第１アバターにオーディオ情報を再利用するステップと、
を備えている。
【０００７】
この方法の利点は、既存の没入型オーディオ技術とは異なり、携帯用ワイヤレス通信デバイス（または処理能力が比較的低いその他のあらゆるデバイス）のために没入型オーディオ通信を行いやすくする潜在的可能性があることである。この利点は、本方法が、可能であれば（即ち、オーディオ再利用判断基準を満たす場合）、オーディオ情報を再利用することを伴い、これによって没入型オーディオを作成する、処理が集中するタスクを削減することができるという事実に基づいている。実施形態例として、本方法は、１つ以上の中央オーディオ・シーン作成サーバによって実行し、中央サーバのオーディオ・シーン処理要求を低減することができる。本発明とは対照的に、既存の没入型オーディオ通信技術は、オーディオ情報再利用の態様を採用せず、このため、本発明を採用するシステムよりも多くの処理リソースを必要とする。
【０００８】
好ましくは、本方法は、更に、仮想環境に付随する第１アバターと第３アバターとの間の距離に基づいて、オーディオ情報を処理するステップを備えている。
オーディオを処理するステップを実行することの利点は、再利用するオーディオ情報に距離の感覚を加えることができることである。例えば、この処理ステップは、オーディオ情報を減衰させることによって、オーディオ情報がある距離を伝搬してきたことを表すことができる。
【０００９】
好ましくは、本方法は、更に、オーディオ再利用判断基準を満たしていないと判定した場合、第１アバターに対して代わりのオーディオ情報を作成するステップを備えている。
代わりのオーディオ情報を作成することの利点は、再利用判断基準を満たさない場合に、第１アバターにオーディオを得るメカニズムを設けることである。
【００１０】
好ましくは、オーディオ再利用判断基準を満たすか否か判定を行うステップは、第１アバターが、オーディオ情報を、第３アバターが位置する仮想環境の所定の区域から発するものとして知覚できるか否か判定を行うことを含む。
【００１１】
第１アバターが、オーディオ情報を、第３アバターが位置する仮想環境の所定の区域から発するものとして知覚できるか否か判定を行うことの利点は、再利用するオーディ情報が、精度高く作成したオーディオ情報の空間的態様にそれなりに近い空間特性を有することを保証する技術を提供することであり、前述の代わりのオーディオ情報を作成するステップの間に作成できることである。
【００１２】
好ましくは、オーディオ情報は空間オーディオ情報を備えている。
本発明の第２の態様によれば、仮想環境のためにオーディオを用いるシステムを提供し、このシステムは、
仮想環境に付随する第１アバターを特定するステップと、
仮想環境に付随する第２アバターに作成したオーディオ情報に関して、オーディオ再利用判断基準を満たすか否か判定を行うステップと、そして
オーディオ再利用判断基準を満たすと判定した場合、第１アバターにオーディオ情報を再利用するステップと、
を実行するように構成されている処理手段を備えている。
【００１３】
好ましくは、処理手段は、更に、仮想環境に付随する第１アバターと第３アバターとの間の距離に基づいて、オーディオ情報を処理するステップを実行するように構成されている。
【００１４】
好ましくは、処理手段は、オーディオ再利用判断基準を満たしていないと判定した場合、第１アバターに対して代わりのオーディオ情報を作成するステップを実行するように構成されている。
【００１５】
好ましくは、処理手段は、更に、オーディオ再利用判断基準を満たすか否か判定を行うステップが、第１アバターが、オーディオ情報を、第３アバターが位置する仮想環境の所定の区域から発するものとして知覚できるか否か判定を行うことを含むように構成されている。
【００１６】
好ましくは、オーディオ情報は空間オーディオ情報を備えている。
本発明の第３の態様によれば、計算機に、第１の態様の方法を実行させるように構成されている少なくとも１つの命令を備えているコンピュータ・プログラムを提供する。
【００１７】
本発明の第４の態様によれば、第３の態様によるコンピュータ・プログラムを備えている、コンピュータ読み取り可能媒体を提供する。
【発明を実施するための最良の形態】
【００１８】
本発明の範囲に該当する実施形態が他にもあり得るが、本発明の一実施形態についてこれより、添付図面を参照して説明する。しかし、これは一例に過ぎない。
図１を参照すると、システム１００は、仮想環境システム１０２、ユーザ計算機１０４、および通信システム１０６を含む。
【００１９】
仮想環境システム１０２の主要な機能は、仮想環境についての状態情報を維持すること、および仮想環境における参加者に没入型オーディオ通信を提供することである。本発明のこの実施形態では、仮想環境は、マルチプレーヤ・オンライン・ゲームの戦場(battlefield)であり、アバターが仮想環境の参加者（即ち、ユーザ計算機１０４のユーザ）を表し、動画化した兵士の姿となっている。仮想環境システム１０２が維持する状態情報は、例えば、仮想環境におけるアバターの位置、即ち、戦場における兵士の位置を含む。
【００２０】
尚、本発明は、マルチプレーヤ・オンライン・ゲームに合わせた仮想環境およびアバターに限定されるのではないことを注記しておく。本発明は、例えば、ビジネス関連（仮想社員会議等）、または教育関連（仮想講義等）を含む範囲の仮想環境に適用することができる。
【００２１】
状態情報を維持し、没入型オーディオ通信を提供するという主要な機能を実行するために、仮想環境システム１０２は、従前のコンピュータ・ハードウェアを備えている。コンピュータ・ハードウェアは、マザーボード、中央演算装置、ランダム・アクセス・メモリ、ハード・ディスク、ネットワーク構成ハードウェア、および電源を含む。ハードウェアに加えて、仮想環境システム１０２は、オペレーティング・システム（www.redhat.comから入手可能なLinux等）を含む。オペレーティング・システムは、システム１０２のハード・ディスク上に常駐し、ソフトウェア・アプリケーションを実行することができる環境を設けるために、ハードウェアと共動する。これに関して、仮想環境システム１０２のハード・ディスクには、状態情報を維持するために仮想環境サーバ・ソフトウェア（www.idsoftware.comから入手可能なQuakeエンジン等）、そして仮想環境の参加者に没入型オーディオ通信を提供するために没入型オーディオ通信サーバ・アプリケーションがロードされている。
【００２２】
ユーザ計算機１０４は、Nokia N-GageおよびPlaystation Portableのような、携帯用ワイヤレス通信デバイスの形態となっている。しかしながら、本発明は携帯用ワイヤレス通信デバイスに限定されるのではないことは、容易に認められよう。本発明の代替実施形態では、ユーザ計算機１０４は、例えば、ラップトップまたはデスクトップ・コンピュータとすることもできることも想定している。各ユーザ計算機１０４は、従前のコンピュータ・ハードウェアを備えており、その中には、マザーボード、中央演算装置、ランダム・アクセス・メモリ、ハード・ディスク、電源、モニタ、およびユーザ情報入力（例えば、キーボード）を含む。ハードウェアに加えて、各ユーザ計算機１０４のハード・ディスクには、BlackBerryオペレーティング・システムがロードされている。オペレーティング・システムは、計算機１０４のハードウェアと双方向処理を行い、ソフトウェア・アプリケーションを実行することができる環境を設ける。これに関して、各ユーザ計算機１０４のハード・ディスクには、仮想環境クライアント・アプリケーションおよび没入型オーディオ通信クライアントがロードされている。
【００２３】
仮想環境クライアント・アプリケーションは、仮想環境についての仮想環境状態情報を、仮想環境システム１０２上にロードされている仮想環境サーバ・アプリケーションとの間で送受信するように構成されている。没入型オーディオ通信クライアントは、仮想環境システム１０２上の没入型オーディオ通信サーバとの間でオーディオ情報を送受信するように構成されている。既に記載したが、各ユーザ計算機１０４には、Nokia N-Gage向けのSymbianオペレーティング・システムのような、オペレーティング・システムがロードされている。本発明は、Symbianオペレーティング・システムに限定されるのではなく、したがって本発明は、ユーザ計算機１０４上にロードされているオペレーティング・システムが異なっていても、適用することができる。別のオペレーティング・システムには、例えば、Microsoft Windows（登録商標） XPまたはLinuxが含まれる（双方共、計算機１０４がデスクトップ・コンピュータの形態であるときに用いられるのが通例である）。
【００２４】
通信システム１０６によって、ユーザ計算機１０４の各々の仮想環境クライアント・アプリケーション、および仮想環境システム１０２の仮想環境サーバ・アプリケーションが、互いにデータ（更に具体的には、状態情報）を交換することが可能になる。また、通信システム１０６によって、ユーザ計算機１０４の各々の没入型オーディオ通信クライアント・アプリケーションおよび仮想環境システム１０２の没入型オーディオ通信サーバ・アプリケーションは、互いにデータ（更に具体的には、状態情報）を交換することが可能になる。
【００２５】
データの交換をサポートするために、通信システム１０６はユーザ計算機１０４との間でデータを送受信する移動体電話ネットワーク１０８を備えている。本発明は、移動体電話ネットワーク１０８と共に用いることに限定されるのではなく、本発明の代替実施形態は、例えば、８０２．１１系ワイヤレス・ネットワークを採用することもできる。移動体電話ネットワーク１０８に加えて、通信システム０１６は、仮想環境システム１０２との間でデータを送受信するために、インターネットのような、公衆アクセス・インターネット・プロトコルに基づくパケット交換ネットワーク１１０も備えている。移動体電話ネットワーク１０８および通信システム１０６は、通信リンク１１２を通じて互いに相互接続されている。通信リンク１１２は、高速光ファイバ・リンクの形態となっている。通信リンク１１２によって、移動体電話ネットワーク１０８およびパケット交換ネットワーク１１０間においてデータを交換することが可能となる。
【００２６】
仮想環境システム１０２およびユーザ計算機１０４が通信システム１０６を通じてデータを交換することを可能にするために、仮想環境サーバ１０２は、高速エータ・リンクの形態をなす通信リンク１１４を通じてパケット交換ネットワーク１１０に接続されている。更に、ユーザ計算機１０４は、各々、ワイヤレスＧＰＲＳリンク１１６を通じて移動体電話ネットワーク１０８に接続されている。
【００２７】
本発明の実施形態は、主に、没入型オーディオ通信の提供に関する。したがって、本実施形態の以下の説明では、ユーザ計算機１０４上にロードされている没入型オーディオ通信クライアント・アプリケーション、および仮想環境システム１０２上にロードされている没入型オーディオ通信サーバ・アプリケーションが実行する機能性を中心に据えることにする。
【００２８】
没入型音声通信クライアント・アプリケーションが実行する主な機能には２つある。第１の機能は、ユーザ計算機１０４が取り込んだオーディオ情報（例えば、ユーザの音声）を、仮想環境システム１０２上にロードされている没入型オーディオ通信サーバに転送することである。２番目の機能は、仮想環境システム１０２上にロードされている没入型オーディオ通信サーバからのオーディオ・シーン（没入型オーディオ通信情報）を受信し、このオーディオ・シーンをユーザ計算機１０４のユーザにレンダリングすることである。オーディオ・シーンのレンダリングには、基本的に、スピーカまたはヘッドホンを通じてオーディオ・シーンを再生することを伴う。
【００２９】
また、仮想環境システム１０２上にロードされている没入型オーディオ通信サーバ・アプリケーションも２つの主要な機能を実行する。第１に、サーバ・アプリケーションは、没入型オーディオ通信クライアントから受信したオーディオ情報を処理して、仮想環境におけるアバターの各々に合わせてオーディオ・シーンを作成する。第２に、サーバ・アプリケーションはこのオーディオ・シーンをユーザ計算機１０４に転送する。オーディオ・シーンを作成するという第１の機能に関して、適した空間オーディオ処理アルゴリズムであればいずれでも採用できることを想定している。しかしながら、本実施形態の場合、没入型オーディオ通信サーバ・アプリケーションは、Head Related Transfer Function（ＨＲＴＦ：頭部伝達関数）アルゴリズムを用いるように構成されており、その詳細は、"3-D Sound for Virtual Reality and Multimedia"と題する文献に明記されている。この文献は、Academic Press Professional, Cambridge, MA, USA, 1994に載っており、Durand R. Begaultの著作である。
【００３０】
頭部伝達関数を実行することに加えて、没入型オーディオ通信サーバ・アプリケーションは、オーディオ・シーン再利用アルゴリズムを実行するように構成されている。オーディオ・シーン再利用アルゴリズムの目的は、没入型オーディオ・サーバ・アプリケーションが実行する頭部伝達関数動作を潜在的に最小限に抑え、これによってオーディオ・シーンを作成するために必要な処理リソースを最小限に抑えることである。この再利用アルゴリズムによって、仮想環境用没入型オーディオを有する低処理能力デバイス（ワイヤレス形態用計算機等）をサポートするのに、本発明を本質的に相応しくする。以下の説明では、図２を参照しながらオーディオ・シーン再利用アルゴリズムについて記載する。図２は、３つのアバターＡ１、Ａ２、およびＡ３を含む仮想環境を表す。これらのアバターの全ては同じ絶対方向（例えば、北）を向いている。この仮定は、本発明の実施形態のこの説明を簡素化するために行った。しかしながら、実際には、アバターは別々の方向を向いていてもよい。
【００３１】
再利用の一例を図２に示す。図２（ａ）は、既存の没入型オーディオ通信技術が、アバターＡ１からのリアルタイムの発話をＡ２およびＡ３のオーディオ・シーン内に正確に定位した(place)結果を示す。これには、２つの空間定位動作が必要であり、２回の別々の頭部変換関数の計算を、リスナＡ１およびＡ３毎に１回ずつ、伴う。精度高い定位を行うには、特に、多くのアバターが関与する場合、計算が集中する可能性がある。対照的に、図２（ｂ）は、再利用アルゴリズムの結果を示す。頭部伝達関数を用いて、Ａ１が精度高くＡ３のオーディオ・シーンにレンダリングされている。Ａ３のオーディオ・シーンは、アバターＡ２のオーディオ・シーンとして再利用される。その結果、Ａ２は、Ａ１がＡ１’から来ているかのように、Ａ１を精度低く聞くことになる。また、Ａ３よりもＡ１から離れているので、再利用されるオーディオ・シーンを減衰させる。この再利用の状況に対するコストは、１回の空間定位動作（即ち、１回の頭部伝達関数）、および１回の減衰動作である。
【００３２】
尚、再利用アルゴリズムは、図２（ｂ）に記載する状況では、再利用するオーディオ・シーンの数が増加する可能性がある場合、再利用するオーディオ・シーンの精度が低すぎることがないことを条件に、アルゴリズムはＡ２およびＡ３双方に対してＡ１を精度低くレンダリングする（すなわち、オーディオ・シーンを再利用する）可能性があることを注記しておく。
【００３３】
再利用アルゴリズムは、単純に、オーディオ・シーンを区別なく再利用するのではない。オーディオ・シーンを再利用する前に、再利用アルゴリズムは、オーディオ再利用判断基準を満たしているか否か判定を行う。これに関して、本発明のこの実施形態は、再利用判断基準として、角度誤差の概念を用いる。図２（ｂ）を参照すると、角度誤差は、アバターＡ１からアバターＡ２およびＡ３に向かって延びるベクトルによって定義される。再利用アルゴリズムは、これらのベクトルによって定義される角度が既定の角度（「角度誤差」とも呼ぶ）以下である場合に、Ａ３のオーディオ・シーンをＡ２に用いるようにしている。
【００３４】
尚、再利用判断基準は、前述した角度誤差の概念に限定されるのではないことを注記しておく。本発明の代替実施形態では、再利用判断基準は、アバター間の距離に基づくことができる。あるいは、角度誤差の概念を固定しなくてもよく、例えば、ある距離（例えば、１０ｍ）以内にあるアバターについては比較的小さな角度誤差とし、この距離よりも離れているアバターについてはそれよりも大きな角度誤差とすることもできる。
【００３５】
没入型オーディオ・サーバ・アプリケーションが実行する機能を、更に形式的に説明すると、次のようになる。
Ｎ個のアバター（Ａ１、Ａ２、．．．Ａｎ）がある仮想世界を想定し、各々をクライアント（Ｃ２、Ｃ２、．．．ＣＮ）によって制御することとする。オーディオ・サンプル（Ｖｉ）をこれらのクライアントの各々から受信する。
【００３６】
１．各アバター（ｉ）が聞くことができる発話中のアバターの集合を計算し、当該集合をＳｉにセットする。
２．各集合Ｓｉが空になるまで、又は処理の限界に達するまでリピートする。
ａ．ｆｏｒ ｉ ＝ １からＮ
ｉ．集合Ｓｉの中で最も近くにいる発話者Ａｊを見つける。
ｉｉ．（Ｉｆ）アバターｉの視点から見たＡｊからのオーディオについての空間化されたバージョン（Ｈｊｉ）が、予めの許容可能誤差内で計算されていないとき、（ｔｈｅｎ）
１．アバターＡｉの視点から見た精度良くレンダリングされた、アバターＡｊからのオーディオＶｊについて空間化されたバージョンＨｊｉを作成する。
２．Ｈｊｉについて重み付けしたコピーを、リスナｉのオーディオ・シーンにおけるレンダリングしたオブジェクトの集合である集合Ｒｉに付加する。当該適用される重み付けは、仮想世界におけるｉおよびｊ間の相対的な距離の関数である。
ｉｉｉ．そうでない場合（Ｅｌｓｅ）
１．許容可能誤差内にあるレンダリングしたオブジェクトＨｊｉについて重み付けしたコピーを、集合Ｒｉに付加する。当該適用される重み付けは、仮想世界におけるｉとｊとの間の相対的な距離の関数である。
ｉｖ．集合ＳｉからＡｊを取り除く
ｂ．ｆｏｒループ終了
３．繰り返し（ｗｈｉｌｅ）終了
【００３７】
没入型オーディオ・サーバは、いかにして、既存の没入型オーディオ技法よりも低い処理能力で済ませるのか、その一例として、以下の例を考える。この例では、容認可能な角度誤差が、リスナから０および１０メートルの間では、１０度であり、１０メートルから各アバターの聞き取り範囲の縁部まででは３０度である。図３に示す仮想世界を用いて、全てのアバターが互いに聞き取ることができ、各アバターの周囲を囲む円は、半径が１０ｍである。先の再利用アルゴリズムの形式的定義を全て纏めると次のようになる。
【００３８】
Ａ１は、Ａ２の精度高いレンダリングを要求する（Ｈ２、１）。
Ａ２は、Ａ１の精度高いレンダリングを要求する（Ｈ１、２）。
Ａ３は、Ａ２の精度高いレンダリングを要求する（Ｈ２、３）。
Ａ１は、Ａ３の精度高いレンダリングを要求する（Ｈ３、１）。
Ａ２は、Ｈ３、１を再利用することができる。何故なら、生ずる角度誤差が３０度未満であるからである。
Ａ３は、Ｈ１，２を再利用することができる。何故なら、生ずる角度誤差が３０度未満であるからである。
再利用メカニズムを用いると、サーバにおいて必要なレンダリング計算の回数が６回（既存の技法を用いた場合）から４回に減少する。
【００３９】
尚、本発明の実施形態は、仮想環境をサポートするために用いる場合について説明したが、本発明は、仮想環境で用いることに限定されるのではないことは容易に認められよう。したがって、本発明は、例えば、オーディオのみの会議システムとして用いるための没入型オーディオ・システムのみを設けるためにも用いることができる。
【００４０】
以上、本実施形態を参照しながら発明を説明したが、本発明の範囲から逸脱することなく、変形、変更および改良も可能であり、その要素およびそのステップを同等物で置き換えることも可能であることは当業者には言外である。加えて、本発明の中心的な範囲から逸脱することなく、本発明を特定の状況または素材に適合させるために、発明の教示に対して多くの修正を加えることもできる。このような変形、変更、修正、および改良は、以上では明示的には記載しなかったが、本発明の範囲および主旨に該当することを意図し、それを含意するものとする。したがって、本発明はここに記載した特定的な実施形態に限定されるのではなく、独立請求項の範囲に該当する実施形態を全て含むことを意図するものとする。
【図面の簡単な説明】
【００４１】
【図１】図１は、本発明の一実施形態を含むシステムを示す。
【図２（ａ）】図２（ａ）は、既存の没入型オーディオ技法が用いる技法を示す。
【図２（ｂ）】図２（ｂ）は、本発明の一実施形態にしたがって没入型オーディオを作成するための図１のシステムによる技法を示す。
【図３】図３は、図１のシステムを適用する仮想環境の図である。