(57)【要約】【課題】処理能力に限界がある携帯用ワイヤレス計算機においても、仮想環境のためにオーディオを用いることを可能にする。【解決手段】仮想環境において空間オーディオを用いる方法およびシステムは、処理能力に限界がある携帯用デバイス上で動作し、低帯域幅通信接続を利用することができる。本システムは、仮想環境において第１アバターを特定し、このアバター多が再利用判断基準を満たすか否か判定を行う。この判定によって、本システムは、仮想環境において第２アバターに発生したオーディオ情報を、第１アバターに利用することが可能となる。【選択図】図１【特許請求の範囲】
【請求項１】
仮想環境のためにオーディオを用いる方法であって、
仮想環境に付随する第１アバターを特定するステップと、
第２アバターに作成したオーディオ情報に関して、オーディオ再利用判断基準を満たすか否か判定を行うステップと、
前記オーディオ再利用判断基準を満たすと判定した場合、前記第１アバターに前記オーディオ情報を再利用するステップと、
を備えている、方法。
【請求項２】
請求項１記載の方法であって、更に、前記第１アバターと第３アバターとの間の距離に基づいて、前記オーディオ情報を処理するステップを備えている、方法。
【請求項３】
請求項１または請求項２記載の方法であって、更に、前記オーディオ再利用判断基準を満たしていないと判定した場合、前記第１アバターに対して代わりのオーディオ情報を作成するステップを備えている、方法。
【請求項４】
請求項１から３までのいずれか１項に記載の方法において、前記オーディオ再利用判断基準を満たすか否か判定を行う前記ステップは、前記第１アバターが、前記オーディオ情報を、前記第３アバターが位置する仮想環境の所定の区域から発するものとして知覚できるか否か判定を行うことを含む、方法。
【請求項５】
請求項１から４までのいずれか１項に記載の方法において、前記オーディオ情報は空間オーディオ情報を備えている、方法。
【請求項６】
仮想環境のためにオーディオを用いるシステムであって、該システムは、
仮想環境に付随する第１アバターを特定するステップと、
第２アバターに作成したオーディオ情報に関して、オーディオ再利用判断基準を満たすか否か判定を行うステップと、
前記オーディオ再利用判断基準を満たすと判定した場合、前記第１アバターに前記オーディオ情報を再利用するステップと、
を実行するように構成されている処理手段を備えている、システム。
【請求項７】
請求項６記載のシステムにおいて、前記処理手段は、更に、前記第１アバターと第３アバターとの間の距離に基づいて、前記オーディオ情報を処理するステップを実行するように構成されている、システム。
【請求項８】
請求項６または請求項７記載のシステムにおいて、前記処理手段は、更に、前記オーディオ再利用判断基準を満たしていないと判定した場合、前記第１アバターに対して代わりのオーディオ情報を作成するステップを実行するように構成されている、システム。
【請求項９】
請求項６から８までのいずれか１項に記載のシステムにおいて、前記処理手段は、更に、前記オーディオ再利用判断基準を満たすか否か判定を行う前記ステップが、前記第１アバターが、前記オーディオ情報を、前記第３アバターが位置する仮想環境の所定の区域から発するものとして知覚できるか否か判定を行うことを含むように構成されている、システム。
【請求項１０】
請求項６から９までのいずれか１項に記載のシステムにおいて、前記オーディオ情報は空間オーディオ情報を備えている、システム。
【請求項１１】
計算機に、請求項１から５までのいずれか１項記載の方法を実行させるように構成されている少なくとも１つの命令を備えているコンピュータ・プログラム。
【請求項１２】
請求項１１記載のコンピュータ・プログラムを備えている、コンピュータ読み取り可能媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的には、没入型オーディオ通信(immersive audio communication)に関するものであり、仮想環境のアバターに付随する没入型オーディオ・シーン(immerisive audio scene)に特に該当するが、決してこれに限定されるのではない。
【背景技術】
【０００２】
従来より、分散型仮想環境（マルチプレーヤ・オンライン・ゲーム等）は、ユーザが互いに通信し合えるようにするために、初歩的な手段を用いていた。例えば、ある分散型仮想環境では、テキストに基づく通信を採用し、他の仮想環境では、インターネット・プロトコル技術によって単純なモノラル音声(mono voice)をサポートしている。
【０００３】
中程度または高い品質のオーディオ通信によって仮想環境を増強することにより、ユーザの仮想環境の知覚を改善できることが示唆されている。このため、分散型仮想環境にリアルタイム没入型オーディオ通信を装備するために、かなりの研究が行われている。研究の殆どは、ユーザに空間オーディオを提供して、方向および距離の感覚を伝えることを中心に据えている。即ち、オーディオ情報が、特定の方向から発するように聞こえ、ある距離を伝わってきたような感覚を伝える。
【０００４】
分散型仮想環境に没入型オーディオ通信を装備するための研究では、一般に、仮想環境のユーザが用いる計算機（デスクトップ・コンピュータ等）にはそれなりの量の処理能力があり、比較的高い帯域幅のデータ・リンクを通じて仮想環境に接続されていることを想定している。したがって、今日の没入型オーディオ通信技術は、一般に、１つ以上の中央サーバおよびユーザの計算機に跨って分散した没入型オーディオ・シーン計算を伴う。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
Nokia N-Gageや、Playstation Portableのような、近年の携帯用ワイヤレス計算デバイスの普及(uptake)は、携帯用ワイヤレス計算機を通じて仮想環境にアクセスしたい潜在的なユーザ数が増大しつつあることを意味する。これらと同等のデスクトップ型と比較すると、携帯用ワイヤレス計算機は、処理能力に限界があり、それなりに低い帯域幅のワイヤレス・リンクを通じて仮想環境に接続する。生憎、今日の没入型オーディオ通信技術は、携帯用ワイヤレス計算機（または、計算能力が比較的低いその他の計算機）を効率よくサポートするとは考えられない。何故なら、ワイヤレス計算機には、分散オーディオ・シーン計算に関与できる程の十分な処理能力がないこともあるからである。この結果、計算が集中するオーディオ・シーンの処理の多くが、仮想環境サーバに押し戻されることになる。これが基本的に意味するのは、携帯用ワイヤレス計算機をサポートして、没入型オーディオ通信を提供するには、一層強力なサーバを採用しなければならなくなる可能性があるということである。
【課題を解決するための手段】
【０００６】
本発明の第１の態様によれば、仮想環境のためにオーディオを用いる方法を提供する。この方法は、
仮想環境に付随する第１アバターを特定するステップと、
第２アバターに作成したオーディオ情報に関して、オーディオ再利用判断基準を満たすか否か判定を行うステップと、
オーディオ再利用判断基準を満たすと判定した場合、第１アバターにオーディオ情報を再利用するステップと、
を備えている。
【０００７】
この方法の利点は、既存の没入型オーディオ技術とは異なり、携帯用ワイヤレス通信デバイス（または処理能力が比較的低いその他のあらゆるデバイス）のために没入型オーディオ通信を行いやすくする潜在的可能性があることである。この利点は、本方法が、可能であれば（即ち、オーディオ再利用判断基準を満たす場合）、オーディオ情報を再利用することを伴い、これによって没入型オーディオを作成する、処理が集中するタスクを削減することができるという事実に基づいている。実施形態例として、本方法は、１つ以上の中央オーディオ・シーン作成サーバによって実行し、中央サーバのオーディオ・シーン処理要求を低減することができる。本発明とは対照的に、既存の没入型オーディオ通信技術は、オーディオ情報再利用の態様を採用せず、このため、本発明を採用するシステムよりも多くの処理リソースを必要とする。
【０００８】
好ましくは、本方法は、更に、仮想環境に付随する第１アバターと第３アバターとの間の距離に基づいて、オーディオ情報を処理するステップを備えている。
オーディオを処理するステップを実行することの利点は、再利用するオーディオ情報に距離の感覚を加えることができることである。例えば、この処理ステップは、オーディオ情報を減衰させることによって、オーディオ情報がある距離を伝搬してきたことを表すことができる。
【０００９】
好ましくは、本方法は、更に、オーディオ再利用判断基準を満たしていないと判定した場合、第１アバターに対して代わりのオーディオ情報を作成するステップを備えている。
代わりのオーディオ情報を作成することの利点は、再利用判断基準を満たさない場合に、第１アバターにオーディオを得るメカニズムを設けることである。
【００１０】
好ましくは、オーディオ再利用判断基準を満たすか否か判定を行うステップは、第１アバターが、オーディオ情報を、第３アバターが位置する仮想環境の所定の区域から発するものとして知覚できるか否か判定を行うことを含む。
【００１１】
第１アバターが、オーディオ情報を、第３アバターが位置する仮想環境の所定の区域から発するものとして知覚できるか否か判定を行うことの利点は、再利用するオーディ情報が、精度高く作成したオーディオ情報の空間的態様にそれなりに近い空間特性を有することを保証する技術を提供することであり、前述の代わりのオーディオ情報を作成するステップの間に作成できることである。
【００１２】
好ましくは、オーディオ情報は空間オーディオ情報を備えている。
本発明の第２の態様によれば、仮想環境のためにオーディオを用いるシステムを提供し、このシステムは、
仮想環境に付随する第１アバターを特定するステップと、
仮想環境に付随する第２アバターに作成したオーディオ情報に関して、オーディオ再利用判断基準を満たすか否か判定を行うステップと、そして
オーディオ再利用判断基準を満たすと判定した場合、第１アバターにオーディオ情報を再利用するステップと、
を実行するように構成されている処理手段を備えている。
【００１３】
好ましくは、処理手段は、更に、仮想環境に付随する第１アバターと第３アバターとの間の距離に基づいて、オーディオ情報を処理するステップを実行するように構成されている。
【００１４】
好ましくは、処理手段は、オーディオ再利用判断基準を満たしていないと判定した場合、第１アバターに対して代わりのオーディオ情報を作成するステップを実行するように構成されている。
【００１５】
好ましくは、処理手段は、更に、オーディオ再利用判断基準を満たすか否か判定を行うステップが、第１アバターが、オーディオ情報を、第３アバターが位置する仮想環境の所定の区域から発するものとして知覚できるか否か判定を行うことを含むように構成されている。
【００１６】
好ましくは、オーディオ情報は空間オーディオ情報を備えている。
本発明の第３の態様によれば、計算機に、第１の態様の方法を実行させるように構成されている少なくとも１つの命令を備えているコンピュータ・プログラムを提供する。
【００１７】
本発明の第４の態様によれば、第３の態様によるコンピュータ・プログラムを備えている、コンピュータ読み取り可能媒体を提供する。
【発明を実施するための最良の形態】
【００１８】
本発明の範囲に該当する実施形態が他にもあり得るが、本発明の一実施形態についてこれより、添付図面を参照して説明する。しかし、これは一例に過ぎない。
図１を参照すると、システム１００は、仮想環境システム１０２、ユーザ計算機１０４、および通信システム１０６を含む。
【００１９】
仮想環境システム１０２の主要な機能は、仮想環境についての状態情報を維持すること、および仮想環境における参加者に没入型オーディオ通信を提供することである。本発明のこの実施形態では、仮想環境は、マルチプレーヤ・オンライン・ゲームの戦場(battlefield)であり、アバターが仮想環境の参加者（即ち、ユーザ計算機１０４のユーザ）を表し、動画化した兵士の姿となっている。仮想環境システム１０２が維持する状態情報は、例えば、仮想環境におけるアバターの位置、即ち、戦場における兵士の位置を含む。
【００２０】
尚、本発明は、マルチプレーヤ・オンライン・ゲームに合わせた仮想環境およびアバターに限定されるのではないことを注記しておく。本発明は、例えば、ビジネス関連（仮想社員会議等）、または教育関連（仮想講義等）を含む範囲の仮想環境に適用することができる。
【００２１】
状態情報を維持し、没入型オーディオ通信を提供するという主要な機能を実行するために、仮想環境システム１０２は、従前のコンピュータ・ハードウェアを備えている。コンピュータ・ハードウェアは、マザーボード、中央演算装置、ランダム・アクセス・メモリ、ハード・ディスク、ネットワーク構成ハードウェア、および電源を含む。ハードウェアに加えて、仮想環境システム１０２は、オペレーティング・システム（www.redhat.comから入手可能なLinux等）を含む。オペレーティング・システムは、システム１０２のハード・ディスク上に常駐し、ソフトウェア・アプリケーションを実行することができる環境を設けるために、ハードウェアと共動する。これに関して、仮想環境システム１０２のハード・ディスクには、状態情報を維持するために仮想環境サーバ・ソフトウェア（www.idsoftware.comから入手可能なQuakeエンジン等）、そして仮想環境の参加者に没入型オーディオ通信を提供するために没入型オーディオ通信サーバ・アプリケーションがロードされている。
【００２２】
ユーザ計算機１０４は、Nokia N-GageおよびPlaystation Portableのような、携帯用ワイヤレス通信デバイスの形態となっている。しかしながら、本発明は携帯用ワイヤレス通信デバイスに限定されるのではないことは、容易に認められよう。本発明の代替実施形態では、ユーザ計算機１０４は、例えば、ラップトップまたはデスクトップ・コンピュータとすることもできることも想定している。各ユーザ計算機１０４は、従前のコンピュータ・ハードウェアを備えており、その中には、マザーボード、中央演算装置、ランダム・アクセス・メモリ、ハード・ディスク、電源、モニタ、およびユーザ情報入力（例えば、キーボード）を含む。ハードウェアに加えて、各ユーザ計算機１０４のハード・ディスクには、BlackBerryオペレーティング・システムがロードされている。オペレーティング・システムは、計算機１０４のハードウェアと双方向処理を行い、ソフトウェア・アプリケーションを実行することができる環境を設ける。これに関して、各ユーザ計算機１０４のハード・ディスクには、仮想環境クライアント・アプリケーションおよび没入型オーディオ通信クライアントがロードされている。
【００２３】
仮想環境クライアント・アプリケーションは、仮想環境についての仮想環境状態情報を、仮想環境システム１０２上にロードされている仮想環境サーバ・アプリケーションとの間で送受信するように構成されている。没入型オーディオ通信クライアントは、仮想環境システム１０２上の没入型オーディオ通信サーバとの間でオーディオ情報を送受信するように構成されている。既に記載したが、各ユーザ計算機１０４には、Nokia N-Gage向けのSymbianオペレーティング・システムのような、オペレーティング・システムがロードされている。本発明は、Symbianオペレーティング・システムに限定されるのではなく、したがって本発明は、ユーザ計算機１０４上にロードされているオペレーティング・システムが異なっていても、適用することができる。別のオペレーティング・システムには、例えば、Microsoft Windows（登録商標） XPまたはLinuxが含まれる（双方共、計算機１０４がデスクトップ・コンピュータの形態であるときに用いられるのが通例である）。
【００２４】
通信システム１０６によって、ユーザ計算機１０４の各々の仮想環境クライアント・アプリケーション、および仮想環境システム１０２の仮想環境サーバ・アプリケーションが、互いにデータ（更に具体的には、状態情報）を交換することが可能になる。また、通信システム１０６によって、ユーザ計算機１０４の各々の没入型オーディオ通信サーバ・アプリケーションおよび仮想環境システム１０２の没入型オーディオ通信サーバ・アプリケーションは、互いにデータ（更に具体的には、状態情報）を交換することが可能になる。
【００２５】
データの交換をサポートするために、通信システム１０６はユーザ計算機１０４との間でデータを送受信する移動体電話ネットワーク１０８を備えている。本発明は、移動体電話ネットワーク１０８と共に用いることに限定されるのではなく、本発明の代替実施形態は、例えば、８０２．１１系ワイヤレス・ネットワークを採用することもできる。移動体電話ネットワーク１０８に加えて、通信システム０１６は、仮想環境システム１０２との間でデータを送受信するために、インターネットのような、公衆アクセス・インターネット・プロトコルに基づくパケット交換ネットワーク１１０も備えている。移動体電話ネットワーク１０８および通信システム１０６は、通信リンク１１２を通じて互いに相互接続されている。通信リンク１１２は、高速光ファイバ・リンクの形態となっている。通信リンク１１２によって、移動体電話ネットワーク１０８およびパケット交換ネットワーク１１０間においてデータを交換することが可能となる。
【００２６】
仮想環境システム１０２およびユーザ計算機１０４が通信システム１０６を通じてデータを交換することを可能にするために、仮想環境サーバ１０２は、高速エータ・リンクの形態をなす通信リンク１１４を通じてパケット交換ネットワーク１１０に接続されている。更に、ユーザ計算機１０４は、各々、ワイヤレスＧＰＲＳリンク１１６を通じて移動体電話ネットワーク１０８に接続されている。
【００２７】
本発明の実施形態は、主に、没入型オーディオ通信の提供に関する。したがって、本実施形態の以下の説明では、ユーザ計算機１０４上にロードされている没入型オーディオ通信クライアント・アプリケーション、および仮想環境システム１０２上にロードされている没入型オーディオ通信サーバ・アプリケーションが実行する機能性を中心に据えることにする。
【００２８】
没入型音声通信クライアント・アプリケーションが実行する主な機能には２つある。第１の機能は、ユーザ計算機１０４が取り込んだオーディオ情報（例えば、ユーザの音声）を、仮想環境システム１０２上にロードされている没入型オーディオ通信サーバに転送することである。２番目の機能は、仮想環境システム１０２上にロードされている没入型オーディオ通信サーバからのオーディオ・シーン（没入型オーディオ通信情報）を受信し、このオーディオ・シーンをユーザ計算機１０４のユーザに伝えることである。オーディオ・シーンの伝達には、基本的に、スピーカまたはヘッドホンを通じてオーディオ・シーンを再生することを伴う。
【００２９】
また、仮想環境システム１０２上にロードされている没入型オーディオ通信サーバ・アプリケーションも２つの主要な機能を実行する。第１に、サーバ・アプリケーションは、没入型オーディオ通信クライアントから受信したオーディオ情報を処理して、仮想環境におけるアバターの各々に合わせてオーディオ・シーンを作成する。第２に、サーバ・アプリケーションはこのオーディオ・シーンをユーザ計算機１０４に転送する。オーディオ・シーンを作成するという第１の機能に関して、適した空間オーディオ処理アルゴリズムであればいずれでも採用できることを想定している。しかしながら、本実施形態の場合、没入型オーディオ通信サーバ・アプリケーションは、Head Related Transfer Function（ＨＲＴＦ：ヘッド関連転送機能）アルゴリズムを用いるように構成されており、その詳細は、"3-D Sound for Virtual Reality and Multimedia"と題する文献に明記されている。この文献は、Academic Press Professional, Cambridge, MA, USA, 1994に載っており、Durand R. Begaultの著作である。
【００３０】
ヘッド関連転送機能を実行することに加えて、没入型オーディオ通信サーバ・アプリケーションは、オーディオ・シーン再利用アルゴリズムを実行するように構成されている。オーディオ・シーン再利用アルゴリズムの目的は、没入型オーディオ・サーバ・アプリケーションが実行するヘッド関連転送機能動作を潜在的に最小限に抑え、これによってオーディオ・シーンを作成するために必要な処理リソースを最小限に抑えることである。この再利用アルゴリズムによって、仮想環境用没入型オーディオを有する低処理能力デバイス（ワイヤレス形態用計算機等）をサポートするのに、本発明を本質的に相応しくする。以下の説明では、図２を参照しながらオーディオ・シーン再利用アルゴリズムについて記載する。図２は、３つのアバターＡ１、Ａ２、およびＡ３を含む仮想環境を表す。これらのアバターの全ては同じ絶対方向（例えば、北）を向いている。この仮定は、本発明の実施形態のこの説明を簡素化するために行った。しかしながら、実際には、アバターは別々の方向を向いていてもよい。
【００３１】
再利用の一例を図２に示す。図２（ａ）は、既存の没入型オーディオ通信技術が、アバターＡ１からのリアルタイムの発話をＡ２およびＡ３のオーディオ・シーン内に正確に定位した(place)結果を示す。これには、２つの空間定位動作が必要であり、２回の別々のヘッド関連変換機能の計算を、リスナＡ１およびＡ３毎に１回ずつ、伴う。精度高い定位を行うには、特に、多くのアバターが関与する場合、計算が集中する可能性がある。対照的に、図２（ｂ）は、再利用アルゴリズムの結果を示す。ヘッド関連転送機能を用いて、Ａ１が精度高くＡ３のオーディオ・シーンに伝えられている。Ａ３のオーディオ・シーンは、アバターＡ２のオーディオ・シーンとして再利用される。その結果、Ａ２は、Ａ１がＡ１’から来ているかのように、Ａ１を精度低く聞くことになる。また、Ａ３よりもＡ１から離れているので、再利用されるオーディオ・シーンを減衰させる。この再利用の状況に対するコストは、１回の空間定位動作（即ち、１回のヘッド関連転送機能）、および１回の減衰動作である。
【００３２】
尚、再利用アルゴリズムは、図２（ｂ）に記載する状況では、再利用するオーディオ・シーンの数が増加する可能性がある場合、再利用するオーディオ・シーンの精度が低すぎることがないことを条件に、アルゴリズムはＡ２およびＡ３双方に対してＡ１を精度低く伝える（すなわち、オーディオ・シーンを再利用する）可能性があることを注記しておく。
【００３３】
再利用アルゴリズムは、単純に、オーディオ・シーンを区別なく再利用するのではない。オーディオ・シーンを再利用する前に、再利用アルゴリズムは、オーディオ再利用判断基準を満たしているか否か判定を行う。これに関して、本発明のこの実施形態は、再利用判断基準として、角度誤差の概念を用いる。図２（ｂ）を参照すると、角度誤差は、アバターＡ１からアバターＡ２およびＡ３に向かって延びるベクトルによって定義される。再利用アルゴリズムは、これらのベクトルによって定義される角度が既定の角度（「角度誤差」とも呼ぶ）以下である場合に、Ａ３のオーディオ・シーンをＡ２に用いるようにしている。
【００３４】
尚、再利用判断基準は、前述した角度誤差の概念に限定されるのではないことを注記しておく。本発明の代替実施形態では、再利用判断基準は、アバター間の距離に基づくことができる。あるいは、角度誤差の概念を固定しなくてもよく、例えば、ある距離（例えば、１０ｍ）以内にあるアバターについては比較的小さな角度誤差とし、この距離よりも離れているアバターについてはそれよりも大きな角度誤差とすることもできる。
【００３５】
没入型オーディオ・サーバ・アプリケーションが実行する機能を、更に形式的に説明すると、次のようになる。
Ｎ個のアバター（Ａ１、Ａ２、．．．Ａｎ）がある仮想世界を想定し、各々をクライアント（Ｃ２、Ｃ２、．．．ＣＮ）によって制御することとする。オーディオ・サンプル（Ｖｉ）をこれらのクライアントの各々から受信する。
【００３６】
１．発話しているアバターの集合を計算する。各アバター（ｉ）は、この集合を聞いて、Ｓｉに定位させることができる。
２．各集合Ｓｉが空になるまで、または処理の限界に達するまで繰り返す。
ａ．Ｆｏｒ  ｉ＝１〜Ｎ
ｉ．集合Ｓｉにおける最も近い話者（Ａｊ）を求める。
ｉｉ．アバターｉの視点から空間化(spatialised)したバージョンのＡｊからのオーディオ（Ｈｊｉ）が前回許容誤差以内で計算されていない場合(If)、
１．アバターＡｉの視点から精度高く伝えたアバターＡｊからのオーディオＶｊの空間化したバージョンＨｊｉを作成する。
２．Ｈｊｉの重み付けしたコピーを、集合Ｒｉに加算する。集合Ｒｉは、リスナｉのためにオーディオ・シーンにおいて伝えたオブジェクトの集合である。適用する重み付けは、仮想世界におけるｉおよびｊ間の相対的距離の関数である。
ｉｉｉ．それ以外の場合(Else)
１．容認可能な誤差以内であり伝えたオブジェクトＨｊｉの重み付けしたコピーを集合Ｒｉに加算する。適用する重み付けは、仮想世界におけるｉおよびｊ間の相対的距離の関数である。
ｉｖ．集合ＳｉからＡｊを除去する。
ｂ．  ループの終了
３．繰り返しの終了
【００３７】
没入型オーディオ・サーバは、いかにして、既存の没入型オーディオ技法よりも低い処理能力で済ませるのか、その一例として、以下の例を考える。この例では、容認可能な角度誤差が、リスナから０および１０メートルの間では、１０度であり、１０メートルから各アバターの聞き取り範囲の縁部まででは３０度である。図３に示す仮想世界を用いて、全てのアバターが互いに聞き取ることができ、各アバターの周囲を囲む円は、半径が１０ｍである。先の再利用アルゴリズムの形式的定義を全て纏めると次のようになる。
【００３８】
Ａ１は、Ａ２の精度高い伝達を要求する（Ｈ２、１）。
Ａ２は、Ａ１の精度高い伝達を要求する（Ｈ１、２）。
Ａ３は、Ａ２の精度高い伝達を要求する（Ｈ２、３）。
Ａ１は、Ａ３の精度高い伝達を要求する（Ｈ３、１）。
Ａ２は、Ｈ３、１を再利用することができる。何故なら、生ずる角度誤差が３０度未満であるからである。
Ａ３は、Ｈ１，２を再利用することができる。何故なら、生ずる角度誤差が３０度未満であるからである。
再利用メカニズムを用いると、サーバにおいて必要な伝達計算の回数が６回（既存の技法を用いた場合）から４回に減少する。
【００３９】
尚、本発明の実施形態は、仮想環境をサポートするために用いる場合について説明したが、本発明は、仮想環境で用いることに限定されるのではないことは容易に認められよう。したがって、本発明は、例えば、オーディオのみの会議システムとして用いるための没入型オーディオ・システムのみを設けるためにも用いることができる。
【００４０】
以上、本実施形態を参照しながら発明を説明したが、本発明の範囲から逸脱することなく、変形、変更および改良も可能であり、その要素およびそのステップを同等物で置き換えることも可能であることは当業者には言外である。加えて、本発明の中心的な範囲から逸脱することなく、本発明を特定の状況または素材に適合させるために、発明の教示に対して多くの修正を加えることもできる。このような変形、変更、修正、および改良は、以上では明示的には記載しなかったが、本発明の範囲および主旨に該当することを意図し、それを含意するものとする。したがって、本発明はここに記載した特定的な実施形態に限定されるのではなく、独立請求項の範囲に該当する実施形態を全て含むことを意図するものとする。
【図面の簡単な説明】
【００４１】
【図１】図１は、本発明の一実施形態を含むシステムを示す。
【図２（ａ）】図２（ａ）は、既存の没入型オーディオ技法が用いる技法を示す。
【図２（ｂ）】図２（ｂ）は、本発明の一実施形態にしたがって没入型オーディオを作成するための図１のシステムによる技法を示す。
【図３】図３は、図１のシステムを適用する仮想環境の図である。
【図１】
2008547290.tif 000002
【図２（ａ）】
2008547290.tif 000003
【図２（ｂ）】
2008547290.tif 000004
【図３】
2008547290.tif 000005
【手続補正書】
【提出日】平成19年10月17日(2007.10.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
仮想環境のためにオーディオを用いる方法であって、
仮想環境に付随する第１アバターを特定するステップと、
第２アバターに作成した、伝えたオーディオ情報に関して、オーディオ再利用判断基準を満たすか否か判定を行うステップと、
前記オーディオ再利用判断基準を満たすと判定した場合、前記伝えたオーディオ情報を前記第１アバターに再利用するステップと、
を備えている、方法。
【請求項２】
請求項１記載の方法であって、更に、前記第１アバターと第３アバターとの間の距離に基づいて、前記オーディオ情報を処理するステップを備えている、方法。
【請求項３】
請求項１または請求項２記載の方法であって、更に、前記オーディオ再利用判断基準を満たしていないと判定した場合、前記第１アバターに対して代わりのオーディオ情報を作成するステップを備えている、方法。
【請求項４】
請求項１から３までのいずれか１項に記載の方法において、前記オーディオ再利用判断基準を満たすか否か判定を行う前記ステップは、前記第１アバターが、前記オーディオ情報を、前記第３アバターが位置する仮想環境の所定の区域から発するものとして知覚できるか否か判定を行うことを含む、方法。
【請求項５】
請求項１から４までのいずれか１項に記載の方法において、前記オーディオ情報は空間オーディオ情報を備えている、方法。
【請求項６】
仮想環境のためにオーディオを用いるシステムであって、該システムは、
仮想環境に付随する第１アバターを特定するステップと、
第２アバターに作成して、伝えたオーディオ情報に関して、オーディオ再利用判断基準を満たすか否か判定を行うステップと、
前記オーディオ再利用判断基準を満たすと判定した場合、前記伝えたオーディオ情報を前記第１アバターに再利用するステップと、
を実行するように構成されている処理手段を備えている、システム。
【請求項７】
請求項６記載のシステムにおいて、前記処理手段は、更に、前記第１アバターと第３アバターとの間の距離に基づいて、前記オーディオ情報を処理するステップを実行するように構成されている、システム。
【請求項８】
請求項６または請求項７記載のシステムにおいて、前記処理手段は、更に、前記オーディオ再利用判断基準を満たしていないと判定した場合、前記第１アバターに対して代わりのオーディオ情報を作成するステップを実行するように構成されている、システム。
【請求項９】
請求項６から８までのいずれか１項に記載のシステムにおいて、前記処理手段は、前記オーディオ再利用判断基準を満たすか否か判定を行う前記ステップが、前記第１アバターが、前記オーディオ情報を、前記第３アバターが位置する前記仮想環境の所定の区域から発するものとして知覚できるか否か判定を行うことを含むように構成されている、システム。
【請求項１０】
請求項６から９までのいずれか１項に記載のシステムにおいて、前記オーディオ情報は空間オーディオ情報を備えている、システム。
【手続補正書】
【提出日】平成20年8月12日(2008.8.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
仮想環境のためにオーディオを用いる方法であって、
仮想環境に付随する第１アバターを特定するステップと、
第２アバターに対して作成した、レンダリングされたオーディオ情報に関して、オーディオ再利用判断基準を満たすか否か判定を行うステップと、
前記オーディオ再利用判断基準を満たすと判定した場合、前記レンダリングされたオーディオ情報を前記第１アバターに再利用するステップと、
を備えている、方法。
【請求項２】
請求項１記載の方法であって、更に、前記第１アバターと第３アバターとの間の距離に基づいて、前記オーディオ情報を処理するステップを備えている、方法。
【請求項３】
請求項１または請求項２記載の方法であって、更に、前記オーディオ再利用判断基準を満たしていないと判定した場合、前記第１アバターに対して代わりのオーディオ情報を作成するステップを備えている、方法。
【請求項４】
請求項１から３までのいずれか１項に記載の方法において、前記オーディオ再利用判断基準を満たすか否か判定を行う前記ステップは、前記第１アバターが、前記オーディオ情報を、前記第３アバターが位置する仮想環境の所定の区域から発するものとして知覚できるか否か判定を行うことを含む、方法。
【請求項５】
請求項１から４までのいずれか１項に記載の方法において、前記オーディオ情報は空間オーディオ情報を備えている、方法。
【請求項６】
仮想環境のためにオーディオを用いるシステムであって、該システムは、
仮想環境に付随する第１アバターを特定するステップと、
第２アバターに対して作成した、レンダリングされたオーディオ情報に関して、オーディオ再利用判断基準を満たすか否か判定を行うステップと、
前記オーディオ再利用判断基準を満たすと判定した場合、前記レンダリングされたオーディオ情報を前記第１アバターに再利用するステップと、
を実行するように構成されている処理手段を備えている、システム。
【請求項７】
請求項６記載のシステムにおいて、前記処理手段は、更に、前記第１アバターと第３アバターとの間の距離に基づいて、前記オーディオ情報を処理するステップを実行するように構成されている、システム。
【請求項８】
請求項６または請求項７記載のシステムにおいて、前記処理手段は、更に、前記オーディオ再利用判断基準を満たしていないと判定した場合、前記第１アバターに対して代わりのオーディオ情報を作成するステップを実行するように構成されている、システム。
【請求項９】
請求項６から８までのいずれか１項に記載のシステムにおいて、前記処理手段は、前記オーディオ再利用判断基準を満たすか否か判定を行う前記ステップが、前記第１アバターが、前記オーディオ情報を、前記第３アバターが位置する仮想環境の所定の区域から発するものとして知覚できるか否か判定を行うことを含むように構成されている、システム。
【請求項１０】
請求項６から９までのいずれか１項に記載のシステムにおいて、前記オーディオ情報は空間オーディオ情報を備えている、システム。
【請求項１１】
計算機に、請求項１から５までのいずれか１項記載の方法を実行させるように構成されている少なくとも１つの命令を備えているコンピュータ・プログラム。
【請求項１２】
請求項１１記載のコンピュータ・プログラムを備えている、コンピュータ読み取り可能媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的には、没入型オーディオ通信(immersive audio communication)に関
するものであり、仮想環境のアバターに付随する没入型オーディオ・シーン(immerisive audio scene)に特に該当するが、決してこれに限定されるのではない。
【背景技術】
【０００２】
従来より、分散型仮想環境（マルチプレーヤ・オンライン・ゲーム等）は、ユーザが互いに通信し合えるようにするために、初歩的な手段を用いていた。例えば、ある分散型仮想環境では、テキストに基づく通信を採用し、他の仮想環境では、インターネット・プロトコル技術によって単純なモノラル音声(mono voice)をサポートしている。
【０００３】
中程度または高い品質のオーディオ通信によって仮想環境を増強することにより、ユーザの仮想環境の知覚を改善できることが示唆されている。このため、分散型仮想環境にリアルタイム没入型オーディオ通信を装備するために、かなりの研究が行われている。研究の殆どは、ユーザに空間オーディオを提供して、方向および距離の感覚を伝えることを中心に据えている。即ち、オーディオ情報が、特定の方向から発するように聞こえ、ある距離を伝わってきたような感覚を伝える。
【０００４】
分散型仮想環境に没入型オーディオ通信を装備するための研究では、一般に、仮想環境のユーザが用いる計算機（デスクトップ・コンピュータ等）にはそれなりの量の処理能力があり、比較的高い帯域幅のデータ・リンクを通じて仮想環境に接続されていることを想定している。したがって、今日の没入型オーディオ通信技術は、一般に、１つ以上の中央サーバおよびユーザの計算機に跨って分散した没入型オーディオ・シーン計算を伴う。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
Nokia N-Gageや、Playstation Portableのような、近年の携帯用ワイヤレス計算デバイスの普及(uptake)は、携帯用ワイヤレス計算機を通じて仮想環境にアクセスしたい潜在的なユーザ数が増大しつつあることを意味する。これらと同等のデスクトップ型と比較すると、携帯用ワイヤレス計算機は、処理能力に限界があり、それなりに低い帯域幅のワイヤレス・リンクを通じて仮想環境に接続する。生憎、今日の没入型オーディオ通信技術は、携帯用ワイヤレス計算機（または、計算能力が比較的低いその他の計算機）を効率よくサポートするとは考えられない。何故なら、ワイヤレス計算機には、分散オーディオ・シーン計算に関与できる程の十分な処理能力がないこともあるからである。この結果、計算が集中するオーディオ・シーンの処理の多くが、仮想環境サーバに押し戻されることになる。これが基本的に意味するのは、携帯用ワイヤレス計算機をサポートして、没入型オーディオ通信を提供するには、一層強力なサーバを採用しなければならなくなる可能性があるということである。
【課題を解決するための手段】
【０００６】
本発明の第１の態様によれば、仮想環境のためにオーディオを用いる方法を提供する。この方法は、
仮想環境に付随する第１アバターを特定するステップと、
第２アバターに作成したオーディオ情報に関して、オーディオ再利用判断基準を満たすか否か判定を行うステップと、
オーディオ再利用判断基準を満たすと判定した場合、第１アバターにオーディオ情報を再利用するステップと、
を備えている。
【０００７】
この方法の利点は、既存の没入型オーディオ技術とは異なり、携帯用ワイヤレス通信デバイス（または処理能力が比較的低いその他のあらゆるデバイス）のために没入型オーディオ通信を行いやすくする潜在的可能性があることである。この利点は、本方法が、可能であれば（即ち、オーディオ再利用判断基準を満たす場合）、オーディオ情報を再利用することを伴い、これによって没入型オーディオを作成する、処理が集中するタスクを削減することができるという事実に基づいている。実施形態例として、本方法は、１つ以上の中央オーディオ・シーン作成サーバによって実行し、中央サーバのオーディオ・シーン処理要求を低減することができる。本発明とは対照的に、既存の没入型オーディオ通信技術は、オーディオ情報再利用の態様を採用せず、このため、本発明を採用するシステムよりも多くの処理リソースを必要とする。
【０００８】
好ましくは、本方法は、更に、仮想環境に付随する第１アバターと第３アバターとの間の距離に基づいて、オーディオ情報を処理するステップを備えている。
オーディオを処理するステップを実行することの利点は、再利用するオーディオ情報に距離の感覚を加えることができることである。例えば、この処理ステップは、オーディオ情報を減衰させることによって、オーディオ情報がある距離を伝搬してきたことを表すことができる。
【０００９】
好ましくは、本方法は、更に、オーディオ再利用判断基準を満たしていないと判定した場合、第１アバターに対して代わりのオーディオ情報を作成するステップを備えている。
代わりのオーディオ情報を作成することの利点は、再利用判断基準を満たさない場合に、第１アバターにオーディオを得るメカニズムを設けることである。
【００１０】
好ましくは、オーディオ再利用判断基準を満たすか否か判定を行うステップは、第１アバターが、オーディオ情報を、第３アバターが位置する仮想環境の所定の区域から発するものとして知覚できるか否か判定を行うことを含む。
【００１１】
第１アバターが、オーディオ情報を、第３アバターが位置する仮想環境の所定の区域から発するものとして知覚できるか否か判定を行うことの利点は、再利用するオーディ情報が、精度高く作成したオーディオ情報の空間的態様にそれなりに近い空間特性を有することを保証する技術を提供することであり、前述の代わりのオーディオ情報を作成するステップの間に作成できることである。
【００１２】
好ましくは、オーディオ情報は空間オーディオ情報を備えている。
本発明の第２の態様によれば、仮想環境のためにオーディオを用いるシステムを提供し、このシステムは、
仮想環境に付随する第１アバターを特定するステップと、
仮想環境に付随する第２アバターに作成したオーディオ情報に関して、オーディオ再利用判断基準を満たすか否か判定を行うステップと、そして
オーディオ再利用判断基準を満たすと判定した場合、第１アバターにオーディオ情報を再利用するステップと、
を実行するように構成されている処理手段を備えている。
【００１３】
好ましくは、処理手段は、更に、仮想環境に付随する第１アバターと第３アバターとの間の距離に基づいて、オーディオ情報を処理するステップを実行するように構成されている。
【００１４】
好ましくは、処理手段は、オーディオ再利用判断基準を満たしていないと判定した場合
、第１アバターに対して代わりのオーディオ情報を作成するステップを実行するように構成されている。
【００１５】
好ましくは、処理手段は、更に、オーディオ再利用判断基準を満たすか否か判定を行うステップが、第１アバターが、オーディオ情報を、第３アバターが位置する仮想環境の所定の区域から発するものとして知覚できるか否か判定を行うことを含むように構成されている。
【００１６】
好ましくは、オーディオ情報は空間オーディオ情報を備えている。
本発明の第３の態様によれば、計算機に、第１の態様の方法を実行させるように構成されている少なくとも１つの命令を備えているコンピュータ・プログラムを提供する。
【００１７】
本発明の第４の態様によれば、第３の態様によるコンピュータ・プログラムを備えている、コンピュータ読み取り可能媒体を提供する。
【発明を実施するための最良の形態】
【００１８】
本発明の範囲に該当する実施形態が他にもあり得るが、本発明の一実施形態についてこれより、添付図面を参照して説明する。しかし、これは一例に過ぎない。
図１を参照すると、システム１００は、仮想環境システム１０２、ユーザ計算機１０４、および通信システム１０６を含む。
【００１９】
仮想環境システム１０２の主要な機能は、仮想環境についての状態情報を維持すること、および仮想環境における参加者に没入型オーディオ通信を提供することである。本発明のこの実施形態では、仮想環境は、マルチプレーヤ・オンライン・ゲームの戦場(battlefield)であり、アバターが仮想環境の参加者（即ち、ユーザ計算機１０４のユーザ）を表
し、動画化した兵士の姿となっている。仮想環境システム１０２が維持する状態情報は、例えば、仮想環境におけるアバターの位置、即ち、戦場における兵士の位置を含む。
【００２０】
尚、本発明は、マルチプレーヤ・オンライン・ゲームに合わせた仮想環境およびアバターに限定されるのではないことを注記しておく。本発明は、例えば、ビジネス関連（仮想社員会議等）、または教育関連（仮想講義等）を含む範囲の仮想環境に適用することができる。
【００２１】
状態情報を維持し、没入型オーディオ通信を提供するという主要な機能を実行するために、仮想環境システム１０２は、従前のコンピュータ・ハードウェアを備えている。コンピュータ・ハードウェアは、マザーボード、中央演算装置、ランダム・アクセス・メモリ、ハード・ディスク、ネットワーク構成ハードウェア、および電源を含む。ハードウェアに加えて、仮想環境システム１０２は、オペレーティング・システム（www.redhat.comから入手可能なLinux等）を含む。オペレーティング・システムは、システム１０２のハー
ド・ディスク上に常駐し、ソフトウェア・アプリケーションを実行することができる環境を設けるために、ハードウェアと共動する。これに関して、仮想環境システム１０２のハード・ディスクには、状態情報を維持するために仮想環境サーバ・ソフトウェア（www.idsoftware.comから入手可能なQuakeエンジン等）、そして仮想環境の参加者に没入型オー
ディオ通信を提供するために没入型オーディオ通信サーバ・アプリケーションがロードされている。
【００２２】
ユーザ計算機１０４は、Nokia N-GageおよびPlaystation Portableのような、携帯用ワイヤレス通信デバイスの形態となっている。しかしながら、本発明は携帯用ワイヤレス通信デバイスに限定されるのではないことは、容易に認められよう。本発明の代替実施形態では、ユーザ計算機１０４は、例えば、ラップトップまたはデスクトップ・コンピュータ
とすることもできることも想定している。各ユーザ計算機１０４は、従前のコンピュータ・ハードウェアを備えており、その中には、マザーボード、中央演算装置、ランダム・アクセス・メモリ、ハード・ディスク、電源、モニタ、およびユーザ情報入力（例えば、キーボード）を含む。ハードウェアに加えて、各ユーザ計算機１０４のハード・ディスクには、BlackBerryオペレーティング・システムがロードされている。オペレーティング・システムは、計算機１０４のハードウェアと双方向処理を行い、ソフトウェア・アプリケーションを実行することができる環境を設ける。これに関して、各ユーザ計算機１０４のハード・ディスクには、仮想環境クライアント・アプリケーションおよび没入型オーディオ通信クライアントがロードされている。
【００２３】
仮想環境クライアント・アプリケーションは、仮想環境についての仮想環境状態情報を、仮想環境システム１０２上にロードされている仮想環境サーバ・アプリケーションとの間で送受信するように構成されている。没入型オーディオ通信クライアントは、仮想環境システム１０２上の没入型オーディオ通信サーバとの間でオーディオ情報を送受信するように構成されている。既に記載したが、各ユーザ計算機１０４には、Nokia N-Gage向けのSymbianオペレーティング・システムのような、オペレーティング・システムがロードさ
れている。本発明は、Symbianオペレーティング・システムに限定されるのではなく、し
たがって本発明は、ユーザ計算機１０４上にロードされているオペレーティング・システムが異なっていても、適用することができる。別のオペレーティング・システムには、例えば、Microsoft Windows（登録商標） XPまたはLinuxが含まれる（双方共、計算機１０
４がデスクトップ・コンピュータの形態であるときに用いられるのが通例である）。
【００２４】
通信システム１０６によって、ユーザ計算機１０４の各々の仮想環境クライアント・アプリケーション、および仮想環境システム１０２の仮想環境サーバ・アプリケーションが、互いにデータ（更に具体的には、状態情報）を交換することが可能になる。また、通信システム１０６によって、ユーザ計算機１０４の各々の没入型オーディオ通信サーバ・アプリケーションおよび仮想環境システム１０２の没入型オーディオ通信サーバ・アプリケーションは、互いにデータ（更に具体的には、状態情報）を交換することが可能になる。
【００２５】
データの交換をサポートするために、通信システム１０６はユーザ計算機１０４との間でデータを送受信する移動体電話ネットワーク１０８を備えている。本発明は、移動体電話ネットワーク１０８と共に用いることに限定されるのではなく、本発明の代替実施形態は、例えば、８０２．１１系ワイヤレス・ネットワークを採用することもできる。移動体電話ネットワーク１０８に加えて、通信システム０１６は、仮想環境システム１０２との間でデータを送受信するために、インターネットのような、公衆アクセス・インターネット・プロトコルに基づくパケット交換ネットワーク１１０も備えている。移動体電話ネットワーク１０８および通信システム１０６は、通信リンク１１２を通じて互いに相互接続されている。通信リンク１１２は、高速光ファイバ・リンクの形態となっている。通信リンク１１２によって、移動体電話ネットワーク１０８およびパケット交換ネットワーク１１０間においてデータを交換することが可能となる。
【００２６】
仮想環境システム１０２およびユーザ計算機１０４が通信システム１０６を通じてデータを交換することを可能にするために、仮想環境サーバ１０２は、高速エータ・リンクの形態をなす通信リンク１１４を通じてパケット交換ネットワーク１１０に接続されている。更に、ユーザ計算機１０４は、各々、ワイヤレスＧＰＲＳリンク１１６を通じて移動体電話ネットワーク１０８に接続されている。
【００２７】
本発明の実施形態は、主に、没入型オーディオ通信の提供に関する。したがって、本実施形態の以下の説明では、ユーザ計算機１０４上にロードされている没入型オーディオ通信クライアント・アプリケーション、および仮想環境システム１０２上にロードされてい
る没入型オーディオ通信サーバ・アプリケーションが実行する機能性を中心に据えることにする。
【００２８】
没入型音声通信クライアント・アプリケーションが実行する主な機能には２つある。第１の機能は、ユーザ計算機１０４が取り込んだオーディオ情報（例えば、ユーザの音声）を、仮想環境システム１０２上にロードされている没入型オーディオ通信サーバに転送することである。２番目の機能は、仮想環境システム１０２上にロードされている没入型オーディオ通信サーバからのオーディオ・シーン（没入型オーディオ通信情報）を受信し、このオーディオ・シーンをユーザ計算機１０４のユーザにレンダリングすることである。オーディオ・シーンのレンダリングには、基本的に、スピーカまたはヘッドホンを通じてオーディオ・シーンを再生することを伴う。
【００２９】
また、仮想環境システム１０２上にロードされている没入型オーディオ通信サーバ・アプリケーションも２つの主要な機能を実行する。第１に、サーバ・アプリケーションは、没入型オーディオ通信クライアントから受信したオーディオ情報を処理して、仮想環境におけるアバターの各々に合わせてオーディオ・シーンを作成する。第２に、サーバ・アプリケーションはこのオーディオ・シーンをユーザ計算機１０４に転送する。オーディオ・シーンを作成するという第１の機能に関して、適した空間オーディオ処理アルゴリズムであればいずれでも採用できることを想定している。しかしながら、本実施形態の場合、没入型オーディオ通信サーバ・アプリケーションは、Head Related Transfer Function（ＨＲＴＦ：ヘッド関連転送機能）アルゴリズムを用いるように構成されており、その詳細は、"3-D Sound for Virtual Reality and Multimedia"と題する文献に明記されている。この文献は、Academic Press Professional, Cambridge, MA, USA, 1994に載っており、Durand R. Begaultの著作である。
【００３０】
ヘッド関連転送機能を実行することに加えて、没入型オーディオ通信サーバ・アプリケーションは、オーディオ・シーン再利用アルゴリズムを実行するように構成されている。オーディオ・シーン再利用アルゴリズムの目的は、没入型オーディオ・サーバ・アプリケーションが実行するヘッド関連転送機能動作を潜在的に最小限に抑え、これによってオーディオ・シーンを作成するために必要な処理リソースを最小限に抑えることである。この再利用アルゴリズムによって、仮想環境用没入型オーディオを有する低処理能力デバイス（ワイヤレス形態用計算機等）をサポートするのに、本発明を本質的に相応しくする。以下の説明では、図２を参照しながらオーディオ・シーン再利用アルゴリズムについて記載する。図２は、３つのアバターＡ１、Ａ２、およびＡ３を含む仮想環境を表す。これらのアバターの全ては同じ絶対方向（例えば、北）を向いている。この仮定は、本発明の実施形態のこの説明を簡素化するために行った。しかしながら、実際には、アバターは別々の方向を向いていてもよい。
【００３１】
再利用の一例を図２に示す。図２（ａ）は、既存の没入型オーディオ通信技術が、アバターＡ１からのリアルタイムの発話をＡ２およびＡ３のオーディオ・シーン内に正確に定位した(place)結果を示す。これには、２つの空間定位動作が必要であり、２回の別々の
ヘッド関連変換機能の計算を、リスナＡ１およびＡ３毎に１回ずつ、伴う。精度高い定位を行うには、特に、多くのアバターが関与する場合、計算が集中する可能性がある。対照的に、図２（ｂ）は、再利用アルゴリズムの結果を示す。ヘッド関連転送機能を用いて、Ａ１が精度高くＡ３のオーディオ・シーンにりんだリングされている。Ａ３のオーディオ・シーンは、アバターＡ２のオーディオ・シーンとして再利用される。その結果、Ａ２は、Ａ１がＡ１’から来ているかのように、Ａ１を精度低く聞くことになる。また、Ａ３よりもＡ１から離れているので、再利用されるオーディオ・シーンを減衰させる。この再利用の状況に対するコストは、１回の空間定位動作（即ち、１回のヘッド関連転送機能）、および１回の減衰動作である。
【００３２】
尚、再利用アルゴリズムは、図２（ｂ）に記載する状況では、再利用するオーディオ・シーンの数が増加する可能性がある場合、再利用するオーディオ・シーンの精度が低すぎることがないことを条件に、アルゴリズムはＡ２およびＡ３双方に対してＡ１を精度低くレンダリングする（すなわち、オーディオ・シーンを再利用する）可能性があることを注記しておく。
【００３３】
再利用アルゴリズムは、単純に、オーディオ・シーンを区別なく再利用するのではない。オーディオ・シーンを再利用する前に、再利用アルゴリズムは、オーディオ再利用判断基準を満たしているか否か判定を行う。これに関して、本発明のこの実施形態は、再利用判断基準として、角度誤差の概念を用いる。図２（ｂ）を参照すると、角度誤差は、アバターＡ１からアバターＡ２およびＡ３に向かって延びるベクトルによって定義される。再利用アルゴリズムは、これらのベクトルによって定義される角度が既定の角度（「角度誤差」とも呼ぶ）以下である場合に、Ａ３のオーディオ・シーンをＡ２に用いるようにしている。
【００３４】
尚、再利用判断基準は、前述した角度誤差の概念に限定されるのではないことを注記しておく。本発明の代替実施形態では、再利用判断基準は、アバター間の距離に基づくことができる。あるいは、角度誤差の概念を固定しなくてもよく、例えば、ある距離（例えば、１０ｍ）以内にあるアバターについては比較的小さな角度誤差とし、この距離よりも離れているアバターについてはそれよりも大きな角度誤差とすることもできる。
【００３５】
没入型オーディオ・サーバ・アプリケーションが実行する機能を、更に形式的に説明すると、次のようになる。
Ｎ個のアバター（Ａ１、Ａ２、．．．Ａｎ）がある仮想世界を想定し、各々をクライアント（Ｃ２、Ｃ２、．．．ＣＮ）によって制御することとする。オーディオ・サンプル（Ｖｉ）をこれらのクライアントの各々から受信する。
【００３６】
１．発話しているアバターの集合を計算する。各アバター（ｉ）は、この集合を聞いて、Ｓｉに定位させることができる。
２．各集合Ｓｉが空になるまで、または処理の限界に達するまで繰り返す。
ａ．Ｆｏｒ  ｉ＝１〜Ｎ
ｉ．集合Ｓｉにおける最も近い話者（Ａｊ）を求める。
ｉｉ．アバターｉの視点から空間化(spatialised)したバージョンのＡｊからのオー
ディオ（Ｈｊｉ）が前回許容誤差以内で計算されていない場合(If)、
１．アバターＡｉの視点から精度高くレンダリングしたアバターＡｊからのオーディオＶｊの空間化したバージョンＨｊｉを作成する。
２．Ｈｊｉの重み付けしたコピーを、集合Ｒｉに加算する。集合Ｒｉは、リスナｉのためにオーディオ・シーンにおいてレンダリングしたオブジェクトの集合である。適用する重み付けは、仮想世界におけるｉおよびｊ間の相対的距離の関数である。
ｉｉｉ．それ以外の場合(Else)
１．容認可能な誤差以内でありレンダリングしたオブジェクトＨｊｉの重み付けしたコピーを集合Ｒｉに加算する。適用する重み付けは、仮想世界におけるｉおよびｊ間の相対的距離の関数である。
ｉｖ．集合ＳｉからＡｊを除去する。
ｂ．  ループの終了
３．繰り返しの終了
【００３７】
没入型オーディオ・サーバは、いかにして、既存の没入型オーディオ技法よりも低い処理能力で済ませるのか、その一例として、以下の例を考える。この例では、容認可能な角
度誤差が、リスナから０および１０メートルの間では、１０度であり、１０メートルから各アバターの聞き取り範囲の縁部まででは３０度である。図３に示す仮想世界を用いて、全てのアバターが互いに聞き取ることができ、各アバターの周囲を囲む円は、半径が１０ｍである。先の再利用アルゴリズムの形式的定義を全て纏めると次のようになる。
【００３８】
Ａ１は、Ａ２の精度高いレンダリングを要求する（Ｈ２、１）。
Ａ２は、Ａ１の精度高いレンダリングを要求する（Ｈ１、２）。
Ａ３は、Ａ２の精度高いレンダリングを要求する（Ｈ２、３）。
Ａ１は、Ａ３の精度高いレンダリングを要求する（Ｈ３、１）。
Ａ２は、Ｈ３、１を再利用することができる。何故なら、生ずる角度誤差が３０度未満であるからである。
Ａ３は、Ｈ１，２を再利用することができる。何故なら、生ずる角度誤差が３０度未満であるからである。
再利用メカニズムを用いると、サーバにおいて必要なレンダリング計算の回数が６回（既存の技法を用いた場合）から４回に減少する。
【００３９】
尚、本発明の実施形態は、仮想環境をサポートするために用いる場合について説明したが、本発明は、仮想環境で用いることに限定されるのではないことは容易に認められよう。したがって、本発明は、例えば、オーディオのみの会議システムとして用いるための没入型オーディオ・システムのみを設けるためにも用いることができる。
【００４０】
以上、本実施形態を参照しながら発明を説明したが、本発明の範囲から逸脱することなく、変形、変更および改良も可能であり、その要素およびそのステップを同等物で置き換えることも可能であることは当業者には言外である。加えて、本発明の中心的な範囲から逸脱することなく、本発明を特定の状況または素材に適合させるために、発明の教示に対して多くの修正を加えることもできる。このような変形、変更、修正、および改良は、以上では明示的には記載しなかったが、本発明の範囲および主旨に該当することを意図し、それを含意するものとする。したがって、本発明はここに記載した特定的な実施形態に限定されるのではなく、独立請求項の範囲に該当する実施形態を全て含むことを意図するものとする。
【図面の簡単な説明】
【００４１】
【図１】図１は、本発明の一実施形態を含むシステムを示す。
【図２（ａ）】図２（ａ）は、既存の没入型オーディオ技法が用いる技法を示す。
【図２（ｂ）】図２（ｂ）は、本発明の一実施形態にしたがって没入型オーディオを作成するための図１のシステムによる技法を示す。
【図３】図３は、図１のシステムを適用する仮想環境の図である。
【国際調査報告】
2008547290.tif 000006
2008547290.tif 000007