(57)【特許請求の範囲】
【請求項１】
表示装置上に表示される仮想空間と対応する仮想音響空間を設定し、発生する音響発生装置であって、
仮想空間内の仮想ユーザの位置における場所の状況を表す基調音信号を、上記仮想音響空間の種別を表す種別パラメータ、時刻を表す時刻パラメータ、日付を表す日付パラメータ、上記仮想空間にアクセスしている仮想ユーザの数を表すユーザ数データのうち少なくとも１つを含む基調音パラメータに基づいて生成する基調音信号生成手段と、
上記仮想空間内に配置されたオブジェクトに設定された装飾音信号を、上記仮想ユーザと上記仮想空間に設定されるオブジェクトとの距離を表す距離パラメータ、上記仮想空間内における上記仮想ユーザの視線方向に対して上記オブジェクトが配置された方向を表す方向パラメータのうち少なくとも１つを含む装飾音パラメータに基づいて生成する装飾音生成手段と、
少なくとも上記基調音信号生成手段及び上記装飾音信号生成手段が生成した基調音信号及び装飾音信号に基づいて音を発生する音発生手段とを具備し、
上記基調音信号は、仮想空間の所定単位の領域毎に、複数の所定単位の領域に重複して設定されることを特徴とする音響発生装置。
【請求項２】
通信回線を介してサーバコンピュータに接続するための通信手段をさらに備え、
上記サーバコンピュータへアクセスしているユーザ数データを少なくとも上記基調音パラメータとすることを特徴とする請求項１記載の音響発生装置。
【請求項３】
上記基調音信号は、所定時間長からなる基調音素データを繰り返し再生することにより発生することを特徴とする請求項１記載の音響発生装置。
【請求項４】
上記所定単位の領域は、上記表示装置の表示画面上に表示される一つの仮想空間に対応することを特徴とする請求項１記載の音響発生装置。
【請求項５】
警告若しくは反応に対応する信号音信号を信号音パラメータに基づいて発生する信号音信号生成手段を具備することを特徴とする請求項１記載の音響発生装置。
【請求項６】
言語的意味を有するアナウンス音信号をアナウンス音パラメータに基づいて発生するアナウンス音信号生成手段を具備することを特徴とする請求項１記載の音響発生装置。
【請求項７】
表示装置上に表示される仮想空間と対応する仮想音響空間を設定し、発生する音響発生方法であって、
上記仮想音響空間の種別を表す種別パラメータ、時刻を表す時刻パラメータ、日付を表す日付パラメータ、上記仮想空間にアクセスしている仮想ユーザの数を表すユーザ数データのうち少なくとも１つを含む基調音パラメータに基づいて、仮想空間内の仮想ユーザの位置における場所の状況を表す基調音信号を基調音信号生成部より生成させる基調音信号生成工程と、
上記仮想ユーザと上記仮想空間に設定されるオブジェクトとの距離を表す距離パラメータ、上記仮想空間内における上記仮想ユーザの視線方向に対して上記オブジェクトが配置された方向を表す方向パラメータのうち少なくとも１つを含む装飾音パラメータに基づいて、上記仮想空間内に配置されたオブジェクトに設定された装飾音信号を装飾音生成部より生成する装飾音信号生成工程と、
少なくとも上記基調音信号生成工程及び上記装飾音信号生成工程において生成した基調音信号及び装飾音信号に基づいて音を発生する音発生工程とを有し、
上記基調音信号は、仮想空間の所定単位の領域毎に、複数の所定単位の領域に重複して設定されることを特徴とする音響発生方法。
【請求項８】
通信回線を介してサーバコンピュータに接続し通信を行う通信工程をさらに設け、
上記サーバコンピュータへアクセスしているユーザ数データを少なくとも上記基調音パラメータとすることを特徴とする請求項７記載の音響発生方法。
【請求項９】
上記基調音信号は、所定時間長からなる基調音素データを繰り返し再生することにより発生することを特徴とする請求項７記載の音響発生方法。
【請求項１０】
上記所定単位の領域は、上記表示装置の表示画面上に表示される一つの仮想空間に対応することを特徴とする請求項７記載の音響発生方法。
【請求項１１】
警告若しくは反応に対応する信号音信号を信号音パラメータに基づいて発生する信号音信号生成工程を設けることを特徴とする請求項７記載の音響発生方法。
【請求項１２】
言語的意味を有するアナウンス音信号をアナウンス音パラメータに基づいて生成するアナウンス音信号生成部より発生するアナウンス音信号生成工程を設けることを特徴とする請求項７記載の音響発生方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、表示手段上に表示される仮想現実空間と対応する仮想音響空間を設定する音響発生方法及び装置に関する。
【０００２】
【従来の技術】
近年は、クライアントコンピュータとサーバコンピュータとを通信回線を介して接続し、ユーザが当該クライアントコンピュータ上でサーバコンピュータから各種の情報の提供を受けたり、ビデオ視聴や商品注文などのサービスを受けたりするためのオンラインネットワークサービスシステムが実用化されつつある。
【０００３】
また、最近は、上記ネットワークサービスシステムにおいて、クライアントコンピュータに接続されたモニタ装置のディスプレイ上に、例えば３次元グラフィックを用いて、上記サービス内容を美しく表現したり、概念モデル（抽象的データの具体的表現画像），メタファ（現実の物品を模倣した画像）の提示を行うことにより、立体的で現実世界に近い表示（すなわちいわゆる仮想現実空間の表示）を行って、ユーザに対して上記サービス内容を表現することが一般化してきている。
【０００４】
【発明が解決しようとする課題】
ところで、上述したように仮想現実空間をモニタ装置のディスプレイ上に表示する場合、一般的にはグラフィック表現による表示が行われている。
【０００５】
ところが、人間が現実世界において取得する情報は、目から得られる視覚情報だけでなく、耳から得られる聴覚情報もかなりの割合を占めている。これに対して、上述した一般的な仮想現実空間においては、音響空間の要素は主に動作に対するフィードバック音と仮想現実空間の内容と無関係なＢＧＭ（バックグランドミュージック）しかサポートされていないため、現実世界のように空間的な情報把握の手段として音が利用されているケースはほとんどない。なお、上記動作に対するフィードバック音とは、例えばユーザがポインティングデバイス等によって指示操作を行ったときに、ユーザ操作が確実に行われていることを当該ユーザに知らせるための音である。
【０００６】
また、上記仮想現実空間は、主にコンピュータなどに接続されたディスプレイ（ＣＲＴ等）上で表現されるため、一般的にはそのディスプレイ上に表示される要素以外には情報を取得する手段がない。
【０００７】
さらに、上記従来の一般的な仮想現実空間においては、仮想現実空間内の仮想ユーザの空間的な行動と音響とがリンクしておらず、状況判断の情報として音響が利用されていない。
【０００８】
特に、ネットワークサービスに使用することを前提とした仮想現実空間内では、現実世界におけるいわゆるジングルサウンドやテーマソングなどのようなもので客寄せなどを行う場合のように、音を利用することが未だ行われておらず、また、ディスプレイの表示領域に制限がある場合の割り込み的な情報提供（緊急連絡、メッセージなど）に音を利用することも未だ行われていない。
【０００９】
そこで、本発明はこの様な実情に鑑みてなされたものであり、仮想現実空間内において、現実世界のように空間的な情報把握の手段として音を利用できるようにし、また、音を利用した情報提供も可能とし、さらに広告効果をも増すことが可能な音響発生方法及び装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明は、表示装置上に表示される仮想空間と対応する仮想音響空間を設定し、発生する音響発生装置であって、仮想空間内の仮想ユーザの位置における場所の状況を表す基調音信号を、上記仮想音響空間の種別を表す種別パラメータ、時刻を表す時刻パラメータ、日付を表す日付パラメータ、上記仮想空間にアクセスしている仮想ユーザの数を表すユーザ数データのうち少なくとも１つを含む基調音パラメータに基づいて生成する基調音信号生成手段と、上記仮想空間内に配置されたオブジェクトに設定された装飾音信号を、上記仮想ユーザと上記仮想空間に設定されるオブジェクトとの距離を表す距離パラメータ、上記仮想空間内における上記仮想ユーザの視線方向に対して上記オブジェクトが配置された方向を表す方向パラメータのうち少なくとも１つを含む装飾音パラメータに基づいて生成する装飾音生成手段と、少なくとも上記基調音信号生成手段及び上記装飾音信号生成手段が生成した基調音信号及び装飾音信号に基づいて音を発生する音発生手段とを具備し、上記基調音信号は、仮想空間の所定単位の領域毎に、複数の所定単位の領域に重複して設定されることを特徴とする。
【００１１】
ここで、本発明の音響発生装置は、さらに通信回線を介してサーバコンピュータに接続するための通信手段をも備え、サーバコンピュータへアクセスしているユーザ数データを少なくとも基調音パラメータとする。基調音パラメータは少なくとも時刻パラメータを含み、基調音信号は所定時間長からなる基調音素データを繰り返し再生することにより発生するものを含む。さらに、基調音は仮想空間の所定単位の領域毎に設定し、この所定単位の領域は、表示装置の表示画面上に表示される一つの仮想空間に対応する。また、装飾音パラメータは少なくとも仮想空間内における仮想ユーザとオブジェクトとの距離を表す距離パラメータや、少なくとも仮想空間内における仮想ユーザの視線方向に対してオブジェクトが配置された方向を表す方向パラメータを含む。また、本発明の音響発生装置は、さらに警告若しくは反応に対応する信号音信号を信号音パラメータに基づいて発生する信号音信号生成手段や、言語的意味を有するアナウンス音信号をアナウンス音パラメータに基づいて発生するアナウンス音信号生成手段をも備えている。
【００１２】
次に、本発明の音響発生方法は、表示装置上に表示される仮想空間と対応する仮想音響空間を設定し、発生する音響発生方法であって、上記仮想音響空間の種別を表す種別パラメータ、時刻を表す時刻パラメータ、日付を表す日付パラメータ、上記仮想空間にアクセスしている仮想ユーザの数を表すユーザ数データのうち少なくとも１つを含む基調音パラメータに基づいて、仮想空間内の仮想ユーザの位置における場所の状況を表す基調音信号を基調音信号生成部より生成させる基調音信号生成工程と、上記仮想ユーザと上記仮想空間に設定されるオブジェクトとの距離を表す距離パラメータ、上記仮想空間内における上記仮想ユーザの視線方向に対して上記オブジェクトが配置された方向を表す方向パラメータのうち少なくとも１つを含む装飾音パラメータに基づいて、上記仮想空間内に配置されたオブジェクトに設定された装飾音信号を装飾音生成部より生成する装飾音信号生成工程と、少なくとも上記基調音信号生成工程及び上記装飾音信号生成工程において生成した基調音信号及び装飾音信号に基づいて音を発生する音発生工程とを有し、上記基調音信号は、仮想空間の所定単位の領域毎に、複数の所定単位の領域に重複して設定されることを特徴とする。
【００１３】
ここで、本発明の音響発生方法は、さらに通信回線を介してサーバコンピュータに接続するための通信工程をも備え、サーバコンピュータへアクセスしているユーザ数データを少なくとも基調音パラメータとする。また、基調音パラメータは少なくとも時刻パラメータを含み、基調音信号は所定時間長からなる基調音素データを繰り返し再生することにより発生するものを含む。さらに、基調音は仮想空間の所定単位の領域毎に設定し、この所定単位の領域は、表示装置の表示画面上に表示される一つの仮想空間に対応するものである。また、装飾音パラメータは少なくとも仮想空間内における仮想ユーザとオブジェクトとの距離を表す距離パラメータや、少なくとも仮想空間内における仮想ユーザの視線方向に対してオブジェクトが配置された方向を表す方向パラメータを含む。また、本発明の音響発生工程は、さらに警告若しくは反応に対応する信号音信号を信号音パラメータに基づいて発生する信号音信号生成工程や、言語的意味を有するアナウンス音信号をアナウンス音パラメータに基づいて発生するアナウンス音信号生成工程をも有している。
【００１４】
すなわち本発明によれば、仮想空間上の場所の状況を表現する基調音と、表示装置上での表示の有無によらない仮想空間上のオブジェクトに対応する装飾音とを少なくとも発生して、表示装置上に表示される仮想空間と対応する仮想音響空間を設定している。
【００１５】
【発明の実施の形態】
以下、本発明の好ましい実施例について、図面を参照にしながら説明する。
【００１６】
先ず、本発明の具体的内容を述べる前に、本発明実施例の全体的なシステムについて、図１及び図２を用いて説明する。
【００１７】
図１において、クライアントコンピュータ２は、大規模なＡＴＭ（asynchronous transfer mode）網３及び中継機４，ＦＤＤＩ（Fiber Distribution Data Interface）インターフェイス部５を介して、サービス供給側の例えばサービス管理サーバ１３、ビデオサーバ１２，サービスＡＰサーバ１４に接続されている。なお、上記ＡＴＭとは非同期転送モードのことであり、当該ＡＴＭでは、データの種類によらず送信データを４８バイト単位の固定長データに分け、この固定長データにデータ送信相手先の宛名情報を含む５バイトのヘッダを付加して、合計５３バイトの”セル”と呼ばれる単位でデータを送信する。ＡＴＭ網３に送り込まれたセルは、ヘッダ情報に基づき、ＡＴＭ交換機によってスイッチングされる。そして目的の受信側端末に到着したセルはヘッダ情報に基づき元のデータに復元される。このＡＴＭ網３は、音声や動画、コンピュータデータを混在して転送できることを特徴とする。また、上記ＦＤＤＩは、光ファイバを用いた１００Ｍビット／秒のトークンパッシング方式の媒体アクセス方式である。
【００１８】
上記ビデオサーバ１２は、サーバコンピュータ７及び例えばハードディスクや光ディスク等からなるデータ格納装置６からなり、当該データ格納装置６に例えば後述するＭＰＥＧ等のフォーマットに加工されたディジタルビデオデータやディジタルオーディオデータが格納されている。当該ビデオサーバ１２のデータ格納装置６からは、クライアントコンピュータ２のリクエストに応じた上記ディジタルビデオデータやディジタルオーディオデータが読み出されて、クライアントコンピュータ２へ転送されることになる。
【００１９】
上記サービスＡＰサーバ１４も同じくサーバコンピュータ１１及びデータ格納装置１０からなり、データ格納装置１０にアプリケーション（ＡＰ）プログラムデータとして３次元画像の基になるデータやスクリプトを格納している。当該サービスＡＰサーバ１４のデータ格納装置１０からは、クライアントコンピュータ２のリクエストに応じて上記アプリケーションプログラムデータ等が読み出されて、クライアントコンピュータ２へ転送されることになる。
【００２０】
上記サービス管理サーバ１３も同じくサーバコンピュータ９及びデータ格納装置８からなり、このサービス管理サーバ１３は、クライアントコンピュータ２からリクエストを受け付け、そのリクエストに応じて各ビデオサーバ７やサービスＡＰサーバ１１の管理を行う。
【００２１】
なお、上記ビデオサーバ１２やサービスＡＰサーバ１４は、それぞれ複数設けることも可能であり、また、各サーバ１２，１３，１４を１台のサーバにまとめることも可能である。
【００２２】
このようなサーバからクライアントコンピュータ２へのデータ転送を行う場合、先ず、当該クライアントコンピュータ２からはリクエストが送信される。この送信されたリクエストは、ＡＴＭ網３を通って中継機４と呼ばれるプロトコル変換及びデータの自動振り分け，データ転送速度変換等を行う装置と、ＦＤＤＩインターフェイス部５とを介して、上記サーバ側に伝えられる。
【００２３】
サーバ側からは上記クライアントコンピュータ２のリクエストに応じてデータが取り出され、ＦＤＤＩインターフェイス部５、中継機４、ＡＴＭ網３を通ってクライアントコンピュータ２側に伝送される。当該サーバ側から伝送されたデータは、クライアントコンピュータ２によって表示用の処理がなされ、モニタ装置１のディスプレイ上に表示され、これによりグラフイック表示を用いたユーザインターフェイス（グラフィカル・ユーザ・インターフェイス、以下ＧＵＩと呼ぶ）が構築される。すなわち、クライアントコンピュータ２は、当該モニタ装置１のディスプレイ上のグラフィック表示に対応して行われるユーザの操作に基づいて動作し、これによってユーザに対するサービスの提供が実現されることになる。
【００２４】
次に、上記図１に示したクライアントコンピュータ２自体の構成は、例えば図２に示すようなものとなる。
【００２５】
この図２において、ＥＩＳＡ（Extended Industry Standard Architectute）ボード３６は、当該クライアントコンピュータ２とＡＴＭ網３とを接続する通信用のボードであり、上記ＡＴＭ網３を介してＥＩＳＡボード３６に供給された信号は、処理部４１により書き込み／読み込みが制御されるハードディスク４３に一旦格納された後、データの種類に応じて読み出されて、それぞれ対応する３次元レンダリングエンジン３４、ＭＰＥＧ２デコーダ３５、ＰＣオーディオデコーダ３９、ＭＰＥＧ２オーディオデコーダ４０等へ送られる。
【００２６】
上記３Ｄレンダリングエンジン３４は、前記３次元の画像の基になるデータとして前記サーバ側から供給された３次元の物体の３次元座標データを、モニタ装置１のディスプレイ２０上に表示するために、２次元座標データに変換する座標変換器であり、アプリケーションソフトに応じたＧＵＩの構築を実現するために設けられている。すなわち、ディスプレイ２０上には、例え３次元の物体であっても２次元的にしか表示できないため、上記３Ｄレンダリングエンジン３４では、上記３次元の物体の３次元座標データを上記ディスプレイ２０上に表示するための２次元座標データに変換する。
【００２７】
ＭＰＥＧ２デコーダ３５は、ＭＰＥＧ２の規格により圧縮されているディジタルビデオデータを伸長するデコーダである。なお、ＭＰＥＧ（Moving Picture Experts Group）２は、動画像の圧縮・伸長技術の国際標準規格である。
【００２８】
ＲＧＢミキサ３３は、上記３Ｄレンダリングエンジン３４からのデータとＭＰＥＧ２デコーダ３５からのビデオデータとを、同時にディスプレイ２０上に表示できるように、これらデータをミックスする。
【００２９】
ＮＴＳＣエンコーダ３２は、上記ＲＧＢミキサ３３からのビデオデータが光３原色のＲ（赤），Ｇ（緑），Ｂ（青）からなるコンポーネントビデオデータであるため、当該コンポーネントビデオデータを例えばＮＴＳＣ（National Television System Committee）のテレビジョン標準規格のコンポジットビデオ信号に変換する。なお、モニタ装置１が例えばＰＡＬ（Phase Alternation by Line）やＳＥＣＡＭ（sequential a memoire color television system）などのような他のテレビジョン標準規格に対応するものである場合には、上記エンコーダ３２はこれらに対応するものとなされる。
【００３０】
当該ＮＴＳＣエンコーダ３２からの映像信号がモニタ装置１のディスプレイ２０上に表示される。なお、この図２の例のディスプレイ２０上には、ポインティングデバイスによるポインタ２２と、ＭＰＥＧ２のビデオデータをデコードして得た画像２３と、３Ｄレンダリングエンジン３４による前記ＧＵＩのための画像（例えば立体または平面的な画像２１）とが表示されている。また、上記ＭＰＥＧ２のビデオデータから生成した画像と前記ＧＵＩのための画像とは合成して表示することも可能である。
【００３１】
一方、ＰＣオーディオデコーダ３９は、ＡＤＰＣＭ（Adaptive Differential Pulse Code Modulation）音源を用いて例えば効果音を生成する。また、ＭＰＥＧ２オーディオデコーダ４０は、ＭＰＥＧ２の圧縮されたオーディオデータを伸長する。これらＰＣオーディオデコーダ３９からのデータ及びＭＰＥＧ２オーディオデコーダ４０からのデータは、オーディオミキサ３８によりミックスされると共にアナログオーディオ信号となされ、当該オーディオ信号が音発生手段としてのスピーカ３０に送られる。上記ＰＣオーディオデコーダ３９，ＭＰＥＧ２オーディオデコーダ４０及び処理部４１が、本発明の音響発生装置にかかる音信号生成手段の主要部を構成している。なお、このスピーカ３０からの音の出力に関しては、ステレオ音声または多チャンネル音声が望ましい。最近ではステレオ音声でも、音の位相差などをコントロールして立体的に音像を定位できるシステムも登場してきているので、これらを利用することもできる。
【００３２】
また、上記ディスプレイ２０上での表示を用いたＧＵＩにおいて、ユーザからの入力はポインティングデバイスの一例であるワイヤレスマウス３１により行われ、クライアントコンピュータ２は、このユーザ入力操作に応じてワイヤレスマウス３１から送信されるポイント情報に基づいて、ＧＵＩへの制御を行う。
【００３３】
具体的に言うと、上記ワイヤレスマウス３１から送信された上記ポイント情報は、ワイヤレスマウス用チューナ３７にて受信され、当該受信されたポイント情報が処理部４１に送られる。処理部４１は、ＣＰＵ（中央処理装置）を備えてなり、プログラムＲＯＭ及びワークＲＡＭとしての機能を有するメモリ４２の、上記プログラムＲＯＭに保持しているプログラムデータに基づいてバスを介して各構成要素を制御すると共に、上記ワイヤレスマウス３１からのポイント情報に基づいてＧＵＩの制御を行い、また、必要に応じてサーバ側のコンピュータとの交信を行う。
【００３４】
なお、上記ポインティングデバイスは、上記ワイヤレスマウス３１に限らず、通常のマウスやトラックボール，ジョイスティック、さらにディスプレイ２０上の座標位置とパネル上の座標位置とが対応しているいわゆるタッチパネル等の各種のものを使用することができる。また、この図２の例では、上記３Ｄレンダリングエンジン３４やＭＰＥＧ２デコーダ３５等はそれぞれ独立したチップとして設けられている例を示しているが、これらによる各種信号処理を上記処理部４１がソフトウェア的に行うことも可能である。
【００３５】
上述したような図１及び図２のシステムを使用した場合の、ユーザに対するオンラインによるサービス提供の具体的な動作を、以下に説明する。
【００３６】
先ず、クライアントコンピュータ２とサーバ側のコンピュータ（この場合はサービス管理サーバ１３のコンピュータ９）とをネットワーク上で接続する場合、ユーザからポインティングデバイスによる接続指示操作があると、クライアントコンピュータ２は、ネットワークを介してサーバ側のサービス管理サーバ１３のコンピュータ９と接続する。さらに、ユーザからポインティングデバイスによる情報提供のリクエスト入力があると、クライアントコンピュータ２は、上記サーバ側のサービス管理サーバ１３のコンピュータ９に対して提供を受けたい情報を指示するリクエストを送出する。
【００３７】
サーバ側のサービス管理サーバ１３のコンピュータ９は、上記ネットワークを介してクライアントコンピュータ２からリクエストが供給されると、当該リクエストに応じてビデオサーバ１２やサービスＡＰサーバ１４を制御することにより、上記クライアントコンピュータ２に対して以下のデータ及びソフトウェアを転送させる。すなわち、サーバ側からは、仮想現実空間を用いたサービス提供を実現するために、例えば仮想現実空間の振る舞いを記述するスクリプト、仮想現実空間の３次元座標データ、仮想現実空間の音声データ、クライアントコンピュータ２からユーザに対して指示する選択肢などを記述するスクリプト、その他、処理に必要な各種のデータが転送される。
【００３８】
クライアントコンピュータ２は、上記サーバ側のコンピュータから受け取ったデータを、一旦ハードディスク４３に記録し、その後モニタ装置１のディスプレイ２０の画面や必要に応じてスピーカ３０等を使用して、上記サーバ側から受け取ったデータ及びソフトウェアを基にして生成した仮想現実世界をユーザに対して提示する。
【００３９】
ユーザは、クライアントコンピュータ２により提示された仮想現実世界を視聴しつつ、ポインティングデバイスを使って、移動方向などを指示して仮想現実世界内部を徘徊し、ポインティングデバイスに設けられた操作ボタンなどを操作して仮想現実世界内部の物体または施設に働きかけを行うことにより、サービスの提供を受ける。
【００４０】
すなわち、クライアントコンピュータ２は、スクリプトに従い、ユーザによるポインティングデバイスの操作に対応して、視点位置，視線方向，音声及び仮想現実空間内部の物体の動き又は振る舞いを以て反応し、ユーザが仮想現実空間内部にあたかも入り込んでいるかのように、モニタ装置１のディスプレイ２０及びスピーカ３０を使用して仮想現実世界をユーザに提示する。また、クライアントコンピュータ２は、スクリプトの記述に応じて、ユーザに種々の情報の提供や発言や物品の注文などをも行う。
【００４１】
サーバコンピュータは、上記ユーザによる操作に基づくクライアントコンピュータ２からのリクエストに応じたサービス内容のデータを、当該クライアントコンピュータ２に返送する。これにより、ユーザはサービスの提供を受けることが可能になる。
【００４２】
上述したように、本実施例のシステムでは、ユーザの操作に応じてクライアントコンピュータ２がケーブル，通信回線，ネットワーク等を使ってサーバコンピュータと接続し、オンラインによるサービス提供を実現している。ここで、ユーザが例えば情報提供やビデオ視聴や商品注文などのサービスを受ける場合、本実施例のシステムでは、クライアントコンピュータ２に接続されたモニタ装置１のディスプレイ２０上に、ユーザへの概念モデル（抽象的データの具体的表現画像），メタファ（現実の物品を模倣した画像）表現として仮想現実空間、例えば仮想都市空間（Town Metaphor）を３次元グラフィック表示し、さらに現実世界でユーザが実際にサービス等を受ける場合と同じように視覚情報のみならず聴覚情報をも利用できる形態に近い形で、サービス内容を提供することにより、ユーザの現実世界での動作に近いインターフェイスを実現できるようにし、またサーバが提供するサービスとユーザとの関係等を、当該ユーザが概念的に理解し易いようにしている。
【００４３】
ここで、本実施例では、仮想現実空間内において、後述するサウンドスケープデザイン手法的な音響の構造化を行うことによって、より現実世界に近いリアルな仮想音響空間を構築するようにしている。本発明実施例では、クライアントコンピュータ２の処理部４１が、仮想現実空間内のオブジェクトや発音源と仮想ユーザとの相互の距離や音響の干渉作用などを計算し、これを仮想現実空間上で音を発生させる際の再生パラメータとして反映させることで、ユーザが音響によって空間を容易に把握できるようにしている。なお、上記オブジェクトとは、プログラム又はデータの論理的な一まとまりであるセグメントを一般化した概念であり、コンピュータによりアクセスされる対象のことである。
【００４４】
また、サウンドスケープ（Sound Scape）とは、カナダの現代音楽作曲家・音楽教育家であるＲ．マリー・シェーファー（R.Murray Schafer）が提唱した、音楽環境を包括的な枠組みで捉える概念であり、ランドスケープ（目で捉えた風景）から造語され、「サウンド」と「・・・の眺め／景」を意味する接尾語の「スケープ（-scape）」とを複合させたもので、例えば、風や流水のような自然の音、交通の音、サイレンや鐘の音など、それぞれの地域社会に特有な音（われわれの生活を取り囲む多種多様な音）、すなわち「音の風景（耳で捉えた風景）」を意味する。音の世界を「音楽」「騒音」という従来の枠組みを越えてトータルに捉え、音とのより多様なつきあいを可能にしようとするものである。すなわち、サウンドスケープは、科学，社会，芸術の中間地帯に属する新たな学際領域であり、分析する音のキーワードとして基調音（絶えず聴こえている音）、信号音（意識的に聞かれる音）、標識音（共同の音）が挙げられる。さらに、この音の風景と人間をどう関わらせていくかという創造的活動を「サウンドスケープデザイン」と呼び、シェーファーを中心に１９７１年に設立されたＷＳＰ（World Soundscape Project）が発展させたものである。この場合のデザインは単なる音を作るというだけのレベルにとどまらず、人間とサウンドスケープに関わるあらゆる領域に及ぶ創造行為（すなわちデザインをすること）を意味する。
【００４５】
本実施例においては、上述のような通常のサウンドスケープデザインの考え方を拡張し、ネットワーク上のサービスに有効な形で、ユーザを仮想現実空間上で導く際に流れる音を分類してある。すなわち、通常のサウンドスケープデザインにおいては、現実世界の音に対する分類、解析を行い、キーワードとして基調音（絶えず聞こえている音）、信号音（意識的に聞かれる音）、標識音（コミュニティの共有物として聞かれる音）とうい形にまとめているが、本実施例では、それら音をコンピュータベースの仮想現実空間上での分類として、表１に示すように基調音と装飾音と信号音とアナウンス音とに分類し、これらに役割を与えるようにしている。
【００４６】
【表１】
0004000600.tif 000002
【００４７】
表１において、上記基調音は、仮想現実空間上の場所の状況を表現する音、すなわちその環境のベースとなるサウンドであり、いわゆる「環境音」である。例えば、デパートの人のざわめく音（サーバへアクセスしているユーザ数により、例えばかなり混んでいる、普通に混んでいる、すいている等の３種類程度がある。）や、デパートの外に出ているときの音（例えば、自動車の走る音等）、店の中の雰囲気の音（例えば店内に流れるＢＧＭや店員と他の客との会話等）などがある。
【００４８】
本実施例では、仮想現実空間における所定単位の領域として後述する各ワールドにつき、１〜数種類の基調音を設けており、各ワールドの状況パラメータによって対応付けが起こり、用意された基調音のうちのどれかを流すようにしている。なお、上記ワールドとは、仮想現実空間としてディスプレイ２０上に表示されるひとまとりの単位として扱われる領域であって、例えば仮想現実空間として表現される店舗やビルを含む街全体、一つの店舗の内部、ビルのあるフロアの内部、部屋の内部、建物内部から外を見た場合の外界などが、それぞれ一つのワールドとなる領域である。したがって、例えば隣合う店舗のように２つのワールドが接しているような場合には、一方のワールド（この場合一方の店舗）のみをディスプレイ２０上に表示していたとしても、他方のワールド（他方の店舗）の基調音は僅かであるが聞こえることになる。さらに、１つのワールドを構成するデータ量は、それぞれのワールドの種別によって異なり、クライアントコンピュータ２がサーバ側にデータアクセスする場合には、１ワールド分のデータ量の多少によって、１ワールド分のデータをアクセスすることもあれば、複数ワールド分のデータをアクセスすることもあり、クライアントコンピュータ２のメモリ上にも１ワールド分のデータが蓄積されることもあれば、複数ワールド分のデータが蓄積されることもある。また、上記状況パラメータとしては、例えば、時刻，日付（季節）、サーバにアクセスしているユーザ数（前述したように、混んでいるか、普通か、すいているか等）、ワールドの種別（例えば屋内，屋外）等が考えられる。このワールドの種別を表すパラメータによって基調音におけるＢＧＭが選択される。なお、この場合のＢＧＭは、仮想現実空間上の例えば店舗が音楽として流すＢＧＭ（これは装飾音に分類される）とは異なり、各ワールドで比較的環境演出的に流されるものであって、例えばデパートの場合には人々がざわめく音や店員と客の話声等である。また、時刻，日時（季節）の状況パラメータを用いることにより、前述した基調音におけるＢＧＭを効果的に切り換えることができる。例えば屋外のワールドにおいて、雨の多い季節には雨の音を発生することが可能になる。
【００４９】
さらに、上記基調音は、前記ＭＰＥＧオーディオデータでもＡＤＰＣＭのオーディオデータのどちらでもかまわないが、基本的には数秒間の再生が可能なことと、ある所定時間長からなる基調音素データを繰り返し連続して再生するいわゆるルーピングができることが条件である。なお、ルーピングを行うことで、前記メモリ４２の容量をオーディオデータが占有する占有度合いを抑えることはできるが、例えば１秒未満のような短い時間の音では、ユーザがその場所の認識をするのに至らないので、メモリ４２上には数秒分の音を発生できるだけのオーディオデータは格納しておく必要がある。また、基調音は上述したように環境音であるため音質的に高品位である必要性は少なく、したがって、当該基調音のオーディオデータを生成する際のサンプリングレートはそれほど高くなくてもよい。当該基調音のサンプリングレートは、音源の種類にもよるが１１ｋＨｚ〜２２．０５ｋＨｚ程度でよい。
【００５０】
なお、例えば仮想現実空間上で、仮想ユーザが、あるワールドから別のワールドへ移動するような場合においては、移動後のワールドの持っている基調音がそのワールドの状況パラメータによってセレクトされて再生が開始される。また、このようにワールドが切り替わる時に、前のワールドの音をストップするタイミングは、あるワールドから別のワールドへ移動する為にユーザが移動処理を実行する為のキーとなっているオブジェクトをクリックするなどのアクションを起こしたときである。さらに、このように、あるワールドから別のワールドへ移る場合、前のワールドの音はフェードアウトさせ、後のワールドの音はフェードインすることが望ましい。
【００５１】
上記装飾音は、仮想現実空間上のオブジェクトに対応する音であり、例えば仮想現実空間上でのデパートが流すＢＧＭや各店が流すＢＧＭ等がある。この装飾音は、サービスプロバイダの演出により自由に設定することが可能となっている。上記基調音が「その場所」の状況を示すものであり、その場所に入ると流れているものであるのに対して、当該装飾音は、その場所にあるオブジェクト、或いは音源として規定されたポイントから発する音である。すなわち、当該装飾音では、仮想ユーザとあるオブジェクトとの距離や方向によって音量やパンニングなどのパラメータが変化するものである。なお、パンニングとは、通常はカメラ等を左右に振る動作をいうが、ここで言うパンニングは、あるオブジェクトに対するユーザの向きの変化のことであり、上記装飾音は当該パンニングによって聞こえる方向も変化する。さらに、当該装飾音の変化のさせ方としては、単に距離と音量を対応させて変化させること（モノラル音でも可能）や、ユーザの向いている方向によってパンニングと音量を連動させて変化させる（ステレオ音による）こと等が可能である。また、上記装飾音は、ディスプレイ２０上に表示されていない仮想現実空間上のオブジェクトから発せられるものをも包含している。これによって、ユーザは、ディスプレイ２０上に表示されていないオブジェクトが何れの方向にあり、さらにその距離をも連想することが可能となる。
【００５２】
上記信号音は、警告や例えばユーザの動作に対応して発生する反応音であって、ユーザに注意を喚起するための音であり、例えば何かイベントが起こったときに出される音である。例えば、ユーザ宛に電子メール等によってメッセージが到着したときに、これをユーザに知らせるページャの音や、ポインティングデバイスによる指示等のユーザ操作が確実に行われていることを当該ユーザに音によってフィードバックするための反応音などである。この信号音は、ＡＤＰＣＭによる音であり、例えば１１．５ｋＨｚ〜２２．５ｋＨｚのモノラル音で、１秒〜２秒程度発せられるものである。また、当該信号音を再生するタイミングは、ユーザがポインティングデバイスによってオブジェクトをクリックした時や、イベントが起こった時などである。
【００５３】
上記アナウンス音は、仮想現実空間上におけるエージェントの音声や、店内アナウンスなどの言語的意味を有するものであり、また、サーバ側からのアクセスがあったことをユーザに知らせるための音声や、サーバからユーザへの連絡事項を音声にて知らせるためのものである。
【００５４】
なお、上述した音の他には、サービスにより提供された映画等のビデオ映像を再生しているときには、その映画等の音があり、このようにビデオ映像を再生しているときには、上述した各音は基本的に停止している。
【００５５】
上述したようなサウンドスケープデザインの考え方を拡張した各音を用い、本実施例では以下のような仮想音響空間を構築している。
【００５６】
すなわち、本実施例の音響発生装置が適用されるシステムにおいては、図３に示すように、仮想現実空間内で、ユーザが視覚的に認識可能な仮想スピーカオブジェクトＯＢSの他に、仮想ユーザＵＳからは見えないレイヤとして発音源のオブジェクトＯＢPをも定義している。この発音源のオブジェクトＯＢPは、例えば当該仮想現実空間を構築するための３次元空間デザインツールなどでモデルとしては定義しておくが、実際にプログラムされるときには当該オブジェクトＯＢPの重心位置情報ＣＥPのみをデータとして利用するようにする。これにより、ディスプレイ２０上には表示されていないが、所定の処理を行うオブジェクトを仮想現実空間内に設定することが可能となる。なお、３次元のモデルの場合は、当該３次元画像のレンダリング時のオブジェクトの位置関係の判断にポリゴンの重心座標のデータを用いているが、当該ポリゴンの重心座標データを、上記重心位置情報としても用いることができる。同様に、仮想スピーカオブジェクトＯＢSの場合も、当該仮想スピーカオブジェクトＯＢSの３次元画像上での座標位置などを当該装飾音の音源位置のデータとして使用することができる。例えば３次元のモデルの場合は、前記基調音と同様に、当該３次元画像のレンダリング時のオブジェクトの位置関係の判断に用いるポリゴンの重心座標のデータを、当該装飾音の音源位置のデータとして用いるようにしてもよい。また、ユーザが視覚的に認識可能な仮想スピーカオブジェクトＯＢSは、図３に示すように指向性を有するスピーカとして表現されるものであるため、当該仮想スピーカオブジェクトＯＢSについては、その重心位置情報ＣＥSの他に、図３中のＩＰで示すように音の指向性を示すデータも利用することになる。
【００５７】
上述したように、本実施例のクライアントコンピュータ２の処理部４１では、前記基調音や装飾音，信号音，アナウンス音等の各音をそれぞれのパラメータに基づいてコントロールしている。
【００５８】
図４を用いて、上記各音におけるそれぞれのパラメータに基づくコントロール動作の説明を行う。この図４の例では、基調音と装飾音の関係について図示している。
【００５９】
すなわち、この図４において、基調音は、基本的には環境を表す音なので、一つのワールドの中では、基本的には大きな定位（ここに言う定位とは仮想現実空間上で基調音が発生している場所のことである。）の変化などは起こさないようにしている。ただし、状況が変化してきた場合（例えば、サービスを提供するサーバへアクセスしているユーザの数が多くなり、サービス提供が混んできたとき）や、当該ワールドと次のワールドとの境目のところでは、発生する基調音を変えたり、基調音同士をある程度ミックスすることでそのリアル感を高めるようにする。
【００６０】
また、前記装飾音は、基本的にはあるオブジェクトから発せられるものとされることが多い。この装飾音の場合には、上記装飾音の音源位置の座標のデータと仮想ユーザＵＳの視点の座標データとを比較し、この比較結果に基づいて音響のコントロールを行うようにする。例えば、装飾音の音量と、装飾音の音源位置から仮想ユーザＵＳまでの距離との関係に、一定の変換公式を当てはめておくようにする。具体的には、距離が増えるのに反比例して音量が小さくなるような関係を当てはめておく。
【００６１】
また、２つ以上のオブジェクトからの音が、クライアントコンピュータ２の少なくとも２つのスピーカに対して供給されるようになっている場合、仮想現実空間内の仮想ユーザＵＳからこれら２つ以上のオブジェクトまでの距離及びそれらの位置関係の情報により、音量や定位（ここに言う定位とは仮想現実空間上で装飾音が発生している場所のことである。）をコントロールする。このようにすれば、仮想現実空間内におけるオブジェクトと仮想ユーザＵＳとの位置関係が、音によって表現できることになる。
【００６２】
こういったことは、例えば商店街のアーケードのような仮想現実空間では、非常に効果的である。すなわち例えば図５に示すように、仮想現実空間上に複数存在する各店ＳA，ＳBによって、装飾音として異なったＢＧＭを設定しておくようにした場合において、仮想現実空間内で仮想ユーザＵＳが移動するのに合わせて、それら各店ＳA，ＳBからのＢＧＭが次第に変化していくようにすれば、仮想現実空間上で実際の商店街のようなリアルな空間を演出できるのと同時に、仮にその店が視界に入っていなくても店の存在をアピールできる。また、ユーザ側からいえば、店に近づいていることを認識する助けにすることができる。なお、図５に示す仮想現実空間上では、各店ＳA，ＳBからの音が主として聴こえるショップサウンドゾーンＳＳＺA、ＳＳＺBと、これら各店ＳA，ＳBからの音がミックスされるミックスゾーンＭＸＺ（または音が聴こえないゾーン）を設けるようにしている。
【００６３】
上述したようにディスプレイ２０上に表示されている画像に加えて音をも考慮した仮想現実空間を構築すれば、ユーザがポインティングデバイス等の操作をしていたり、他の何らかの作業等をしている場合でも、ＧＵＩと平行して音によるインフォメーション情報をユーザに知らせることができる。さらに、上記信号音やアナウンス音に対して、例えばアニメーションというパラメータを設けて、他の音処理を行っている時に割り込み的に再生できるようにすれば、何か緊急な連絡事項（例えば、サーバがシャットダウンすることなどを管理サーバが知らせてきたとき）などは、当該音によってユーザに知らせることができるので、より強力なアテンションになる。
【００６４】
ここで、上記基調音や装飾音，信号音，アナウンス音の各音は、それぞれ単独或いは組み合わされて用いられることにより、前述した仮想現実空間上で仮想的な音響空間が実現されている。このように仮想現実空間において仮想的な音響空間を実現するため、図２のクライアントコンピュータ２は、図６の機能ブロックに示すように、各音の信号を発生して合成するようにしている。
【００６５】
当該図６に示すクライアントコンピュータ２の音発生及び合成機能ブロックは、上記基調音の信号（データ列）を発生する機能ブロックである基調音発生部５１と、装飾音の信号（データ列）を発生する機能ブロックである装飾音発生部５２と、信号音の信号（データ列）を発生する機能ブロックである信号音発生部５３と、アナウンス音の信号（データ列）を発生する機能ブロックであるアナウンス音発生部５４と、供給された各音の信号（データ列）を合成する機能ブロックである合成部５６と、前記ディスプレイ２０に表示する仮想現実空間に応じて上記各音発生部から各音の信号の発生及び出力を制御すると共に上記合成部５６における音信号の合成及び出力を制御する制御部５５とからなる。
【００６６】
上記制御部５５は前記図２の処理部４１に対応し、上記合成部５６は前記図２のオーディオミキサ３８に対応する。また、上記各音発生部５１〜５３は前記図２のハードディスク４３及びメモリ４２において上記各音のデータを保持する領域に対応する。すなわち、制御部５５である前記処理部４１は、前記ディスプレイ２０に表示する仮想現実空間に応じて、これらハードディスク４３及びメモリ４２が保持している各音データを読み出し、さらにオーディオミキサ３８を制御して各音データを合成して前記スピーカ３０に出力させる。なお、当該制御部５５（処理部４１）における上記仮想現実空間に応じた各音の発生及び合成は、既に説明したように、当該仮想現実空間を構成する各ワールドやオブジェクト、前記パラメータ、その他仮想ユーザの動作等に応じて行われる。さらに、各音データの合成は、処理部４１でソフトウェアによって行うことも可能である。
【００６７】
上述したように、本発明実施例のシステムでは、音にサウンドスケープデザインに基づいた属性を与えて管理し、それを仮想現実空間上での位置情報などと組み合わせて再生することで、リアルな音場空間と、音による状況把握、情報の効率的な提供を行うことが可能となっている。
【００６８】
また、本発明実施例のシステムによれば、処理部４１が仮想現実空間上の様々なオブジェクトの位置関係や設定された音量との相互関係を計算し、それを音響再生時のコントロールパラメータとして使用することで、臨場感あふれるリアリティのある仮想音響空間を実現している。さらに、仮想現実空間上で仮想ユーザの視界に入らない部分でも音による情報提供を可能としており（視覚的な表現だけではサポートしきれない情報提供を行うことができる）、音による状況判断を可能としている。例えば、ネットワーク環境下において、現在のアクセス状態を音により表現するようにすれば、人気のあるサービスとそうでないサービスの区別やファイルのダウンロードなどの大量のデータ送受信を行う場合に多少時間がかかったとしても、ユーザが受ける不快感を削減できるなどの効果がある。さらに、ユーザは、音による仮想現実空間内での距離感の把握も可能となる。
【００６９】
また、仮想空間内で個人ユーザ同士のコミュニケーションが起こったような場合にも、お互いの位置関係を音響効果で、より正確に把握したり、視覚以外のコミュニケーションに利用することが可能となる。これによれば、例えば、ある仮想ユーザに対して背後から声をかける等のことも可能となる。
【００７０】
さらに、本実施例システムによれば、現実空間よりも、構造的なサウンドスケープデザインが行い易く、オンラインサービスなどでは音によるアドバイスを行うことによって、より広告効果を増すことも可能となる。
【００７１】
【発明の効果】
本発明によれば、仮想現実空間上の場所の状況を表現する基調音と、表示手段上での表示の有無によらない仮想現実空間上のオブジェクトに対応する装飾音とを少なくとも発生して、表示手段上に表示される仮想現実空間と対応する仮想音響空間を設定することにより、仮想現実空間内において現実世界のように空間的な情報把握の手段として音声を利用でき、また音声を利用した情報提供ができ、さらに広告効果をも増すことが可能となっている。
【図面の簡単な説明】
【図１】図１は、本発明実施例のシステムの全体構成を示す図である。
【図２】図２は、実施例のクライアントコンピュータの具体的構成を示すブロック回路図である。
【図３】図３は、仮想現実空間における音の発生源としてのオブジェクトについて説明するための図である。
【図４】図４は、基調音と装飾音の概念を説明するための図である。
【図５】図５は、仮想現実空間におけるサウンドイメージを説明するための図である。
【図６】図６は、仮想音響空間を実現するクライアントコンピュータ内の機能の説明に用いる機能ブロック図である。
【符号の説明】
１  モニタ装置、２  クライアントコンピュータ、３  ＡＴＭ網、４  転送会話装置、５  ＦＤＤＩネットワーク、１２  ビデオサーバ、１３  サービス管理サーバ、１４  サービスＡＰサーバ
【図１】
0004000600.tif 000003
【図２】
0004000600.tif 000004
【図３】
0004000600.tif 000005
【図４】
0004000600.tif 000006
【図５】
0004000600.tif 000007
【図６】
0004000600.tif 000008