(57)【要約】  本発明は仮想的な音響環境を生成、合成及びカスタマイズする方法及び装置に関連する。バイノーラル音響システム(400)は、少なくとも第１タイプの情報及び第２タイプの情報を含む信号(600)を受信するトランシーバ(492)を含む。第１タイプの情報は、言明データ(602)を含む。言明データは、ユーザが明確に聞き取れるように意図された或る情報を特定する。第２タイプの情報は、第１タイプのメタデータ(604-1)及び第２タイプのメタデータ(604-2)を含む。第１タイプのメタデータは、空間的位置情報以外の言明データの特徴を指定する情報を含む。第２タイプのメタデータは、言明データに関連する空間的位置情報を指定する。
2009543479.tif 000002
【特許請求の範囲】
【請求項１】
バイノーラル情報をユーザに通知する方法であって、
少なくとも第１情報及び第２情報を含む少なくとも１つの信号を生成するステップと、
ユーザが明確に聞き取れるように発音される情報を指定する言明データを前記第1情報に含めるステップと、
少なくとも第１メタデータを前記第２情報に含めるステップであって、前記第１メタデータは、前記言明データのソースの空間的位置情報を除く前記言明データの特徴を指定する情報を含む、ステップと、
前記第１メタデータに基づく所定の音響強調法に従って、前記言明データを含むバイノーラル音環境を生成するステップと
を有する方法。
【請求項２】
複数のバイノーラル音環境を決めるステップを更に有する請求項１記載の方法。
【請求項３】
前記所定の音響強調法は、前記複数のバイノーラル音環境の内の或る特定のものに前記言明データが関連することを、前記第１メタデータが示す場合にのみ、前記言明データを前記バイノーラル音環境に含めるステップを有する、請求項２記載の方法。
【請求項４】
前記所定の音響強調法は、複数のユーザグループを作るステップと、該ユーザグループの内の所定のものに属するメンバから前記言明データが発せられた場合にのみ、前記複数のバイノーラル音環境の内の特定のものに前記言明データを含めるステップとを更に有する請求項２記載の方法。
【請求項５】
前記所定の音響強調法は、前記第１メタデータで指定される前記言明データのソースに基づいて、音響再生成フォーマットを選択するステップを有する、請求項２記載の方法。
【請求項６】
所定の状況の出現を示す制御信号に応じて、前記少なくとも１つの信号を自動的に生成するステップを更に有する、請求項１記載の方法。
【請求項７】
バイノーラル情報をユーザに通知するバイノーラル音響システムであって、
少なくとも第１情報及び第２情報を含む信号を受信する受信機と、
前記第１メタデータに基づく所定の音響強調法に従って、バイノーラル音環境で前記言明データを聞き取れるように再生成する、RF信号に応答する音響処理システムと、
を有し、前記第１情報は、ユーザが明確に聞き取れるように発音される情報を指定する言明データを有し、前記第２情報は第１メタデータ及び第２メタデータを有し、前記第１メタデータは、前記言明データのソースの空間的位置情報を除く前記言明データの特徴を指定する情報を有し、少なくとも第２メタデータは、前記言明データのソースに関連する空間的位置情報を特定する、バイノーラル音響システム。
【請求項８】
前記言明データのソースに関連する遠隔地点と前記ユーザとの相対的な空間距離に応じて、BRIRフィルタ及び反響フィルタを選択的に使用する、請求項７記載のバイノーラル音響システム。
【請求項９】
前記第１メタデータは、複数の所定のバイノーラル音環境の内の１つを指定する、請求項７記載のバイノーラル音響システム。
【請求項１０】
前記複数のバイノーラル音環境の内の或る特定のものに前記言明データが関連することを、前記第１メタデータが示す場合にのみ、前記言明データを前記バイノーラル音環境に含める、請求項９記載のバイノーラル音響システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響の処理及び表現を行う技術分野に関連し、特に複数の音響環境の合成及びカスタマイズを行い、リスナを囲む３次元空間内の単独音又は複数音の優れた臨場感をユーザに与えることに関連する。
【背景技術】
【０００２】
バイノーラル音(binaural  audio)は、３次元の仮想的な音響環境をリスナにもたらすように処理される音である。この種の音響(オーディオ)は、仮想的にリスナが何らかの環境の中に居るかのように優れた臨場感をもたらす。リスナの頭部以外の空間的に異なる場所からのバイノーラル音を発生させることは、ステレオ音とは異なり、モノラル音とも異なる。
【０００３】
バイノーラル音は、部屋の中に固定されたスピーカにより、又はリスナの耳各々に固定されたスピーカにより提供できる。部屋のスピーカ一式を使って特定のバイノーラル音を両耳にもたらすことは、音響クロストークの観点から困難であるし、リスナがスピーカに対して動いてはならない点でも困難である。更に、バイノーラル音は、リスナの頭部の位置や角度に依存しない。ヘッドフォンを利用することは、リスナの耳及び対応するヘッドフォン中のスピーカの間の距離を固定すること及び音響クロストークを最小化する観点から有利である。
【０００４】
通常の環境において、人の耳各々に到達する音は、いくつもの変化を受け、その変化がリスナの頭脳に音源の位置情報をもたらす。或る変化は、人体の胴体、頭部、耳介(ear  pinna)及び外耳道(ear  canal)により引き起こされる。これらの変化はまとめて頭部関連伝達関数(HRTF:  Head  Related  Transfer  Function)と呼ばれる。HRTFは一般的には周波数及び相対的な向き(頭部と音源との位置関係)の関数である。通常、距離の影響は、音源及びリスナ間の距離に比例する振幅減衰になる。左耳及び右耳における音波の振幅の差分及び到達時間差は、それぞれ両耳間強度差(IID:  Interaural  Intensity  Difference)及び両耳間時間差(ITD:  Interaural  Time  Difference)と言及され、音で音源を突き止める際に重要な手がかりを与える。音波のスペクトル整形及び音波の減衰も、音源がリスナの前方にあるか後方にあるかを判別する際、リスナが使用する重要な手がかりをもたらす。
【０００５】
バイノーラルスシステムでしばしば使用される別のフィルタは、バイノーラルルームインパルス応答(BRIR:  Binaural  Room  Impulse  Response)フィルタである。BRIRは部屋中の全ての音響特性に関する情報を含み、音源やリスナの位置や向き、部屋の大きさ、壁の反射率等を含む。従って、サイズ、形状及び壁の材料等の部屋の属性に依存して、部屋の一方端に位置する音源は、部屋の他方端のリスナが聴いた場合、異なる音響特性を有する。この例の技術は今日購入されているほとんどの音響システムに用意されている。これらのシステムは、いくつもの異なる音の効果をもたらし、或る観客席、スタジアム、劇場内、劇場外等に居る感じをリスナに与える。様々な形状の部屋の壁から反射する音の影響の感じをリスナにもたらすため、BRIRから導出される機能を導入する研究がなされている。
【０００６】
従来、隔たった音源から音が人間の耳に到来しているかのように、音に生じる上記の変化のいくつかを模擬するバイノーラルシステムが提案されている。これらのシステムの内のいくつかは、HRTFのフィルタリング特性を改善することを目指している。本願で使用される「フィルタ(filter)」なる用語は、時間領域信号をインパル応答と共に畳み込むことと等価な処理を実行する装置に関連する。同様に、本願で使用される「フィルタリング(filtering)」等の用語は、そのようなフィルタを時間領域信号に適用する処理に関連する。正確なHRTFを実現するにはかなりの演算リソースが必要になる。なぜならHRTFは位置関係や周波数の非常に複雑な関数だからである。実現コストを低減する際、音響フィードバック速度を改善する際、及び多数の音源を含む実際のバイノーラル音響環境を実現する際、バイノーラル音響システムを総合的に設計することが非常に重要になる。
【０００７】
非常に上位概念的には、バイノーラルシステムは一般に３つの部分で構成される。第１の部分は受信機である。概して、オーディオ情報を含むモノラル無線周波数(RF)信号を、そのオーディオ情報のメタデータと共に受信するように、受信機は設計されている。例えば、一般的にはメタデータは、特定のオーディオ情報の音源に関する空間的位置情報を含む。この空間的位置情報は、その後にバイノーラル音響信号を生成するのに使用され、バイノーラル音響信号は、所望の空間的位置の音源を模擬する。リスナの頭部追跡(ヘッドトラッキング)装置からのデータと共に、プロセッサは受信機からそのメタデータを受信する。プロセッサはこの情報を使って、両耳で聴く音を生成する。最終的に、左及び右の音が音生成部に送られ、音生成部は、リスナ周辺に位置する床置きスピーカで実現されてもよいし、或いはリスなの両耳にスピーカを置くヘッドフォンで実現されてもよい。３次元(3-D)バイノーラル音を聞くための場所にリスナを固定しなければならない点で、床置きスピーカは不利である。これに対して、ヘッドフォンはリスナが自由に動くことを許容するが、プロセッサはリスナの動きや頭部の位置を監視しなければならない。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
バイノーラルシステムを改善しようとする多くの努力は、バイノーラル音の忠実度を改善すること、バイノーラル音プロセッサの処理速度を向上させること、或いは対象となり得るリスナの数を増やすこと等に注力している。しかしながら、これらの努力は、どちらかといえば、仮想音響環境を模擬するプロセスに注力している傾向がある。一方、そのようなバイノーラル音響情報を実用的用途に実際に使用しようとする革新的なアプリケーションを目指す努力はほとんどなされていないようである。
【課題を解決するための手段】
【０００９】
本発明は、仮想的な音響環境を生成、合成及びカスタマイズし、ユーザの周囲環境に関する理解可能な情報をユーザにもたらす方法及び装置に関連する。バイノーラル音響システムは受信機を含み、その受信機は、第１タイプの情報及び第２タイプの情報を少なくとも含む信号を受信する。第１タイプの情報は、言明データ(enunciated  data)を含む。言明データは、ユーザが明確に聞き取れるように意図された或る情報を特定する。第２タイプの情報は、第１タイプのメタデータ及び第２タイプのメタデータを含む。第１タイプのメタデータは、言明データの特徴を決める情報(但し、空間的位置情報以外)を含む。第２タイプのメタデータは、言明データの空間的位置情報を含む。バイノーラル音響システムは、信号に応じて動作するオーディオ処理システムを含む。オーディオ処理システムは、第１メタデータ、第２メタデータ又はそれら双方に基づいて、所定の音響強調法に従って、言明データをユーザのために音響的に再生するように構築される。
【図面の簡単な説明】
【００１０】
【図１】バイノーラルシステムで聴覚的な応答に影響を及ぼし得る頭部の様々な向きを説明するための概略図である。
【図２】異なるタイプのバイノーラルシステムを説明するための概略図である。
【図３】異なるタイプのバイノーラルシステムを説明するための概略図である。
【図４】本願で使用されるバイノーラルシステムにおける配置及び向きを説明するためのシステム概略図である。
【図５】多次元通信を行うのに使用可能なバイノーラル音響システムのブロック図を示す。
【図６】バイノーラル音響システムの言明データ及びメタデータを含む信号構成を説明するための図である。
【発明を実施するための形態】
【００１１】
本発明による方法はいくつものステップを有する。本方法は、少なくとも第１タイプの情報及び第２タイプの情報を含む１つ以上の信号を生成することから始まる。第１タイプの情報は、ユーザが明確に聞き取れるように発音される情報を指定する言明データを含む。第２タイプの情報は、少なくとも第１タイプのメタデータを含む。第１タイプのメタデータは、言明データの(実際の又は仮想的な)ソースの位置を指定するのに使用される空間的位置情報を除く前記言明データの特徴を指定する情報を含む。本方法は、第１タイプのメタデータに基づく所定の音響強調法に従って、前記言明データをユーザが聞き取れるように通知することを含む。第２タイプの情報は第２タイプのメタデータを含み、第２タイプのメタデータは言明データに関する空間的位置情報を指定する。この空間的位置情報は、3-Dバイノーラル音を生成するのに使用される。
【００１２】
本発明の一形態によれば、本方法は、複数のバイノーラル音環境を決めるステップを含む。一形態によれば、前記所定の音響強調法は、前記複数のバイノーラル音環境の内の或る特定のものに前記言明データが関連することを、前記第１メタデータが示す場合にのみ、前記言明データを前記バイノーラル音環境の内の選択されたものに含めるステップを有する。本発明の他の形態によれば、前記所定の音響強調法は、複数のユーザグループを作るステップを含む。この場合、該ユーザグループの内の所定のものに属するメンバから前記言明データが発せられた場合にのみ、前記複数のバイノーラル音環境の内の特定のものに前記言明データが選択的に含められる。
【００１３】
前記所定の音響強調法は、前記第１メタデータで指定される前記言明データのソースに基づいて、音響再生成フォーマットを選択するステップを含むことができる。例えば、本発明の一形態では、音響再生成フォーマットは、モノフォニック音、ステレオフォニック音及び複数のバイノーラル音響環境の内の所定のものを含む群から選択される。更に本方法は、複数の情報関連度(情報関連性レベル)を決めることを含んでよい。前記の所与のシステムにおいて、所定の音響強調法は、メタデータで指定される特定の関連性レベルに従って、音響再生成フォーマットを選択的に適用することを含む。例えば、言明データの関連性レベルは、言明データのソースの身元(識別子)に基づいて決定可能である。本発明の他の形態によれば、本方法は、ユーザが明確に聞き取れるように意図された情報を選択的に消音するように、所定の音響強調法を選択することを有する。
【００１４】
本発明の他の形態によれば、本方法は、第２メタデータに応じてBRIRフィルタ及び反響(reverb)フィルタの少なくとも１つと共に言明データを修正するステップを更に含む。この場合において、本方法は、前記言明データのソースに関連する遠隔地点と前記ユーザとの相対的な空間距離に応じて、BRIR及び反響フィルタの少なくとも一方を選択することを含む。  
本願で使用される「言明データ(enunciated  data)」は、ユーザに提供可能な多種多様なオーディオ情報を含むことに留意を要する。例えば、様々なタイプの言明データは、人により発音された生音声データや、ユーザのために合成された又は機械再生された１つ以上の言葉を指定するデータ等を含む。そのような合成又は機械再生は、保存されたオーディオデータを用いて、言明データで指定されるように１つ以上の言葉を生成することを含む。本願で使用される「言明データ」という用語は、ユーザ用に再生成される１つ以上の異なる種類のオーディオトーンを指定するデータを含んでよいことに留意を要する。
【００１５】
更に、本発明方法は人間の会話のような「言明データ」を生成することに限定されない。有利なことに、本方法は、制御信号に応答して「言明データ」を生成する１つ以上の信号を自動的に生成することも含む。例えば、有利なことに、制御信号は、所定の条件の出現を特定することができる。一実施例では、本方法は、触覚環境に設けられたセンサに応答して制御信号を自動的に生成することを含む。
【実施例１】
【００１６】
多軸ジャイロスコープが小型になり、高精度になりそして頑丈になってきた結果、頭部追跡手段をリスナのヘッドフォンの中に置き、リスナの頭部の向きに応じるバイノーラル音響システムを提供することができる。この頭部追跡情報が処理され、リスナの耳に届く音を変化させ、リスナが仮想的な3-D環境で音を聴くこと及び音の場所を推測できるようにする。異なるバイノーラル音響システムは、異なる特性を有する。例えば、あるバイノーラル音響システムの場合、仮想的な音は、リスナの頭部に対する位置を固定したままであるように生成されるかもしれないし、或いはリスナの頭部の回転や向きによらず、リスナの実環境世界に対して固定されたまま生成されるかもしれない。これらの概念は、図１−３に関連して詳述される。
【００１７】
図１は、リスナの頭部110の様々な頭部回転及び頭部位置を示す。軸Ｘ，Ｙ及びＺはリスナの頭部110の位置を規定する。Ｘ軸周りの頭部の回転は環状矢印(ロール(roll))114で表現され、Ｙ軸周りの頭部の回転は環状矢印(ヨー(yaw))112で表現され、Ｚ軸周りの頭部の回転は環状矢印116(ピッチ(pitch))で表現される。ヨーは、他の文献では方位角やピッチとして定義され、別の文献では仰角として規定されているかもしれない。ヘッドフォン108内に収容される頭部追跡装置102は如何なる手段(ヨー、ピッチ及びロール(向き)に関する情報と、リスナの頭部110の位置とに関する情報をサウンドプロセッサに提供できる如何なる手段)でもよい。例えば、３軸ジャイロスコープが向きを決定するのに使用可能であり、GPSユニットが位置を決定するのに使用可能である。向き(位置関係)の情報は、バイノーラル音響処理システムに与えられる。
【００１８】
頭部追跡装置(ヘッドトラッキング装置)102は、ヘッドフォンフレーム105上に搭載可能である。スピーカ104，106もヘッドフォンフレーム105に取り付け可能である。このように、ヘッドフォンは、リスナの頭部110の両耳の近くに用意される。ヘッドフォンフレーム105は、リスナの頭部110に載せられ、頭部の動きに応じて動く。もちろん、他の配置も可能である。例えば、スピーカを頭部110に取り付ける如何なる従来手段が使用されてもよい。耳栓(イヤフォン)、ヘッドフォン又はスピーカ(耳から隔たった位置にあるスピーカ)と共に、システムが実現可能なことが理解されるべきである。
【００１９】
図２及び図３は、頭部固定(head-fixed)バイノーラル音響システム200及び外界(world-fixed)固定バイノーラル音響システム300の相違を示す。頭部固定環境200の場合、バイノーラル音は、リスナの頭部110に対して固定された位置関係のまま生じる。(2A)及び(2B)を比較すると、リスナの頭部110がＹ軸周りに頭部方向202から頭部方向210に回った場合、音源204はリスナの頭部の向きと共に移動することが分かる。右スピーカ104及び左スピーカ106と共にリスナの耳に与えられるバイノーラル音は、音源204の位置が実際の外界での場所を変えたとしても、或いはリスナの頭部110が音源204の位置に対して動いたとしても、デシベルレベルや品質を変えない。
【００２０】
逆に、図3A及び3Bは、外界固定バイノーラル音響システム250の例を示す。外界固定バイノーラル音響システム250において、頭部110が、Ｙ軸の周りに頭部方向252から頭部方向260に回ったとする。しかしながらこの場合、音源254は、リスナに対して音源の仮想的な位置を変えるようには現れないことが、図3A及び3Bから分かる。右スピーカ104及び左スピーカ106と共にリスナの耳に与えられるバイノーラル音は、リスナ頭部110の現実世界での位置が、音源204の位置に対して移動又は変化した場合、デシベルレベルや品質が変わる。本願で開示される様々な形態は、外界固定バイノーラル音環境に有利に使用可能である。しかしながら、本発明はその場合に限定されず、頭部固定バイノーラル音響環境が使用可能な場合もあることが理解されるであろう。特定の環境を利用する何れの場合にも望ましいことは、以下の詳細な説明から更に明らかになるであろう。
【００２１】
図４は、本願で使用されるバイノーラルシステムにおけるシステム動作を説明するのに有益なシステム概略図である。複数のユーザ109-1，109-2，．．．．，109-nの各々には、バイノーラル音響システム(BSS:  Binaural  Sound  System)400が備わっている。BSS400の各々は一群のヘッドフォン108又は他の音響生成装置に接続されている。ヘッドフォン108は好ましくはユーザの頭部110にある。BSSはヘッドフォン108に一体化されてもよい。しかしながら、サイズ及び重量の観点からは、携帯可能な又は持ち運び可能な無線システムにBSSを統合することが更に好ましい。有利なことに、各BSS400は無線トランシーバ回路を含み、無線トランシーバ回路は、所定の無線伝送プロトコルに従って、RF信号を他のBSS400との間で送受信することを可能にする。本願で説明されるような様々なタイプのデータを伝送することを可能にする無線伝送プロトコル自体の厳密な特質は本願では重要でない。
【００２２】
本発明の一実施例によれば、BSS400の装置は、１つ以上の遠隔的な検出装置401と共に動作するよう設計可能である。遠隔的な検出装置401は、様々な検出法を行うように設計可能であり、これらについては後述される。検出装置401は、所定の無線伝送プロトコルを用いてBSS400と直接的に又は間接的に通信する。この場合において、無線伝送プロトコルは、地上の又は空間の中継装置及び通信サービスを利用することを含んでよいことが、理解されるべきである。
【００２３】
図５は、バイノーラル音響システム400を理解するのに有用なブロック図である。図５に示されるアーキテクチャは、本発明の限定を意図するものではなく、本発明による恩恵をもたらす１つの可能なシステム例を提示するに過ぎないことを、当業者は理解するであろう。本願で開示されるものと同様な機能を備えた他の如何なるシステムアーキテクチャが使用されてもよい。
【００２４】
図５から分かるように、BSS400はシングルチャネル又はマルチチャネルRFトランシーバ492を含む。RFトランシーバは、上記の所定の無線伝送プロトコルを実現するハードウエア及びソフトウエアを含んでよい。所定の無線伝送プロトコルは、図６に示されるような少なくとも２種類の情報を含む少なくとも1つの信号600を通信するのに有利なように選択される。第１タイプの情報は、「言明データ」(enunciated  data)602を含む。言明データ602は、ユーザ109-1，109-2，．．．，109-nに対して明確に音が発せられた或る情報を指定する。第２タイプの情報はメタデータ604である。(6A)は、第１タイプの情報602及び第２タイプの情報604が、信号600の中で１つのデータストリームの一部をなすように順番に送信可能なことを示す。代替例として、(6B)は、第１タイプの情報602及び第２タイプの情報604が、信号600，601の２つの別個のデータストリームの部分として並列的に送信可能なことを示す。例えば、(6B)の２つの別個の信号600，601は、別々の周波数で伝送されてもよい。選択される特定の伝送プロトコルは本発明にとって重要でないことを、当業者は理解するであろう。
【００２５】
使用される伝送プロトコルによらず、メタデータ604は、１つ以上の異なるタイプのデータを含む。例えば図６の場合、第１タイプのメタデータ604-1及び第２タイプのメタデータ604-2を含むように、データが示されている。しかしながら、本発明はそのような場合に限定されず、より多くの又はより少ない異なるタイプのメタデータが通信可能である。メタデータの異なるタイプの厳密な数によらず、本願の様々なメタデータタイプに関するものは、一般に、何らかの方法に関連する又は言明データ602に重要な様々な種類の個々の有用情報を指定する個々のデータ要素に関することを、理解されるべきである。本発明の一実施例の場合、少なくとも第１タイプのメタデータ604-1は、言明データ602の特徴を指定する情報を含むが、3-Dバイノーラル効果をもたらすのに使用される空間的位置情報は含まれない。例えば、第１タイプのメタデータは、通信が所属しているユーザグループ又は個人、通信される特定の言明データの特定のタイプを指定するデータ、言明データに関連する警報のタイプ又は警告のタイプを指定するデータ、人から及び機械音源から言明データを区別するデータ、認証データ等を指定することができる。特に、第１タイプのメタデータは、3-Dバイノーラル音響効果をもたらすのに使用されないある種の空間位置情報を含むこともできる。例えば、第１タイプのメタデータ604-1は、選択されたユーザの位置を特定するのに使用される限定された地理的領域を決める情報を含み、そのユーザは、ある言明データ602を受信するように意図されている者である。そのような情報は、どのユーザが明確に発音された音を受信するかを決めるのに使用されるが、3-Dバイノーラル音響効果を生み出さず、或いはバイノーラル音響環境中の場所も決定しない。
【００２６】
第２タイプのメタデータ604-2は、言明データに関する空間的位置情報を特定し、そのデータは3-Dバイノーラル音響効果を生み出すのに使用される。例えば、空間的位置情報は、以下のものの内の１つ以上を含んでよい：言明データの音源の実世界での位置、言明データの音源の仮想的な位置又は見かけ上の位置、実世界での基準(目標)位置、及び／又は実世界での宛先の位置。また、実世界での位置及び／又は仮想世界での位置は、選択的に、言明データの音源又は見かけ上の音源の高度(altitude)を含んでよいことが、理解されるべきである。異なるタイプのメタデータを用意する意義は以下の説明から明らかになるであろう。
【００２７】
図５を参照するに、言明データ(602)及びメタデータ(604)を含む無線周波数信号600，601は、ユーザ各々のBSS400により受信されることが分かる。RF信号はアンテナ490から受信され、アンテナ490は、RFトランシーバ492に結合される。RFトランシーバは、通常のシングル又はマルチチャネルRFトランシーバ機能をもたらし、例えばRFフィルタリング、増幅、IFフィルタリング、ダウンコンバージョン及び復調等を行う。このような機能自体は当業者に良く知られており、従って本願では詳細には説明されない。RFトランシーバ492は、有利なことに、暗号化及び解読する機能を有し、情報を安全に通信することを促す。そして、RFトランシーバ492は、言明データ602及びメタデータ604を分離することで、RF信号をデコードする。この情報は、音響環境マネジャ494に伝達される。例えば、言明データ602及びメタデータ604は、並列的な又は直列的なフォーマットで音響環境マネジャ494に伝達可能である。
【００２８】
音響環境マネジャ494は、汎用コンピュータ又はマイクロプロセッサ、及び／又は1つ以上のディジタル信号プロセッサにより実現可能であり、汎用コンピュータ等は、本願で説明される様々な処理を実行するのに相応しい命令群と共にプログラムされる。音響環境マネジャ494は、１つ以上の特定用途向け集積回路(ASIC)で構築可能であり、ASICは、上記の様様な処理及び機能を実現するように設計される。音響環境マネジャは１つ以上のデータ格納部を含み、データ格納部は、上記の処理を行うハードウエアからアクセス可能である。これらのデータストアは、時期ハードドライバ、RAM及び／又はROM等のような大容量データストレージ装置を含んでもよい。音響環境マネジャ494は、様々なハードウエア及びソフトウエアエンティティの間でデータを伝送するのに相応しい１つ以上のコンピュータバスを含み、それらのエンティティは、音響環境マネジャ494を構築するものである。コンピュータバスは、様々なハードウエアエンティティをデータポートに接続することができ、そのデータポートは、上述したようなBSS400の他の部分と通信するのに相応しいデータポートである。これらのデータポートは、バッファ回路、A/D変換器、D/A変換器及び何らかの他のインターフェース装置を含むことができ、インターフェース装置は、BSS400を形成する様々なハードウエアエンティティ間の通信を促す。
【００２９】
音響環境マネジャ494は、ヘッドセットを装着しているユーザの頭の向きに関する情報を受信する。例えば、頭部追跡装置102からのセンサデータが、頭部方向推定部414に伝達可能である。頭部方向推定部は、図示されているようにBSS400内に組み込まれてもよいし、或いは頭部追跡装置102と一体化されてもよい。いずれにせよ、リスナの頭部の向きに関するデータは、音響環境マネジャに伝達される。そのようなデータは、ピッチ、尾ロール及びヨーデータを含むことができる。音響環境マネジャ494は、サウンドフィールド制御インターフェース416からの信号を受信する。サウンドフィールドコントローラ416は、有利なことに、１つ以上のシステムインターフェース制御部を含み、その制御部は、所望のオーディオ環境又は環境の組み合わせをユーザが指定することを可能にする。これらの制御部は、何らかの必要なインターフェース制御部を実現する必要性に応じて、ハードウエアエンティティ、ソフトウエアエンティティ、又はハードウエア及びソフトウエアエンティティの組み合わせを含んでよい。
【００３０】
音響環境マネジャ494の機能は、ある特化されたオーディオ環境を作り出すようにユーザが選択的に選ぶ複数の環境を管理することである。サウンドフィールド制御インターフェース416を使用することで、ユーザは、音響環境マネジャ494が、音響環境をいくつでも選択及び合成することを引き起こすようにできる。これらの環境は以下のものを含むがそれらに限定されない：選択的なフィルタリング、選択的な関連付け、警告及び警報、インテリジェンスインフュージョン(intelligence  infusion)、ナビゲーション支援、位置特定及びテレプレゼンス(telepresence)。
【００３１】
図５を再び参照するに、頭部追跡装置102は、リスナの頭部の回転及び位置に関する情報を提供することが分かる。頭部追跡情報は音響環境マネジャ494で使用され、RF受信機492で受信される言明データ602に適用される、オーディオ推定部496内の様々なフィルタを変更する。1つ以上のバイノーラル環境を互いに有利に提供するため、BSS400はオーディオ推定部496を含む。オーディオ推定部496は、必要に応じて言明データを処理し、ユーザにより選択された様々なオーディオ環境を実現する。この場合において、オーディオ推定部496は、言明データ音を生成するディジタル信号処理回路を含む。例えば、言明データで指定される言葉又は音の各々は、一群のHRTFフィルタ408、一文のバイノーラルルームインパルス応答(BRIR)フィルタ410及び一群の反射フィルタ412の特定の組み合わせを必要とするかもしれない。これらの全ての群は必要に応じてオーディオミキサ484で組み合わせられる。オーディオミキサ484から生じるオーディオ信号は、ハンドセット108に伝達される。この結果は左スピーカ106用のオーディオ信号であり、言明データ602及びメタデータ604により指定されるような１つ以上の音源を表すモノフォニックな、ステレオフォニックな及びバイノーラルな音の組み合わせでもよい。右側のスピーカ104のオーディオ信号も、同様に、言明データ602により指定されるような１つ以上の音源を表すモノフォニックな、ステレオフォニックな及びバイノーラルな音の組み合わせでもよい。
【００３２】
有利なことに、BSS400は内部GPS推定部402を含む。内部GPS推定部402は、好ましくは、各ユーザのBSS400内に物理的に位置している。しかしながら、それはユーザの何処に設けられてもよく、頭部追跡装置102内に設けられてもよい。内部GPS推定部402の機能は、リスナの物理的な場所を音響環境マネジャ494に与えることである。音響環境マネジャは、出力されるRF信号のフォーマットをGPSメタデータと共に整え、各BSS400から伝送されるソース位置信号を決める。そのようなGPSメタデータがRF信号の一部として伝送される場合、そのデータは、タイプ１のメタデータ604-1と言及される。
【００３３】
上述したように、RFトランシーバ492は、言明データ602及びメタデータ604を音響環境マネジャ494に伝達する。音響環境マネジャは、２種類のデータをデコードし、ユーザに提示されるバイノーラル音の詳細を決める。例えば、音響環境マネジャは、言明データをデコードし、あるユーザ用に再生成される特定のオーディオ情報を決定する。この場合において、言明データは、多種多様な言明データを含み得ることが、理解されるべきである。例えば、言明データは、生音声のエンコードされたアナログ又はディジタル表現でもよい。そのような生音声の具体例は、人間の会話である。そのような言明データは、例えば、何らかの他のユーザに関連するBSS400から発せられるかもしれない。更に、言明データは、人間の会話に限定されないことが、理解されるべきである。言明データは、BSS400で再生成された機械合成音又は或るトーンを指定するデータを含む。例えば、そのような会話は、イヤコン(earcon)生成部406を用いて再生成可能である。
【００３４】
一般に、「イヤコン(聴覚的アイコン、音アイコン)」なる用語は、機械(マシン又はコンピュータ)により生成される音の警告又は指示を指す。イヤコン生成部406は、上記の言明データに応答して、イヤコン音を生成する。言明データ又は言明データのデコードバージョンは、音響環境マネジャ494によりイヤコン生成部406に与えられる。これに応じて、イヤコン生成部406は、ユーザに提供されるイヤコン音を生成する。従って、言明データ602は、警告、道案内、関心のある情報等を指示できることが、理解されるであろう。イヤコン生成部は、適切な音声を用いることでユーザに応答する。そのような機械合成音は、BSS400で或る記録フォーマットで保存されていてもよい。イヤコン生成部406は、そのような警告音のような音ではない信号を生成するように設計されてもよい。
【００３５】
イヤコン生成部406の説明から、言明データ602は、音声データを直接的に含むことは必須でないことが理解されるであろう。むしろ、言明データ602は単にポインタを含むだけでもよい。イヤコン生成部406は、そのポインタを使って、BSS400により生成される実際の音を決める。そのような音は、マシン合成会話音及び／又はトーンとすることができる。言明データ602が、ユーザに提示されるアナログ又はディジタル音を実際に含んでいることは必ずしも必要ない。しかしながら、代替実施例の場合、言明データ602は実際のオーディオデータを含んでもよく、そのオーディオデータは、イヤコン生成部406により再生成される警告音又は言葉のディジタル又はアナログ表現である。
【００３６】
一般に、言明データ602に、ある関連するメタデータが同伴してもよい。ある特定の言明データ602が受信された場合に、イヤコン生成部406がイヤコンを生成すべきか否かを判定するために、メタデータ604が使用可能である。本発明の一実施例によれば、音響環境マネジャ494は、空間位置メタデータを使用して、ユーザがバイノーラルなイヤコンメッセージを受信すべきか否かを判定する。例えば、言明データ602の音源と、言明データを受信したユーザとの間の距離を、音響環境マネジャは計算できる。音響環境マネジャ494は、イヤコンが生成されるべきか否かを、警告又はアラームのタイプに基づいて判定できる。この判定結果はイヤコン生成部406に伝達され、或いは言明データがイヤコン生成部に単に伝達されないよいにしてもよい。或いは、特定のユーザが、特定のイヤコンを受けるように意図された又は受ける必要のある者でないことを、音響環境マネジャ494はメタデータから判断できる。例えば、ユーザ達がそのようなイヤコンを要する特定のグループのメンバでないことを、彼らのサウンドフィールドコントローラ416のインターフェースを介してユーザが指示した場合に、上記の状況が起こり得る。タイプ１メタデータ(空間的位置情報を含まないメタデータ)は、イヤコンがタイプ１ユーザにのみ意図されていることを、言明データの音源が示していることを示すことができる。特定のユーザがタイプ２のユーザであった場合、彼らは明確に発音されたイヤコンメッセージを受信しない。
【００３７】
言明データ602が、再生成されるべき実際のオーディオ情報を含んでいる場合であっても或いはそれが単にポインタを含むに過ぎない場合であっても、オーディオ信号は、最終的にはオーディオ推定部496に伝達される。オーディオ信号は、言明データのディジタルデータストリームでもよいし、言明データのアナログオーディオ信号でもよいし、言明データ602の他の何らかの表現でもよい。オーディオ信号の特定の形式によらず、オーディオ推定部496は、オーディオ信号を処理し、所望のバイノーラル音を生成する。バイノーラル音を生成する技術自体は当該技術分野で既知である。従ってそのような技術は本願では詳細には説明されない。しかしながら、有利なことに、オーディオ推定部496は、HRTFフィルタ408、BRIRフィルタ410及びリバーブ(reverb)フィルタ412を含む。これらのフィルタの１つ以上を使用して、言明データで規定されているように、ユーザに提示される音声信号を修正する。特に、ユーザの耳各々への音は、受信した言明データ６０２に対応するメタデータ604に基づいて処理又は修正される。
【００３８】
同様に、特定のBSS400により生成された音声は、マイクロフォン107により検出される。この音声は、音響環境マネジャに伝達される。音響環境マネジャはその音声をアナログ信号又はディジタルデータストリームにフォーマットを整える。その信号はメタデータ604を含む。例えば、メタデータ604は、内部GPS推定部402で決定されるような特定のBSS400の空間位置情報を含んでよい。こうして生成された信号は、内部メタデータ生成部404により生成されたメタデータを含んでもよい。例えば、そのような内部メタデータは(非空間的位置情報である情報に関連する)タイプ２メタデータ604-2でもよい。本発明の一形態では、タイプ２メタデータは或るグループを指定し、特定のBSS400のユーザはそのグループに属している。例えばそのグループは兵士の軍隊とすることもできる。
【００３９】
サウンドフィールドコントローラ416は、ユーザが聴くことを希望するオーディオのタイプをユーザが指定できるようにし、１つ以上の仮想的なバイノーラル音声環境をユーザが指定することも可能にする。オーディオミキサ484はリスナにマイクロフォンの音、ステレオフォニック音又は3-Dバイノーラル音を提供する。更に、リスナは或る音源をバイノーラル音で含むが、同じ環境中の別の音源がステレオ音であるように選択できる。BSS400は、様々な仮想的音響環境を幾つでもユーザに提供し、その音響環境から選択が行われる。以下、選択可能なオーディオ環境及び本発明を有利に使用する方法が説明される。
【００４０】
Ａ．選択的フィルタリングモード
関連音情報は、場合によっては、望まれない背景音と共に劣化するおそれがあることを、当業者は認めるであろう。そのような劣化を低減し且つ信号雑音比を改善するため、人間は、関心のある音を選別する能力を生まれつき持っている。この本能は、必要のない音を人間が削減又は排除することを支援する。例えば、背景音声が大きかった場合でさえ、選別された声(又は、特定の場所から発する声)に或る程度集中できる能力を人間は生まれつき持っている。これは、「カクテルパーティ効果(cocktail  party  effect)」として様々な文献で説明されている。
【００４１】
本発明の一実施例の場合、兵士は、彼の属するグループ内の他の兵士の場所を良好に把握することで、戦場の状況を能く理解できる(優れた状況認識をすることができる。)。例えば、ある軍事偵察指令が４グループの兵士に関わり、各グループは、周囲状況を偵察するために異なる方向に進むものとする。通信ネットワークでなされる様々な会話全てを聴く代わりに、各グループは、彼ら自身のバイノーラル環境を選択できる。その後、あるグループの兵士達が、混雑している都市環境に分散され互いを見失った場合でも、彼らのグループメンバの場所各々を彼らは依然として把握するであろう。スピーカの仮想的な位置を可視化することで、彼らの音声通信は、グループの全員に彼らの大まかな場所を通知する。グループ内の誰でもが、彼らの声を単に聴くことでグループの他者との位置関係を知る。このように、兵士達は彼らの道具ではなくむしろ彼らの環境に目を向けることができる。
【００４２】
BSS400の場合、上記のタイプ１メタデータ604-1及びタイプ２メタデータ604-2を用いることで、上記の特徴は実現可能である。例えば、所定のグループの１つに属するユーザから発するような、BSS400から送信された特定の信号をタイプ１メタデータは特定できる。この場合、タイプ１メタデータ604-1は少なくとも１つのデータフィールドを含み、そのデータフィールドは、ユーザが所属している所定のグループの１つを特定するように用意されている。例えば、このグループ情報は、インターフェースを介してユーザによりBSS400に入力可能であり、そのインターフェースはサウンドフィールドコントローラ416により用意される。メタデータ604は、言明データ602と共に送信信号600に挿入される。その後、送信信号600が別のユーザのBSS400により受信されると、音響環境マネジャ494は、タイプ１メタデータに基づいて、送信信号600が発せられたグループを特定する。信号を送信したユーザが、信号を受信したユーザと同じグループのメンバであった場合、音響環境マネジャは、そのユーザに言明データ602が再生成されることを引き起こし、バイノーラル処理を用いて3-D音響効果をもたらす。タイプ２メタデータは、音響環境マネジャ494により使用され、言明データに適切なバイノーラル処理を判断する。例えば、オーディオ生成部496はその情報を利用し、ユーザのバイノーラル環境に音が適切に与えられるようにする。例えば、オーディオ生成部はその情報を使って、言明データが、仮想音響環境内の所望の空間位置から適切に発生することを引き起こす。
【００４３】
Ｂ．選択的関連モード
上記の選択的フィルタリング法は、別の形態でBSS400により使用可能であり、3-D(バイノーラル)、2-D(ステレオフォニック)及び1-D(モノフォニック)のような複数の音次元(audio  dimension)を組み合わせる。例えば、場合によっては、ユーザは背景の音情報を全て排除することを希望しないかもしれない。しかしながら、所望のバイノーラル音源とともに同じ音次元の中で関連の低い音を維持するのではなく、ユーザは、その関連の低い音をモノフォニック(1-D)又はステレオフォニック(2-D)の次元に変えることができる。音の音響フォーマットをバイノーラルからモノフォニックな音に又はステレオフォニックな音に変えることは、そのような音の関連性や重要度のレベルの違いを表わす。なお、このプロセスは、その音の何らかの位置確認手がかりを排除する。1-D、2-D又は3-Dの音のデシベルレベルは、リスナがその次元を希望する時はいつでも調整可能である。
【００４４】
上記の効果をもたらすため、所定のユーザグループ各々について、別個のバイノーラル音響環境を決定することができる。以後、BSS400各々は受信したメタデータを使って、言明データを発したユーザのグループを特定する。あるユーザの所定のグループ内の様々なユーザから受信した言明データは、バイノーラルフォーマットで提供される。特に、音響環境マネジャ494はタイプ１メタデータ604-1を利用して、信号が特定のグループのメンバから発せられたか否かを判定する。同じグループのメンバから発せられた言明データは、3-Dバイノーラル音響環境内の各BSS400ユーザ用に再生成される。各BSS400はグループメンバのために言明データを処理し、タイプ２メタデータを利用してバイノーラル音を生成し、そのユーザのグループのメンバが位置する場所を表現する。
【００４５】
好適実施例によれば、所定のユーザグループの少なくとも第2のものに属するユーザから、BSS400はRF信号600を受信する。そのようなRF信号は、タイプ１メタデータを利用することで特定可能である。これらの信号中の言明データ602は、ヘッドセット108で再生成され、ユーザは音響的に感知できる。しかしながらここで重要なことに、BSS400はそのような音を異なるオーディオフォーマットで再生成するように構築可能である。例えば、そのような音を3-Dバイノーラルフォーマットで再生成するのではなく、その音は、1-Dモノフォニックフォーマットで提供可能である。この音は同じ音響効果では提供されないので、その音はユーザにとって異なって感知される。ユーザは、この区別(相違)を利用して、彼ら自身のグループメンバの声に選択的に集中することができる。
【００４６】
上述の様々な音次元を組み合わせることでユーザが恩恵を受ける様々な状況が存在する。例えば、先の例における司令官は、他の３人の司令官の声をモノフォニック音で聴くことを希望するかもしれない。かくて司令官は、彼のグループの兵士のバイノーラルな声と他の司令官のモノフォニックな声とを区別できる。更に、他の司令官の声を聴く能力を持つことは、リスナの状況判断に関する重要な情報をリスナに提供する。
【００４７】
Ｃ．アラート及び警告
声の連絡に加えて、タイプ１及びタイプ２メタデータを使って他のタイプの情報が音響環境(サウンドフィールド)に重ね合わせられてもよい。例えば、１つ以上のセンサ401を利用することで、センサ情報が検出可能である。このセンサ情報は、信号600に対応するフォーマットに統合可能である。そしてこの信号は様々なユーザ109-1，109-2，．．．，109-nに送信され、各ユーザに関連するBSS400により受信される。センサ401は、バイオハザード(生物学的危険)、原子力災害又は化学的危険のセンサを含む如何なるタイプのセンサでもよい。更にセンサ401は、危険(ハザード)403が検出された場合に信号600をブロードキャストするよう設計される。信号600は、言明データ602及びメタデータ604を必要に応じて含み、ユーザに危害を知らせる。例えば、言明データはオーディオデータを含み、或いはBSS400で使用される特定のイヤコンを指すデータポインタを含む。言明データは危険の種類(性質)をユーザに通知するよう使用可能である。メタデータ604はタイプ１メタデータ及びタイプ２メタデータを含むことができる。
【００４８】
タイプ２メタデータは、危険を検出したセンサのGPS座標、又はセンサで検出された危険な場所のGPS推定座標を含むことができる。このRF信号がユーザの無線機で受信された場合、ユーザのBSS400は、タイプ２メタデータを使って、センサ401がそのユーザと関わっている場所を判定し、言明データで指定されるイヤコンをユーザに提供する。イヤコン生成部は受信した言明データを「化学的毒物発見。こちらに近づかないで下さい。」のような語句に翻訳し、兵士の3-D音響環境で聞こえるであろう。特に、音響環境マネジャ494は、センサ401が提供したGPS座標とユーザが提供したGPS座標(例えば、内蔵GPS生成部402により提供される)とを使用して、そのユーザに対する危険の方向を判断する。警告音声は、ユーザが致命的な毒物に接近しすぎていることをユーザに警告し、その3-Dバイノーラル音を聞くことで、ユーザはセンサ401(及び／又は関連する危険場所)の方向を突き止めることができる。かくてユーザは影響の及ぶ地域から逃げるためにどの方向に行くべきかを知ることができる。
【００４９】
Ｄ．インテリジェンスインフュージョン
インテリジェンス情報と上記のバイノーラル音響環境を組み合わせることは、前線の兵士能力を大幅に強化する。従来、司令センタに過剰に多くの情報が到来すること及び前線の兵士に適時に適切な情報が届かないことが問題であった。本発明によれば、インテリジェンス(言明データ602)は適切なGPSデータ(タイプ１メタデータ604-1)と共にブロードキャストされ、そのインテリジェンスデータを受信する或る地域内のユーザを特定する。このように、速やかに情報を必要とするユーザは、上記の選択的な関連モードによりその情報を受信する。別の状況では、インテリジェンス情報は、コマンドセンタからそれを必要とする兵士達のみにブロードキャストされ、上述の選択的なフィルタリング(選別)モードで受信される。
【００５０】
これらの特質を更に理解するため、具体例が考察される。市街戦の場合、センサが街中に配備され、様々な出来事(イベント)を検出する。或るグループの兵士達がBSS400を装備して救助指令に出向いた場合、兵士達は２つの音響環境を組み合わせ、彼らの状況認識力を改善する。例えば、3-Dバイノーラル環境及びモノフォニック環境が選択されるかもしれない。
【００５１】
兵士達が待ち伏せに備えて分散しなければならない場合、上記の選択フィルタリングモードは有益である。全ての兵士は、彼らの声の情報を単に聴くことで彼らの仲間の居る場所を知ることができる。狙撃者が居ることのような危険性を検出するために、１つ以上のセンサ401が使用可能である。これらのセンサ401は、路上の兵士達に発砲した屋根上の狙撃者402により、活性化される。センサ401は、狙撃者の空間的場所を地域内の兵士全員に同時に提供する。これは、センサ401が敵からの発砲のGPS座標を特定し、味方の発砲を狙撃者の場所に仕向けることで達成可能である。路上の兵士の場合、彼のコンピュータにはイヤコンが備わっており、狙撃者の場所からあたかもそれが生じたかのように仮想的な3-D音で発生する。言明データ602は、「私を撃て、私を撃て(shoot  me,  shoot  me)」と述べるイヤコンを特定する。タイプ２メタデータは、狙撃者の危険のある場所を指定するGPS情報を含んでもよい。
【００５２】
本発明の一実施例の場合、センサ401は数秒間警告を発する。狙撃者402が位置を変えて再び発砲した場合、センサ401は新たな場所を検出し、新たな警告を発する。BSS400はその警告を受信し、タイプ２メタデータ604-2でその変化を検出する。メタデータにおけるその変化は、3-Dバイノーラル環境におけるイヤコンの仮想的な場所をBSS400が変えることを引き起こす。有利なことに、そのイヤコンは、より大きな音で最初は始まり、数秒間にわたって徐々に減衰する。これは、狙撃者402が最後に発砲して以来どの程度経過しているかを兵士に知らせる。この状況の場合、オーディオインテリジェンスは兵士にリアルタイムで提供されており、その地域の危険を速やかに警告し、兵士達は、視覚で道具を見るために周囲状況から目を離す必要はない。
【００５３】
同様に、指名手配中の容疑者が街中の或る特定のインターネットカフェで発見された場合、インテリジェントデータが、そのカフェの近くにたまたま居合わせた兵士達にブロードキャストされ、その被疑者を捕獲することを支援する。カフェの近くに居合わせた兵士達は、タイプ１メタデータ604-1を含むブロードキャストメッセージを受信することで指定可能である。そのタイプ１メタデータで規定される特定の限定された地理的領域内に居る兵士達だけにメッセージが発音されることを、そのタイプ１メタデータは示す。例えば、タイプ１メタデータは、特定のGPS座標及び所定の距離を特定することができる。そして各BSS400は、特定のGPS座標から所定の距離の範囲内にBSS400が位置するか否かを判断できる。当然に、他の方法を使って地理的領域を指定してもよい。ブロードキャストされた信号600は言明データ602を含み、言明データは適切なイヤコンを直接的に又は間接的に指定する。例えば、カフェの数ブロック以内に居る兵士全員に通知されるよう選択されたイヤコンは、「私を捕まえろ，私は指名手配されている！」とすることができる。兵士達はBSS400により与えられる案内によりバイノーラル音響環境の中で注意深く移動してカフェを発見し、その容疑者を確保する。
【００５４】
Ｅ．ナビゲーション支援
BSS400はナビゲーション支援として使用することもできる。例えば、兵士達が敵地から抜け出る必要があった場合、抜け出る時間及び場所に関する情報を含む信号600は、彼らのBSS400により受信される。例えば、この信号600は、言明データ602、タイプ１メタデータ及びタイプ２メタデータを含み、その情報を規定する。内蔵GPS推定部402により指定されたGPS座標と共に、信号はBSS400により使用される。例えば、この情報はBSS400により使用され、兵士に３つの音声情報を与える。先ず、言明データ602により規定されるイヤコンが、抜け出る地点の道案内(方向)を示すバイノーラル音を提供する。次に、イヤコンは、抜け出る地点に至るまでに残っている距離を兵士に伝える。最後に、抜け出る乗物(例えば、ヘリコプタ)が到着する前に、イヤコンはどの程度時間が残っているかを兵士に伝える。従って兵士達は「脱出場所は２マイル先。残り３２分。」というような反復的なイヤコンを聴く。イヤコンはバイノーラル音で提供され、脱出場所の方角から音が生じているように見せてもよいことに、留意を要する。内部コンピュータは、数秒毎に音情報を更新し、兵士のHRTFは常に更新され、兵士達を適切な場所に案内する。
【００５５】
この音響ナビゲーション環境は、他の音響環境と組み合わせられ、彼らの周囲に関する追加的な情報を兵士に与える。例えば、或る兵士は他の戦友と連絡をとる必要があり、その戦友は、見通し線上には居ないが、同じ脱出地点に向かう者である。兵士全員は他の兵士のおおよその場所を聴くことができる。或る兵士が傷ついて歩行に困難であった場合、バイノーラル音響システムは、脱出地点に向かうのを支援するように、負傷兵士の近くの兵士に指図する。
【００５６】
Ｆ．位置検索拡張
別の音次元は、BSS400により生成されたバイノーラル音響フィールドに手を加え、位置に関する良い手がかりをユーザに与えるようにすることである。これらの位置の手がかりは、特定の方向に音が見かけ上単に発するようにしていることを改善できる。本発明の一実施例によれば、BRIRフィルタ410は、反響効果を生じるように使用可能である。様々な仮想的な部屋又は空間(room)が使用され、ユーザから放射状の距離を表す。この技法を使って、遠隔信号源がユーザの位置に対してどの程度距離があるかを、ユーザは良好に推定できる。例えば、100フィート未満の距離は、BRIRによるフィルタリング(選別)なしにユーザに提示され、或いはBRIRは小さな空間のBRIRに対応してもよい。101乃至1000フィートの間の距離の場合、狭い空間に対応するBRIRフィルタ410が使用される。1000フィートより遠い距離の場合、細くて狭い空間に対応するBRIRフィルタ410が使用される。当然に、空間の厳密な形状やBRIRフィルタの厳密な対応関係は、本発明にとって重要でない。必要なことは、ユーザ間の様々な距離を区別するように、様々なBRIRフィルタが使用されることである。従って、２マイルの雑木林に分散した兵士達のグループは、100フィート未満の場所に位置する仲間の兵士から通常の音を聴く。中程度に離れている(例えば、101乃至1000フィート)兵士仲間と連絡をとる場合、そのような兵士の声は、彼らの声が狭い空間の端からあたかも生じているかのように発せられる。同様に、遠く離れた兵士(例えば、1000フィート以上)からの音声伝送は、細長い空間の端からあたかも発するように音が発せられる。当然に、グループ内の兵士達からの全ての通信は、バイノーラル音で提供可能である。従って、兵士達全員は、その声を聴くことで、彼ら及びスピーカの間で相対的な方向及び近似的な距離を知ることができる。
【００５７】
言明データ602、タイプ１メタデータ604-1及びタイプメタデータ604-2を用いて、更なる機能がBSS400で実現可能である。ユーザ間の距離は、タイプ２メタデータを使って通知可能である。サウンドフィールドコントローラ416により用意されるインターフェースを使って、ユーザは拡張された位置検索モードを選択できる。従って、信号を送信したBSS400とその後に信号を受信したBSS400との間の距離の計算に基づいて、音響環境マネジャ494は、適切なHRTFフィルタ408及び適切なBRIRフィルタ410を選択する。
【００５８】
Ｇ．テレプレゼンスモード
テレプレゼンス(telepresence)モードは、如何なる環境にもユーザを仮想的に配置することを可能にし、その地域で起こる活動を能く理解できるようにする。テレプレゼンスモードを利用することで、軍隊指揮官は、何らかの特定の戦場で起こっている軍事活動をより効果的に理解する。戦場に任意のGPS位置座標と共に彼らのBSS400をプログラミングすることで、どの司令官(commander)も最前線に仮想的に移される。その場所は一定の物理的な場所でもよいし、或いはその場所は指揮官又は兵士と共に戦場で動的に変わってもよい。テレプレゼンスにより、選択された将校に対して、兵士全員又は将校の声の連絡及び仮想的な位置をユーザは聴くことができる。このバイノーラル音は、司令官が戦場上空を飛行する無人機から受信する視覚的情報を補足する。この戦場環境に仮想的に入ることで、その司令官はより良い判断を行うことができる。
【図１】
2009543479.tif 000003
【図２Ａ】
2009543479.tif 000004
【図２Ｂ】
2009543479.tif 000005
【図３Ａ】
2009543479.tif 000006
【図３Ｂ】
2009543479.tif 000007
【図４】
2009543479.tif 000008
【図５】
2009543479.tif 000009
【図６】
2009543479.tif 000010
【国際調査報告】
2009543479.tif 000011
2009543479.tif 000012
2009543479.tif 000013