(57)【要約】  仮想音を出力するための方法は、１つまたは複数のマイクロフォンにおいて、ある環境中のオーディオ信号を検出することを含む。方法はまた、プロセッサにおいて、オーディオ信号の音源の位置を決定することと、オーディオ信号に基づいて環境の１つまたは複数の音響特性を推定することと、を含む。方法は、１つまたは複数の音響特性に基づいて環境に仮想音を挿入することをさらに含む。仮想音は、音源の位置から生成される音の１つまたは複数のオーディオ特徴を有する。
2019527956.tif 000002
【特許請求の範囲】
【請求項１】
仮想音を出力するための装置であって、前記装置は、
ある環境中のオーディオ信号を検出するように構成された１つまたは複数のマイクロフォンと、
前記１つまたは複数のマイクロフォンに結合されたプロセッサと、
を備え、前記プロセッサは、
前記オーディオ信号の音源の位置を決定することと、
前記オーディオ信号に基づいて前記環境の１つまたは複数の音響特性を推定することと、
前記１つまたは複数の音響特性に基づいて前記環境に仮想音を挿入することと、前記仮想音は、前記音源の前記位置から生成される音の１つまたは複数のオーディオ特徴を有する、
を行うように構成される、装置。
【請求項２】
前記プロセッサは、前記環境への前記仮想音の挿入の前に、前記仮想音を生成するようにさらに構成される、請求項１に記載の装置。
【請求項３】
前記プロセッサは、
前記１つまたは複数の音響特性をメモリ中の１つまたは複数のエントリと比較することと、各エントリは、異なる仮想音に関連付けられ、
前記環境への前記仮想音の挿入の前に、前記比較に基づいて特定のエントリから前記仮想音を導出することと、
を行うようにさらに構成される、請求項１に記載の装置。
【請求項４】
前記プロセッサは、
前記オーディオ信号に基づいて、前記音源を特定のオブジェクトに分類することと、
前記特定のオブジェクトの仮想イメージを生成することと、
前記環境中の前記音源の前記位置において、前記仮想イメージを挿入することと、
を行うようにさらに構成される、請求項１に記載の装置。
【請求項５】
前記プロセッサに結合されたカメラをさらに備え、前記カメラは、前記環境をキャプチャするように構成される、請求項１に記載の装置。
【請求項６】
前記カメラは、防犯カメラを含む、請求項５に記載の装置。
【請求項７】
前記カメラ、前記１つまたは複数のマイクロフォン、および前記プロセッサは、ヘッドセットに統合される、請求項５に記載の装置。
【請求項８】
前記ヘッドセットは、前記環境の視覚的描写を表示するように構成される、請求項７に記載の装置。
【請求項９】
前記プロセッサは、
前記オーディオ信号の音特性を決定することと、
前記音特性に基づいて、前記音源が前記環境の第１の区域に位置するか、または前記環境の第２の区域に位置するかを決定することと、ここにおいて、前記第１の区域は、前記第２の区域よりも前記１つまたは複数のマイクロフォンに近い、
前記オーディオ信号の到来方向を推定することと、ここにおいて、前記位置は、前記音源に関連付けられた区域および前記到来方向に基づく、
を行うようにさらに構成される、請求項１に記載の装置。
【請求項１０】
前記音特性は、前記オーディオ信号の少なくとも１つの残響特性を備える、請求項９に記載の装置。
【請求項１１】
前記少なくとも１つの残響特性は、前記オーディオ信号の直接音対残響音比を備える、請求項１０に記載の装置。
【請求項１２】
仮想音を出力するための方法であって、前記方法は、
１つまたは複数のマイクロフォンにおいて、ある環境中のオーディオ信号を検出することと、
プロセッサにおいて、前記オーディオ信号の音源の位置を決定することと、
前記オーディオ信号に基づいて前記環境の１つまたは複数の音響特性を推定することと、
前記１つまたは複数の音響特性に基づいて前記環境に仮想音を挿入することと、前記仮想音は、前記音源の前記位置から生成される音の１つまたは複数のオーディオ特徴を有する、
を備える、方法。
【請求項１３】
前記環境への前記仮想音の挿入の前に、前記仮想音を生成することをさらに備える、請求項１２に記載の方法。
【請求項１４】
前記１つまたは複数の音響特性をメモリ中の１つまたは複数のエントリと比較することと、各エントリは、異なる仮想音に関連付けられ、
前記環境への前記仮想音の挿入の前に、前記比較に基づいて特定のエントリから前記仮想音を導出することと、
をさらに備える、請求項１２に記載の方法。
【請求項１５】
前記オーディオ信号に基づいて、前記音源を特定のオブジェクトに分類することと、
前記特定のオブジェクトの仮想イメージを生成することと、
前記環境中の前記音源の前記位置において、前記仮想イメージを挿入することと、
をさらに備える、請求項１２に記載の方法。
【請求項１６】
カメラを介して前記環境をキャプチャすることをさらに備える、請求項１２に記載の方法。
【請求項１７】
前記カメラは、防犯カメラを含む、請求項１６に記載の方法。
【請求項１８】
前記カメラ、前記１つまたは複数のマイクロフォン、および前記プロセッサは、ヘッドセットに統合される、請求項１６に記載の方法。
【請求項１９】
前記ヘッドセットにおいて前記環境の視覚的描写を表示することをさらに備える、請求項１８に記載の方法。
【請求項２０】
前記音源の前記位置を決定することは、
前記オーディオ信号の音特性を決定することと、
前記音特性に基づいて、前記音源が前記環境の第１の区域に位置するか、または前記環境の第２の区域に位置するかを決定することと、ここにおいて、前記第１の区域は、前記第２の区域よりも前記１つまたは複数のマイクロフォンに近い、
前記オーディオ信号の到来方向を推定することと、ここにおいて、前記位置は、前記音源に関連付けられた区域および前記到来方向に基づく、
を備える、請求項１２に記載の方法。
【請求項２１】
前記音特性は、前記オーディオ信号の少なくとも１つの残響特性を備える、請求項２０に記載の方法。
【請求項２２】
前記少なくとも１つの残響特性は、前記オーディオ信号の直接音対残響音比を備える、請求項２１に記載の方法。
【請求項２３】
仮想音を出力するための命令を備える非一時的コンピュータ可読媒体であって、前記命令は、プロセッサによって実行されたとき、前記プロセッサに、
ある環境中のオーディオ信号の音源の位置を決定することと、前記オーディオ信号は、１つまたは複数のマイクロフォンにおいて検出される、
前記オーディオ信号に基づいて前記環境の１つまたは複数の音響特性を推定することと、
前記１つまたは複数の音響特性に基づいて前記環境に仮想音を挿入することと、前記仮想音は、前記音源の前記位置から生成される音の１つまたは複数のオーディオ特徴を有する、
を備える動作を行わせる、非一時的コンピュータ可読媒体。
【請求項２４】
前記動作は、前記環境への前記仮想音の挿入の前に、前記仮想音を生成することをさらに備える、請求項２３に記載の非一時的コンピュータ可読媒体。
【請求項２５】
前記動作は、
前記１つまたは複数の音響特性をメモリ中の１つまたは複数のエントリと比較することと、各エントリは、異なる仮想音に関連付けられ、
前記環境への前記仮想音の挿入の前に、前記比較に基づいて特定のエントリから前記仮想音を導出することと、
をさらに備える、請求項２３に記載の非一時的コンピュータ可読媒体。
【請求項２６】
前記動作は、
前記オーディオ信号に基づいて、前記音源を特定のオブジェクトに分類することと、
前記特定のオブジェクトの仮想イメージを生成することと、
前記環境中の前記音源の前記位置において、前記仮想イメージを挿入することと、
をさらに備える、請求項２３に記載の非一時的コンピュータ可読媒体。
【請求項２７】
前記動作は、カメラに、前記環境をキャプチャさせることをさらに備える、請求項２３に記載の非一時的コンピュータ可読媒体。
【請求項２８】
前記カメラは、防犯カメラを含む、請求項２７に記載の非一時的コンピュータ可読媒体。
【請求項２９】
仮想音を出力するための装置であって、前記装置は、
ある環境中のオーディオ信号を検出するための手段と、
前記環境中のオーディオ信号の音源の位置を決定するための手段と、
前記オーディオ信号に基づいて前記環境の１つまたは複数の音響特性を推定するための手段と、
前記１つまたは複数の音響特性に基づいて前記環境に仮想音を挿入するための手段と、前記仮想音は、前記音源の前記位置から生成される音の１つまたは複数のオーディオ特徴を有する、
を備える、装置。
【請求項３０】
前記オーディオ信号に基づいて、前記音源を特定のオブジェクトに分類するための手段と、
前記特定のオブジェクトの仮想イメージを生成するための手段と、
前記環境中の前記音源の前記位置において、前記仮想イメージを挿入するための手段と、
をさらに備える、請求項２９に記載の装置。
【請求項３１】
音を出力するための装置であって、前記装置は、
メモリと、
前記メモリに結合されたプロセッサと
を備え、前記プロセッサは、
環境の１つまたは複数の位置において１つまたは複数の音響特性を決定することと、
特定のオブジェクトを示すユーザ選択を受信することと、
特定の位置のユーザインジケーションを受信することと、
前記１つまたは複数の音響特性に基づいて、前記特定の位置から生成される音の１つまたは複数のオーディオ特徴を決定することと、
前記特定のオブジェクトに関連付けられた仮想音を前記環境に挿入することと、前記仮想音は、前記１つまたは複数のオーディオ特徴を有する、
を行うように構成される、装置。
【請求項３２】
前記プロセッサは、前記環境への前記仮想音の挿入の前に、前記仮想音を生成するようにさらに構成される、請求項３１に記載の装置。
【請求項３３】
前記プロセッサは、
前記１つまたは複数の音響特性をメモリ中の１つまたは複数のエントリと比較することと、各エントリは、異なる仮想音に関連付けられ、
前記環境への前記仮想音の挿入の前に、前記比較に基づいて特定のエントリから前記仮想音を導出することと、
を行うようにさらに構成される、請求項３１に記載の装置。
【請求項３４】
前記プロセッサに結合されたウェアラブルセンサをさらに備え、前記ウェアラブルセンサは、
前記特定の位置を検出することと、
前記特定の位置の前記ユーザインジケーションを生成することと、
前記プロセッサに、前記特定の位置の前記ユーザインジケーションを送ることと
を行うように構成される、請求項３１に記載の装置。
【請求項３５】
前記ウェアラブルセンサは、ユーザの手に装着されるようにさらに構成される、請求項３４に記載の装置。
【請求項３６】
前記プロセッサに結合された１つまたは複数のスピーカと、前記１つまたは複数のスピーカは、前記環境の異なる位置においてオーディオ信号を生成するように構成され、
前記プロセッサに結合された１つまたは複数のマイクロフォンと、前記１つまたは複数のマイクロフォンは、各オーディオ信号を検出するように構成され、
ここにおいて、前記プロセッサは、前記１つまたは複数のスピーカによって生成される検出されたオーディオ信号に基づいて、前記１つまたは複数の位置において前記１つまたは複数の音響特性を決定するように構成される、
をさらに備える、請求項３１に記載の装置。
【請求項３７】
前記１つまたは複数のスピーカは、ユーザの手に装着されるようにさらに構成される、請求項３６に記載の装置。
【請求項３８】
音を出力するための方法であって、前記方法は、
環境の１つまたは複数の位置において１つまたは複数の音響特性を決定することと、
特定のオブジェクトを示すユーザ選択を受信することと、
特定の位置のユーザインジケーションを受信することと、
前記１つまたは複数の音響特性に基づいて、前記特定の位置から生成される音の１つまたは複数のオーディオ特徴を決定することと、
前記特定のオブジェクトに関連付けられた仮想音を前記環境に挿入することと、前記仮想音は、前記１つまたは複数のオーディオ特徴を有する、
を備える、方法。
【請求項３９】
前記環境への前記仮想音の挿入の前に、前記仮想音を生成することをさらに備える、請求項３８に記載の方法。
【請求項４０】
前記１つまたは複数の音響特性をメモリ中の１つまたは複数のエントリと比較することと、各エントリは、異なる仮想音に関連付けられ、
前記環境への前記仮想音の挿入の前に、前記比較に基づいて特定のエントリから前記仮想音を導出することと、
をさらに備える、請求項３８に記載の方法。
【請求項４１】
ウェアラブルセンサを使用して前記特定の位置を検出することと、
前記ウェアラブルセンサにおいて、前記特定の位置の前記ユーザインジケーションを生成することと、
プロセッサに、前記ウェアラブルセンサからの前記特定の位置の前記ユーザインジケーションを送ることと
をさらに備える、請求項３８に記載の方法。
【請求項４２】
前記ウェアラブルセンサは、ユーザの手に装着されるように構成される、請求項４１に記載の方法。
【請求項４３】
１つまたは複数のスピーカを使用して、前記環境の異なる位置においてオーディオ信号を生成することと、
１つまたは複数のマイクロフォンを使用して、各オーディオ信号を検出することと、
ここにおいて、前記１つまたは複数の位置における前記１つまたは複数の音響特性は、前記１つまたは複数のスピーカによって生成される検出されたオーディオ信号に基づいて決定される、
をさらに備える、請求項３８に記載の方法。
【請求項４４】
前記１つまたは複数のスピーカは、ユーザの手に装着されるように構成される、請求項４３に記載の方法。
【請求項４５】
音を出力するための命令を備える非一時的コンピュータ可読媒体であって、前記命令は、プロセッサによって実行されたとき、前記プロセッサに、
環境の１つまたは複数の位置において１つまたは複数の音響特性を決定することと、
特定のオブジェクトを示すユーザ選択を受信することと、
特定の位置のユーザインジケーションを受信することと、
前記１つまたは複数の音響特性に基づいて、前記特定の位置から生成される音の１つまたは複数のオーディオ特徴を決定することと、
前記特定のオブジェクトに関連付けられた仮想音を前記環境に挿入することと、前記仮想音は、前記１つまたは複数のオーディオ特徴を有する、
を備える動作を行わせる、非一時的コンピュータ可読媒体。
【請求項４６】
前記動作は、前記環境への前記仮想音の挿入の前に、前記仮想音を生成することをさらに備える、請求項４５に記載の非一時的コンピュータ可読媒体。
【請求項４７】
前記動作は、
前記１つまたは複数の音響特性をメモリ中の１つまたは複数のエントリと比較することと、各エントリは、異なる仮想音に関連付けられ、
前記環境への前記仮想音の挿入の前に、前記比較に基づいて特定のエントリから前記仮想音を導出することと、
をさらに備える、請求項４５に記載の非一時的コンピュータ可読媒体。
【請求項４８】
前記特定の位置の前記ユーザインジケーションは、ウェアラブルセンサから受信される、請求項４５に記載の非一時的コンピュータ可読媒体。
【請求項４９】
前記ウェアラブルセンサは、ユーザの手に装着されるように構成される、請求項４８に記載の非一時的コンピュータ可読媒体。
【請求項５０】
前記動作は、
１つまたは複数のスピーカを使用して、前記環境の異なる位置においてオーディオ信号の生成を開始することと、
１つまたは複数のマイクロフォンを使用して、各オーディオ信号を検出することと、
ここにおいて、前記１つまたは複数の位置における前記１つまたは複数の音響特性は、前記１つまたは複数のスピーカによって生成される検出されたオーディオ信号に基づいて決定される、
をさらに備える、請求項４５に記載の非一時的コンピュータ可読媒体。
【請求項５１】
前記１つまたは複数のスピーカは、ユーザの手に装着されるようにさらに構成される、請求項５０に記載の非一時的コンピュータ可読媒体。
【請求項５２】
音を出力するための装置であって、前記装置は、
環境の１つまたは複数の位置において１つまたは複数の音響特性を決定するための手段と、
特定のオブジェクトを示すユーザ選択を受信するための手段と、
特定の位置のユーザインジケーションを受信するための手段と、
前記１つまたは複数の音響特性に基づいて、前記特定の位置から生成される音の１つまたは複数のオーディオ特徴を決定するための手段と、
前記特定のオブジェクトに関連付けられた仮想音を前記環境に挿入するための手段と、前記仮想音は、前記１つまたは複数のオーディオ特徴を有する、
を備える、装置。
【請求項５３】
前記環境への前記仮想音の挿入の前に、前記仮想音を生成するための手段をさらに備える、請求項５２に記載の装置。
【請求項５４】
前記１つまたは複数の音響特性をメモリ中の１つまたは複数のエントリと比較するための手段と、各エントリは、異なる仮想音に関連付けられ、
前記環境への前記仮想音の挿入の前に、前記比較に基づいて特定のエントリから前記仮想音を導出するための手段と、
をさらに備える、請求項５２に記載の装置。
【請求項５５】
前記特定の位置を検出することと、前記特定の位置の前記ユーザインジケーションを生成することと、前記ユーザインジケーションを受信するための前記手段に前記特定の位置の前記ユーザインジケーションを送ることと、を行うための手段をさらに備える、請求項５２に記載の装置。
【請求項５６】
前記特定の位置を検出するための前記手段は、ユーザの手に装着されるように構成される、請求項５５に記載の装置。
【請求項５７】
前記環境の異なる位置においてオーディオ信号を生成するための手段と、
各オーディオ信号を検出するための手段と、
ここにおいて、前記１つまたは複数の位置における前記１つまたは複数の音響特性は、オーディオ信号を生成するための前記手段によって生成される検出されたオーディオ信号に基づいて決定される、
をさらに備える、請求項５２に記載の装置。
【請求項５８】
前記オーディオ信号を生成するための前記手段は、ユーザの手に装着されるように構成される、請求項５７に記載の装置。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
[0001]  本特許出願は、「VIRTUAL, AUGMENTED, AND MIXED REALITY」と題する、２０１６年７月１５日付で出願された米国仮特許出願第６２／３６３，１０４号からの利益を主張し、かつ２０１６年８月１６日付で出願された米国特許出願第第１５／２３８，５９１号の優先権を主張し、これらは、その全体が参照により明示的に組み込まれている。
【技術分野】
【０００２】
[0002]  本開示は、概して、拡張現実（augmented reality）に関する。
【背景技術】
【０００３】
[0003]  仮想現実アプリケーションが急速に普及してきている。例えば、様々なデバイスは、ユーザが仮想環境を可聴かつ視覚的に体験することが可能な特徴を含み得る。例として、ユーザは、ビデオゲームをするためのデバイスを使用し得る。デバイスのディスプレイスクリーンは、ビデオゲームに関連付けられた仮想オブジェクトをユーザに表示し得、デバイスのスピーカは、ビデオゲームに関連付けられた音（例えば、仮想音（virtual sounds））をユーザに出力し得る。本明細書で使用されるとき、「仮想オブジェクト」は、仮想現実アプリケーション（例えば、ビデオゲーム）を介してユーザが見ることができるが、そうでない場合には、仮想現実アプリケーションなしにユーザが見ることができない（例えば、「実世界（real-world）」ではユーザが見ることができない）オブジェクトに対応する。「仮想音」は、仮想現実アプリケーションを介してユーザが聞くことができるが、そうでない場合には、仮想現実アプリケーションなしにユーザが聞くことができない（例えば、「実世界」ではユーザが聞くことができない）音に対応する。
【０００４】
[0004]  特定のシナリオでは、ある人は、実世界の体験を十分に楽しむことができない可能性がある。非限定的例として、ある人が比較的遠くにいるハチドリを見ている場合に、その人は、そのハチドリが出した音（例えば、ブンブンという音（humming noises））を聞こうと試みるが、人とハチドリとの距離が、その人がハチドリからのブンブンという音を聞くことを妨げ得る。
【発明の概要】
【０００５】
[0005]  １つの実装によると、仮想音を出力するための装置は、ある環境中のオーディオ信号を検出するように構成された１つまたは複数のマイクロフォンを含む。装置はまた、１つまたは複数のマイクロフォンに結合されたプロセッサを含む。プロセッサは、オーディオ信号の音源の位置を決定するように構成される。プロセッサは、オーディオ信号に基づいて環境の１つまたは複数の音響特性（acoustical characteristics）を推定するようにさらに構成される。プロセッサはまた、１つまたは複数の音響特性に基づいて環境に仮想音を挿入するように構成される。仮想音は、音源の位置から生成される音の１つまたは複数のオーディオ特徴（audio properties）を有する。
【０００６】
[0006]  別の実装によると、仮想音を出力するための方法は、１つまたは複数のマイクロフォンにおいて、ある環境中のオーディオ信号を検出することを含む。方法はまた、プロセッサにおいて、オーディオ信号の音源の位置を決定することと、オーディオ信号に基づいて環境の１つまたは複数の音響特性を推定することと、を含む。方法は、１つまたは複数の音響特性に基づいて環境に仮想音を挿入することをさらに含む。仮想音は、音源の位置から生成される音の１つまたは複数のオーディオ特徴を有する。
【０００７】
[0007]  別の実装によると、非一時的コンピュータ可読媒体は、仮想音を出力するための命令を含む。命令は、プロセッサによって実行されたとき、プロセッサに、オーディオ信号の音源の位置を決定することと、オーディオ信号に基づいて環境の１つまたは複数の音響特性を推定することと、を含む動作を行わせる。動作は、１つまたは複数の音響特性に基づいて環境に仮想音を挿入することをさらに含む。仮想音は、音源の位置から生成される音の１つまたは複数のオーディオ特徴を有する。
【０００８】
[0008]  別の実装によると、仮想音を出力するための装置は、ある環境中のオーディオ信号を検出するための手段を含む。装置はまた、オーディオ信号の音源の位置を決定するための手段と、オーディオ信号に基づいて環境の１つまたは複数の音響特性を推定するための手段と、を含む。装置は、１つまたは複数の音響特性に基づいて環境に仮想音を挿入するための手段をさらに含む。仮想音は、音源の位置から生成される音の１つまたは複数のオーディオ特徴を有する。
【０００９】
[0009]  別の実装によると、音を出力するための装置は、メモリと、メモリに結合されたプロセッサとを含む。プロセッサは、環境の１つまたは複数の位置において１つまたは複数の音響特性を決定するように構成される。プロセッサは、特定の位置のユーザインジケーションを受信することと、特定のオブジェクトを示すユーザ選択を受信することと、を行うようにさらに構成される。プロセッサはまた、１つまたは複数の音響特性に基づいて、特定の位置から生成される音の１つまたは複数のオーディオ特徴を決定するように構成される。プロセッサは、特定のオブジェクトに関連付けられた仮想音を環境に挿入することを行うようにさらに構成される。仮想音は、１つまたは複数のオーディオ特徴を有する。
【００１０】
[0010]  別の実装によると、音を出力するための方法は、環境の１つまたは複数の位置において１つまたは複数の音響特性を決定することを含む。方法は、特定の位置のユーザインジケーションを受信することと、特定のオブジェクトを示すユーザ選択を受信することと、をさらに含む。方法はまた、１つまたは複数の音響特性に基づいて、特定の位置から生成される音の１つまたは複数のオーディオ特徴を決定することを含む。方法は、特定のオブジェクトに関連付けられた仮想音を環境に挿入することをさらに含む。仮想音は、１つまたは複数のオーディオ特徴を有する。
【００１１】
[0011]  別の実装によると、非一時的コンピュータ可読媒体は、音を出力するための命令を含む。命令は、プロセッサによって実行されたとき、プロセッサに、環境の１つまたは複数の位置において１つまたは複数の音響特性を決定することを含む動作を行わせる。動作は、特定の位置のユーザインジケーションを受信することと、特定のオブジェクトを示すユーザ選択を受信することと、をさらに含む。動作はまた、１つまたは複数の音響特性に基づいて、特定の位置から生成される音の１つまたは複数のオーディオ特徴を決定することを含む。動作は、特定のオブジェクトに関連付けられた仮想音を環境に挿入することをさらに含む。仮想音は、１つまたは複数のオーディオ特徴を有する。
【００１２】
[0012]  別の実装によると、音を出力するための装置は、環境の１つまたは複数の位置において１つまたは複数の音響特性を決定するための手段を含む。装置は、特定のオブジェクトを示すユーザ選択を受信するための手段と、特定の位置のユーザインジケーションを受信するための手段と、をさらに含む。装置はまた、１つまたは複数の音響特性に基づいて、特定の位置から生成される音の１つまたは複数のオーディオ特徴を決定するための手段を含む。装置は、特定のオブジェクトに関連付けられた仮想音を環境に挿入するための手段をさらに含む。仮想音は、１つまたは複数のオーディオ特徴を有する。
【図面の簡単な説明】
【００１３】
【図１】[0013]  図１は、実世界環境に仮想音および仮想イメージを組み込むように動作可能なシステムである。
【図２】[0014]  図２は、実世界環境に仮想音および仮想イメージを組み込むように動作可能なデバイスの位置に関する、異なる区域における実世界音源と仮想音源とを描く。
【図３】[0015]  図３は、実世界環境に仮想音および仮想イメージを組み込むように動作可能なヘッドセットの視点からの拡張現実シーンを描く。
【図４Ａ】[0016]  図４Ａは、１つまたは複数の検出された音に基づいて、あるシーンに１つまたは複数の仮想オブジェクトを挿入する方法の例を描く。
【図４Ｂ】[0017]  図４Ｂは、１つまたは複数の検出された音に基づいて、あるシーンに１つまたは複数の仮想オブジェクトを挿入する方法の別の例を描く。
【図５】[0018]  図５は、ある環境に１つまたは複数の仮想音を挿入する例を描く。
【図６】[0019]  図６は、ある音響環境の表現を拡張する方法のフローチャートである。
【図７】[0020]  図７は、ある音響環境の表現を拡張する別の方法のフローチャートである。
【図８】[0021]  図８は、人工音を生成する方法のフローチャートである。
【図９】[0022]  図９は、実世界環境で仮想オブジェクトを生成する方法のフローチャートである。
【図１０】[0023]  図１０は、空間的にフィルタされた音を生成する方法のフローチャートである。
【図１１】[0024]  図１１は、人工音を出力する方法のフローチャートである。
【図１２】[0025]  図１２は、仮想音を生成する方法のフローチャートである。
【図１３】[0026]  図１３は、図１〜図１３に関して説明される技法を行うように動作可能な構成要素を含むデバイスを例示する。
【発明の詳細な説明】
【００１４】
[0027]  図１を参照すると、実世界環境に仮想音および仮想イメージを組み込むように動作可能なシステム１００が示されている。システム１００は、音響環境１５０中に位置するデバイス１０２を含む。１つの実装によると、デバイス１０２は、仮想現実シーン、複合現実シーン、または拡張現実シーンを生成するように構成されるヘッドセットを含む。本明細書で使用されるとき、「仮想現実シーン」は、仮想構成要素（例えば、１つまたは複数の仮想音および／または１つまたは複数の仮想オブジェクト）を含むシーンである。通常、仮想現実シーンに、実世界構成要素（例えば、実世界の音または実世界のオブジェクト）は存在しない。本明細書で使用されるとき、「拡張現実シーン」は、１つまたは複数の仮想構成要素および１つまたは複数の実世界構成要素を含むシーンである。本明細書で使用されるとき、「複合現実シーン」は、１つまたは複数の仮想構成要素および１つまたは複数の実世界構成要素を含むシーンである。通常、複合現実シーンでは、仮想構成要素は、人間の感覚を使用して仮想構成要素と実世界構成要素とを区別することが難しくなるように、実世界構成要素の特徴に類似する特徴（例えば、特性）を有している。例えば、複合現実シーンは、仮想構成要素と実世界構成要素との比較的「スムーズ」かつシームレスな融合を含んでいる。
【００１５】
[0028]  デバイス１０２は、メモリ１０４、１つまたは複数のマイクロフォン１０６、または１つまたは複数のカメラ１０８、１つまたは複数のスピーカ１１０、ディスプレイスクリーン１１２、プロセッサ１１４、および音特性のデータベース１１６を含む。デバイス１０２の構成要素は、互いに結合され得る。非限定的例として、１つまたは複数のマイクロフォン１０６は、プロセッサ１１４に結合され得、メモリ１０４はプロセッサ１１４に結合され得、１つまたは複数のカメラ１０８はプロセッサ１１４等に結合され得る。本明細書で使用されるとき、「結合される」は、「通信可能に結合される」、「電気的に結合される」、または「物理的に結合される」、およびそれらの組み合わせを含み得る。２つのデバイス（または構成要素）は、１つまたは複数の他のデバイス、構成要素、ワイヤ、バス、ネットワーク（例えば、ワイヤードネットワーク、ワイヤレスネットワーク、あるいはそれらの組み合わせ）などを介して、直接または間接的に結合され得る（例えば、通信可能に結合されるか、電気的に結合されるか、または物理的に結合される）。電気的に結合された２つのデバイス（または構成要素）は、同じデバイスまたは異なるデバイス中に含まれ得、非限定的例として、素子（electronics）、１つまたは複数のコネクタ、または誘導結合を介して結合され得る。いくつかの実装では、電気通信などの通信可能に結合された２つのデバイス（または構成要素）は、１つまたは複数のワイヤ、バス、ネットワークなどを介して、直接または間接的に電気信号（デジタル信号またはアナログ信号）を送受信し得る。
【００１６】
[0029]  デバイス１０２に含まれる構成要素は、例示のためだけのものであり、限定されるものであると解釈されない。１つの実装によると、デバイス１０２は、追加の（または、より少ない）構成要素を含み得る。非限定的例として、デバイス１０２はまた、ボリュームアジャスタ、１つまたは複数のバイオフィードバックセンサまたは他のセンサ（例えば、加速度計）、１つまたは複数の通信コンポーネント（例えば、ワイヤレス通信のための無線周波数（ＲＦ）トランシーバ）などを含み得る。プロセッサ１１４は、位置推定回路１２２、オーディオ分析回路１２４、仮想音生成回路１２６、仮想音源生成回路１２８、ビデオ再生デバイス１６０、およびオーディオ再生デバイス１６２を含む。プロセッサ１１４に含まれる構成要素は、例示のためだけのものであり、限定されるものであると解釈されない。いくつかの実装によると、プロセッサ１１４中の２つ以上の構成要素は、単一の構成要素または単一の処理ユニットに組み込まれ得る。
【００１７】
[0030]  音響環境１５０は、「実際の」（例えば、実世界の）オブジェクトおよび実際の音を含む。例えば、音響環境１５０は、音源１３０および音源１３２を含む。各音源１３０および１３２は、音を生成するオブジェクトであり得る。音源の非限定的例は、動物、人、自動車、機械などである。音源１３０は、角度位置（α１）に従った、デバイス１０２からの距離（Ｄ１）にあり得る。音源１３２は、角度位置（α２）に従った、デバイス１０２からの距離（Ｄ２）にあり得る。いくつかの実装では、角度位置がある角度座標（例えば、１１５度）を含むが、他の実装では、角度位置は、第１の角度座標１９１（例えば、９０度）と第２の角度座標１９２（例えば、１３５度）との間の領域１９０などの２つの角度座標間の領域を含み得る。音源１３０は、オーディオ信号１４０を生成するように構成され得、音源１３２は、オーディオ信号１４２を生成するように構成され得る。下記で説明されるように、各オーディオ信号１４０、１４２は、１つまたは複数の音特性を有し得る。
【００１８】
[0031]  プロセッサ１１４の位置推定回路１２２は、音源１３０、１３２の視覚的パラメータを決定するように構成され得る。例として、１つまたは複数のカメラ１０８は、音響環境１５０の視覚的表現１７０をキャプチャし得る。１つまたは複数のカメラ１０８は、オーディオキャプチャデバイスに近接し（例えば、１つまたは複数のマイクロフォン１０６に近接し）得る。始めに（例えば、下記で説明されるように、複合現実アプリケーションの追加の前に）、音響環境１５０の視覚的表現１７０は、音響環境１５０中に実オブジェクト（real object）を描き得る。例えば、音響環境１５０の視覚的表現１７０は、始めに音源１３０および音源１３２を描き得る。
【００１９】
[0032]  ビデオ再生デバイス１６０は、１つまたは複数のカメラ１０８が音響環境１５０の視覚的表現１７０をキャプチャしたことに応答して、音響環境１５０の視覚的表現１７０を処理（例えば、レンダリング）し得る。音響環境１５０の視覚的表現１７０がビデオ再生デバイス１６０によって処理された後、位置推定回路１２２は、レンダリングに基づいて、デバイス１０２からの音源１３０の距離（Ｄ１）と、音源１３０の角度位置（α１）とを決定するための位置推定技法を使用し得る。位置推定回路１２２はまた、レンダリングに基づいて、デバイス１０２からの音源１３０の距離（Ｄ２）と、音源１３０の角度位置（α２）とを決定するための位置推定技法を使用し得る。ビデオ再生デバイス１６０は、ディスプレイスクリーン１１２上に音響環境１５０の視覚的表現１７０を表示し得る。ディスプレイスクリーン１１２上に音響環境１５０の視覚的表現１７０を表示することは、図３に関してより詳細に説明される。
【００２０】
[0033]  プロセッサ１１４のオーディオ分析回路１２４は、オーディオ信号１４０、１４２の音特性１６４、１６６を決定するように構成され得る。例として、１つまたは複数のマイクロフォン１０６は、オーディオ信号１４０、１４２を検出するように構成され得る。オーディオ分析回路１２４は、１つまたは複数のマイクロフォン１０６がオーディオ信号１４０を検出したことに応答して、オーディオ信号１４０の音特性１６４を決定し得る。例えば、オーディオ分析回路１２４は、オーディオ信号１４０の少なくとも１つの残響特性を決定し得る。１つの実装によると、少なくとも１つの残響特性は、オーディオ信号１４０の直接音対残響音比（ＤＲＲ：direct-to-reverberation ratio）を含み得る。オーディオ分析回路１２４は、音特性のデータベース１１６に（位置推定回路１２２によって決定された音源１３０の対応する視覚的パラメータに沿って）オーディオ信号１４０の音特性１６４を記憶し得る。音特性のデータベース１１６は、音特性と音源位置情報とを関連付ける。音特性１６４が残響特性として説明されているが、他の実装では、音特性１６４は、１つまたは複数の他の残響特性、室内インパルス応答（ＲＩＲ：room impulse response）、頭部伝達関数（ＨＲＴＦ：head-related transfer function）、１つまたは複数の他の特性、あるいはそれらの組み合わせを含み得る。
【００２１】
[0034]  同様の例では、オーディオ分析回路１２４は、１つまたは複数のマイクロフォン１０６がオーディオ信号１４２を検出したことに応答して、オーディオ信号１４２の音特性１６６を決定し得る。例えば、オーディオ分析回路１２４は、オーディオ信号１４２の少なくとも１つの残響特性を決定し得る。１つの実装によると、少なくとも１つの残響特性は、オーディオ信号１４２のＤＲＲを含み得る。オーディオ分析回路１２４は、音特性のデータベース１１６に（位置推定回路１２２によって決定された音源１３２の対応する視覚的パラメータに沿って）オーディオ信号１４２の音特性１６６を記憶し得る。
【００２２】
[0035]  １つの実装によると、音特性１６４、１６６は、音響環境１５０の特性に基づいて影響され得る。プロセッサ１１４は、音響環境１５０が屋内環境、屋外環境、部分的に囲まれた環境（partially enclosed environment）などに対応するかどうかを決定し得る。音特性１６４、１６６の反響構成要素は、音響環境１５０の特性によって、音源１３０、１３２がエレベータ内にあるときと比較すると、音源１３０、１３２が野原（open field）にあるときなどに、変化し得る。
【００２３】
[0036]  オーディオ再生デバイス１６２は、音響環境１５０のオーディオ表現１７２を生成し得る。始めに（例えば、下記で説明されるように、複合現実アプリケーションの追加の前に）、音響環境１５０のオーディオ表現１７２は、オーディオ信号１４０に関連付けられた音と、オーディオ信号１４２に関連付けられた音とを含み得る。音響環境１５０のオーディオ表現１７２は、１つまたは複数のスピーカ１１０を使用して出力され得る。例えば、オーディオ再生デバイス１６２は、音響環境１５０のオーディオ表現１７２を、１つまたは複数のスピーカ１１０（例えば、ヘッドフォン）を使用してユーザのヘッドセット（例えば、デバイス１０２）に提供し得る。
【００２４】
[0037]  オーディオ表現１７２においてオーディオ信号１４０に関連付けられた音は、角度位置（α１）に基づく到来方向を有するように、かつ距離（Ｄ１）に基づくボリューム（例えば、音レベル）を有するように生成され得る。例えば、距離（Ｄ１）が比較的長い場合、オーディオ信号１４０に関連付けられた音のボリュームは比較的低くなり得る。そのため、オーディオ再生デバイス１６２は、音源１３０と音特性１６４との視覚的パラメータに基づいて、オーディオ信号１４０に関連付けられた音を生成し得る。他の実装では、オーディオ再生デバイス１６２は、オーディオ信号１４０を、オーディオ表現１７２においてオーディオ信号１４０に関連付けられた音を生成するために１つまたは複数のマイクロフォン１０６によって検出されたときに使用し得る。例えば、オーディオ再生デバイスは、オーディオ信号１４０を１つまたは複数のマイクロフォン１０６によって検出されたときに「再生する」ことによって、オーディオ信号１４０に関連付けられた音を生成し得る。オーディオ表現１７２中のオーディオ信号１４２に関連付けられた音は、角度位置（α２）に基づく到来方向を有するように、かつ距離（Ｄ２）に基づくボリューム（例えば、音レベル）を有するように生成され得る。そのため、オーディオ再生デバイス１６２は、音源１３２と音特性１６６との視覚的パラメータに基づいて、オーディオ信号１４２に関連付けられた音を生成し得る。他の実装では、オーディオ再生デバイス１６２は、オーディオ信号１４２を１つまたは複数のマイクロフォン１０６によって検出されたときに「再生する」ことによって、オーディオ信号１４２に関連付けられた音を生成し得る。
【００２５】
[0038]  １つの実装によると、オーディオ信号１４０、１４２の１つまたは複数は、オーディオデバイスのユーザが開始した再生（user-initiated playback）に基づいて生成され得る。非限定的例として、音源１３０はラウドスピーカを含み得、ユーザが開始した再生は、そのラウドスピーカからのオーディオ信号１４０の生成を含み得る。例として、図５中の第１の例５００を参照すると、ラウドスピーカ５０２は、ユーザの手の上に置かれ得る。ラウドスピーカ５０２は、ラウドスピーカ５０２を使用して、環境の異なる位置においてオーディオ信号を生成し得る。ヘッドセットは、ラウドスピーカ５０２によって生成される音に基づいて、音響特性（例えば、室内インパルス応答（ＲＩＲ）および頭部伝達関数（ＨＲＴＦ））を決定し得る。例えば、ヘッドセットは、ラウドスピーカ５０２によって生成された各オーディオ信号を検出するように構成された１つまたは複数のマイクロフォンを含み得る。ユーザが自分の手を動かし得るので、ラウドスピーカ５０２は、音響特性を決定するために環境の異なる位置に動き得る。ヘッドセットもまた、環境内の仮想音を生成するために、ＲＩＲおよびＨＲＴＦに基づいてフィルタを更新し得る。
【００２６】
[0039]  環境の異なる位置においてヘッドセットが音響特性を決定した後、ユーザは、特定のオブジェクトを示すユーザ選択をヘッドセットに提供し得る。例として、第２の例５２０を参照すると、ユーザは、ピアノ５０４のユーザ選択をヘッドセットに提供し得る。ユーザはまた、環境の特定の位置のユーザインジケーションを提供し得る。例えば、ユーザは、ユーザの指にウェアラブルセンサを装着し得る。ウェアラブルセンサは、特定の位置を示し得る。ヘッドセットは、異なる位置における音響特性に基づいて、特定の位置から生成される音の１つまたは複数のオーディオ特徴を決定し得る。例えば、ヘッドセットは、ウェアラブルセンサによって示された位置に関連付けられたオーディオ特徴を決定するために、ＲＩＲおよびＨＲＴＦを使用し得る。ヘッドセットは、特定のオブジェクト（例えば、ピアノ５０４）に関連付けられた仮想音（例えば、ピアノ音）を生成し得る。仮想音は１つまたは複数のオーディオ特徴を有し得、ヘッドセットは、仮想音に基づいて音信号を出力し得る。
【００２７】
[0040]  追加として、ユーザは、別の特定のオブジェクトを示すユーザ選択をヘッドセットに提供し得る。例として、第２の例５２０を参照すると、ユーザは、バイオリン５０６のユーザ選択をヘッドセットに提供し得る。ユーザはまた、ウェアラブルセンサを介して第２の特定の位置のユーザインジケーションを提供し得る。ヘッドセットは、異なる位置における音響特性に基づいて、第２の特定の位置から生成される音の１つまたは複数のオーディオ特徴を決定し得る。ヘッドセットは、バイオリン５０６に関連付けられた第２の仮想音（例えば、バイオリン音）を生成し得る。仮想音は１つまたは複数のオーディオ特徴を有し得、ヘッドセットは、仮想音に基づいて音信号を出力し得る。
【００２８】
[0041]  １つの実装によると、特定の時間の量が経過した（例えば、フィルタ音響を生成するのに十分な時間が経過した）場合に、対応する仮想オブジェクトの位置にユーザの手が無くとも、オブジェクト音は残り（例えば、継続的にプレイされ）得る。例えば、ヘッドセットがユーザの手の場所で特性（例えば、残響特性、ＲＩＲ、およびＨＲＴＦ）を決定した場合、ユーザが自分の手を動かした後の場所で仮想音が継続的にプレイされ得る。そのため、図１に戻って参照すると、オーディオ分析回路１２４は、ユーザの手の場所に関連付けられたオーディオ再生に基づいて、オーディオ信号１４０の音特性１６４を生成し得る。
【００２９】
[0042]  １つの実装によると、オーディオ信号１４０、１４２の１つまたは複数は、オーディオデバイスのユーザが開始した再生なしに生成され得る。非限定的例として、音源１３２は、オーディオ信号１４２を生成する動物（またはユーザの管理下にない別のオブジェクト）を含み得る。
【００３０】
[0043]  プロセッサ１１４は、１つまたは複数の仮想構成要素（例えば、仮想オブジェクトおよび／または仮想音）を生成することと、１つまたは複数の仮想構成要素を、複合または拡張視覚的シーンを生成するためにディスプレイスクリーン１１２で表示される音響環境１５０の視覚的表現１７０に適用することと、１つまたは複数の仮想構成要素を、複合または拡張オーディオを生成するために１つまたは複数のスピーカ１１０に出力された、音響環境１５０のオーディオ表現１７２に適用することと、を行うように構成され得る。例えば、仮想音生成回路１２６は、仮想音１４４を生成するように構成され得、仮想音源生成回路１２８は、仮想音源１３４を生成するように構成され得る。
【００３１】
[0044]  例として、仮想音源生成回路１２８は、仮想音源１３４を生成し得、ビデオ再生デバイス１６０は、視覚的表現１７０に仮想音源１３４を挿入することによって、音響環境１５０の視覚的表現１７０を修正するように構成され得る。修正された視覚的表現１７０は、図３に関してさらに詳細に説明されるように、ディスプレイスクリーン１１２に表示され得る。修正された視覚的表現１７０に基づいて、位置推定回路１２２は、仮想音源１３４の視覚的パラメータを決定するように構成され得る。例として、位置推定回路１２２は、デバイス１０２からの仮想音源１３４の距離（Ｄ３）と、仮想音源１３４の角度位置（α３）とに対応する視覚的パラメータを決定するための位置推定技法を使用し得る。
【００３２】
[0045]  仮想音生成回路１２６は、仮想音１４４が仮想音源１３４から来たことをデバイス１０２のユーザによって感知され得るような方法で、それぞれ、オーディオ信号１４０、１４２の音特性１６４、１６６のうちの１つまたは複数に基づいて仮想音１４４を生成するように構成され得る。例として、仮想音源１３４は鳥であり得、仮想音１４４は、鳥のさえずり音であり得る。鳥のさえずり音は、音データベースから導出され、かつ仮想音１４４が仮想音源１３４から生じているというユーザの認識を高めるために、仮想音生成回路１２６によって修正され得る。例えば、仮想音生成回路１２６は、オーディオ信号１４０、１４２の残響特性（例えば、音特性のデータベース１１６に記憶された音特性１６４、１６６）に基づいて、仮想音１４４の１つまたは複数の残響特性を決定し得る。例として、仮想音生成回路１２６は、仮想音源１３４の位置（例えば、距離（Ｄ３）および角度位置（α３））を、音特性のデータベース中の音特性１６４、１６６に関連付けられた視覚的パラメータと比較し得る。距離（Ｄ２）が距離（Ｄ３）に実質的に類似する（substantially similar）と仮想音生成回路１２６が決定した場合、仮想音生成回路１２６は、オーディオ信号１４２の残響特性に実質的に類似する仮想音１４４についての残響特性を生成し得る。
【００３３】
[0046]  図２に関してより詳細に説明されるように、仮想音生成回路１２６は、音響環境１５０の第１の区域または音響環境１５０の第２の区域などの１つまたは複数の音響区域に音源１３０、１３２が位置するかどうかを決定し得る。仮想音１４４の音特性１６８は、仮想音源１３４が音源１３０と同じ区域に位置する場合、オーディオ信号１４０の音特性１６４に実質的に類似し得る。仮想音１４４の音特性１６８は、仮想音源１３４が音源１３２と同じ区域に位置する場合、オーディオ信号１４２の音特性１６６に実質的に類似し得る。仮想音１４４の音特性１６８は、仮想音源１３４が音源１３０とは異なる区域に位置する場合、オーディオ信号１４０の音特性１６４とは異なり得る。仮想音１４４の音特性１６８は、仮想音源１３４が音源１３２とは異なる区域に位置する場合、オーディオ信号１４２の音特性１６６とは異なり得る。
【００３４】
[0047]  仮想音生成回路１２６はまた、仮想音１４４に関連付けられた仮想音源１３４の位置に基づいて、仮想音１４４の到来方向を決定するように構成され得る。例えば、仮想音生成回路１２６は、仮想音源１３４の角度位置（α３）を（位置推定回路１２２から）決定し得る。角度位置（α３）に基づいて、仮想音生成回路１２６は、デバイス１０２のユーザが、仮想音源１３４の方向から仮想音１４４が来ているかのように仮想音１４４を聞くように、仮想音１４４をパン（pan）し得る。そのため、仮想音生成回路１２６は、１つまたは複数の残響特性（例えば、音特性１６８）と到来方向とに基づいて、仮想音１４４を生成し得る。
【００３５】
[0048]  オーディオ再生デバイス１６２は、オーディオ表現１７２に仮想音源１３４を挿入することによって、音響環境１５０のオーディオ表現１７２を修正するように構成され得る。音響環境１５０の修正されたオーディオ表現１７２は、１つまたは複数のスピーカ１１０において出力され得る。例えば、オーディオ再生デバイス１６２は、ヘッドセットの１つまたは複数のラウドスピーカにおいて（仮想音１４４に基づいて）音信号を出力し得る。
【００３６】
[0049]  上述されるように、鳥のさえずり音は、音データベースから導出され得る。音データベースから導出された鳥のさえずり音は、オーディオ信号のデジタル表現を含み得る。仮想音生成回路１２６は、空間的にフィルタされたオーディオファイルを生成するために、音特性１６４、１６６に基づいてオーディオ信号のデジタル表現を空間的にフィルタするように構成され得る。仮想音源生成回路１２８は、空間的にフィルタされたオーディオファイルに基づいて空間的にフィルタされたオーディオ信号を生成すること、および１つまたは複数のスピーカ１１０に空間的にフィルタされたオーディオ信号を送ることを行うように構成され得る。１つまたは複数のスピーカ１１０は、空間的にフィルタされたオーディオ信号を、空間的にフィルタされた音として投影（project）するように構成され得る。空間的にフィルタされた音は、仮想音１４４を含み得る。１つの実装によると、仮想音１４４は、コンピュータによって生成される音を含む。
【００３７】
[0050]  １つの実装によると、１つまたは複数のカメラ１０８は、音響環境１５０の視覚的描写などの視覚的シーンをキャプチャするように構成され得る。仮想音源生成回路１２８が音響環境１５０の視覚的表現１７０（例えば、視覚的シーン）に仮想音源１３４のイメージを挿入した後、位置推定回路１２２は、視覚的シーンにおける仮想音源１３４の位置を決定し得る。位置は、１つまたは複数のカメラ１０８からの仮想音源１３４の距離（Ｄ３）と、１つまたは複数のカメラ１０８に関する仮想音源１３４の角度位置（α３）とを示し得る。１つの実装によると、位置推定回路１２２は、視覚的シーンに対応し得る深度マップに少なくとも部分的に基づいて距離（Ｄ３）を決定し得る。上述されるように、図２に関して、仮想音生成回路１２６は、仮想音源１３４の位置に基づいて仮想音１４４の１つまたは複数の音特性（例えば、音特性１６８）を決定し得る。仮想音生成回路１２６は、１つまたは複数の音特性に基づいて仮想音１４４を生成し得、オーディオ再生デバイス１６２は、仮想音１４４を含むように音響環境１５０の音響表現１７２を修正することによって、仮想音１４４に基づいて（１つまたは複数のスピーカ１１０において）音信号を出力し得る。
【００３８】
[0051]  図１のシステム１００は、ディスプレイスクリーン１１２において視覚的複合現実シーンを生成するために、視覚的オブジェクトが音響環境１５０の視覚的表現１７０に挿入されることを可能にする。例えば、音響環境１５０に存在していないオブジェクトが、ユーザの満足（user enjoyment）を高めるために、音響環境１５０の視覚的表現１７０に事実上（virtually）挿入され得る。追加として、システム１００は、１つまたは複数のスピーカ１１０において、複合現実を生成するために仮想音が音響環境のオーディオ表現１７２に挿入されることを可能にし得る。１つの実装によると、仮想音は、仮想音源１３４などの仮想オブジェクトに追加され得る。１つの実装によると、仮想音は、音源１３０および／または音源１３２などの実世界オブジェクトに追加され得る。実世界オブジェクトに仮想音を追加することは、ユーザが比較的遠くにあるオブジェクトから音を「聞く」ことを（例えば、そうでない場合には、仮想現実アプリケーションなしにユーザに聞こえない可能性があるオブジェクトからのサウンドを聞くことを）可能にし得る。
【００３９】
[0052]  図２は、図１のデバイス１０２の位置に関する、異なる区域での実世界音源と仮想音源との例を描く。第１の区域２０２と第２の区域２０４とを含む複数の区域を含むように図１の音響環境１５０が例示されている。他の実装によると、音響環境１５０は、２よりも多い区域を含み得る。区域２０２、２０４は、デバイス１０２のマイクロフォン（複数を含む）１０６に位置するかまたはその近くに位置する、中心点を有する同心円を含み得る。例えば、マイクロフォン（複数を含む）１０６は、マイクロフォンの円形アレイを含み得、ここで、各マイクロフォンは、異なる方向でオーディオをキャプチャするように設置されている。第１の区域２０２は、第２の区域２０４よりもデバイス１０２に近い。図２は同心円の形で２つの区域２０２、２０４を描いているが、本明細書で説明される技法は、異なる形状を有する区域を使用して利用可能であり得る。非限定的例として、区域２０２、２０４の各々は、デバイス１０２に位置する中心点を有する長方形部分を含み得る。
【００４０】
[0053]  デバイス１０２のプロセッサ１１４は、特定の音源が第１の区域２０２に位置するかまたは第２の区域２０４に位置するかを、角度位置および距離に基づいて決定するように構成され得る。例えば、オーディオ分析回路１２４は、第１の音源１３０とデバイス１０２（例えば、マイクロフォン（複数を含む）１０６）との間の距離（Ｄ１）に基づき、かつ（例えば、マイクロフォン（複数を含む）１０６に関連する）第１の音源１３０の第１の角度位置に基づく、第１の区域２０２に第１の音源１３０が位置すると決定し得る。同様の方法で、プロセッサ１１４は、第２の音源１３２とデバイス１０２との間の距離（Ｄ２）に基づき、かつ（例えば、マイクロフォン（複数を含む）１０６に関連する）第２の音源１３２の第２の角度位置に基づく、第２の区域２０４に第２の音源１３２が位置すると決定し得る。図１に関連して説明されるように、プロセッサ１１４は、第１のオーディオ信号１４０に対応する第１の音特性１６４と、第２のオーディオ信号１４２に対応する第２の音特性１６６とを決定し得る。
【００４１】
[0054]  プロセッサ１１４は、仮想音源１３４とデバイス１０２との間の距離（Ｄ３）に基づき、かつ仮想音源１３４の第３の角度位置（α３）に基づく、第２の区域２０４に位置するソース（仮想音源１３４）から仮想音信号１４４が発生すると決定し得る。仮想音信号１４４を生成するために、プロセッサ１１４は、仮想音のデータベースから仮想ソース（例えば、鳥のさえずり）に対応する音信号を導出し得、第２の区域２０４からの仮想音１４４の音特性（複数を含む）が第２の音源１３２からの実世界音（オーディオ信号１４２）の音特性（複数を含む）をまねるように、導出された音信号に第２の音特性１６６を適用し得る。代替として、仮想音源１３４が第２の区域２０４中ではなく第１の区域２０２中にあると決定された場合、プロセッサ１１４は、代わりに、第１の区域２０４からの仮想音１４４の音特性（複数を含む）が音源１３０からの実世界音（オーディオ信号１４０）の音特性（複数を含む）をまねるように、導出された音信号に第１の音特性１６４を適用し得る。
【００４２】
[0055]  同じ区域中の１つまたは複数の他の音源の測定された（例えば、感知された、計算された、推定されたなどの）音特性に基づいて仮想音の１つまたは複数の音特性を選択することによって、仮想音は、仮想音の音特性を決定するための別の技法を使用することと比較すると、低減された計算の複雑さとともに、ユーザによってよりリアルに感知され得る。例えば、仮想音の音特性の決定は、仮想音の距離および到来方向に基づいて、および音響環境の１つまたは複数の特徴にさらに基づいて（例えば、天井または壁からの距離、およびそれらがあろうとなかろうと、反射性あるいは吸収性の構造または材料からの距離、およびそれらがあろうとなかろうと）、音データの記憶されたテーブルにアクセスすることによって、他の音信号とは関係なく行われ得る。類似する空間位置（例えば、同じ区域）から来る音が類似する音特性（例えば、同じ残響特性）を有するという近似性（approximation）および実世界音の測定された音特性を使用することによって、上述されたテーブルベースのアプローチ（table-based approach）と比較して、よりリアルな仮想音が生成され得る。
【００４３】
[0056]  図３は、実世界環境に仮想音および仮想イメージを組み込むように動作可能なヘッドセットの視点からの複合現実シーンを描く。デバイス１０２は、左ディスプレイスクリーン３０２、右ディスプレイスクリーン３０３、マイクロフォン３１０、３１１、３１２、および３１３（例えば、マイクロフォンのアレイ）、ラウドスピーカ３２０〜３２３（例えば、スピーカのアレイ）を有するヘッドセットとしての透視図をユーザ側から描かれている。ディスプレイスクリーン３０２〜３０３は、一括して、図１のディスプレイスクリーン１１２に対応し、マイクロフォン３１０〜３１３は、図１のマイクロフォン１０６に対応し、ラウドスピーカ３２０〜３２３は、図１のスピーカ１１０に対応し得る。デバイス１０２は、第２の木３４２よりもデバイス１０２に近い第１の木３４０を含む環境にある。その環境はまた、第１の音源３３０と第２の音源３３２とを含む。
【００４４】
[0057]  デバイス１０２は、デバイス１０２の装着者に、仮想現実体験、複合現実体験、または複合現実体験のうちの１つまたは複数を提供するように構成され得る。例えば、左ディスプレイスクリーン３０２は、ステレオビジョンを可能にするために、ユーザの左目に左シーンを表示し得、右ディスプレイスクリーン３０３は、ユーザの右目に右シーンを表示し得る。いくつかの実装では、ディスプレイスクリーン３０２および３０３は不透明であり、１つまたは複数の組み込まれた仮想オブジェクト（例えば、仮想ソース３５４）を用いて（例えば、第１の音源３３０のイメージ３５０および第２の音源３３２のイメージ３５２を含む）視覚的シーンの表現を生成する。いくつかの実装では、ディスプレイ３０２および３０３は、視覚的シーン上に１つまたは複数の組み込まれた仮想オブジェクトをオーバーレイする。いくつかの実装では、デバイス１０２は、三次元（３Ｄ）ビューイングを提供し得るかまたは二次元ビューイング（２Ｄ）を提供し得る２つのディスプレイ３０２〜３０３ではなく単一のディスプレイを含み得る。
【００４５】
[0058]  デバイス１０２は、仮想オブジェクトを用いて視覚的環境を拡張するか、仮想音を用いた音響環境を拡張するか、あるいはそれらの組み合わせを行うように構成され得る。第１の例として、デバイス１０２は、実世界音源で発生しているものとしてユーザによって感知されるべき仮想音を生成し得る。デバイス１０２は、第２の木３４２が仮想音（例えば、ゲームアプリケーションにおける歌う木）のソースとして使用されるべきであることを決定し得る。例えば、第２の木３４２は、ユーザに基づいて、例えば、ユーザの指さし（user pointing）、ユーザの目の動きまたは注視点を追跡すること、またはユーザの言語認識（例えば、第２の木３４２を識別する）を識別することによって、選択され得る。
【００４６】
[0059]  第１の実装では、デバイス１０２は、第１の音源３３０からの第１の音（例えば、犬の吠え声）を検出し、第２の音源３３２からの第２の音（例えば、人の話し声）を検出し得る。デバイス１０２は、第１の距離３４０と第１の音源３３０に対応する到来方向とを決定し得、かつ第２の距離３４２と第２の音源３３２に対応する到来方向とを決定し得る。デバイス１０２は、第１の音の第１の音特性と、第２の音の第２の音特性とを決定し得る。デバイス１０２は、第２の木３４２への距離が第２の距離３４２のものよりも第１の距離３４０に比較的近いことを（または、図２で説明されるように、第２の木３４２が第１の音源３３０と同じ区域にあり、かつ第２の音源３３２とは異なる区域にあることを）、（例えば、深度マップによって）決定し得る。デバイス１０２は、第１の音源３３０からの第１の音の第１の音特性に基づいて、仮想音（例えば、歌う木の声）の音特性を選択し得る。
【００４７】
[0060]  第１の例の第２の実装では、デバイス１０２のユーザは、第２の木３４２に、またはその近くに、音源（例えば、ラウドスピーカ）を配置し得る。デバイス１０２は、音源から受信されるオーディオ信号に基づいて（例えば、選択されたオーディオ信号のユーザが開始した再生によって）、第１の音特性を決定し得る。デバイス１０２は、仮想音（例えば、歌う木の声）の音特性として第１の音特性を使用し得る。
【００４８】
[0061]  第１の例の第３の実装では、デバイス１０２は、音響環境において実世界の音の音特性を使用しない、仮想音の音特性のテーブルベースの決定を実装し得る。デバイス１０２は、第２の木３４２までの距離および方向を推定し、１つまたは複数の音響条件（例えば、デバイス１０２が閉鎖された空間にあるか、または解放された空間にあるか）を推定し、仮想音の音特性を生成するために１つまたは複数のテーブルルックアップ動作および計算を開始し得る。
【００４９】
[0062]  第２の例として、デバイス１０２は、実世界音のソースとしてユーザに表示されるべき仮想音源を生成し得る。例えば、第３の音源３３４は、部分的にまたは完全に隠れているか、曖昧であるか、またはそうでない場合、視覚的に感知するのが困難であり得る。デバイス１０２は、第３の音源３３４からのオーディオ信号を検出し得、その検出された音の１つまたは複数の特性に基づいて第３の音源３３４の位置を推定し得る。第３の音源３３４の位置を推定した後、デバイス１０２は、音のソースをユーザが視覚的に認識することができるように、ディスプレイスクリーン３０２〜３０３上に仮想音源３５４を追加し得る。
【００５０】
[0063]  第２の例の第１の実装では、デバイス１０２は、図１のデータベース１１６に記憶された特性を有する、第１の音源３３０からおよび第２の音源３３２からのオーディオ信号などの音響環境の他のオーディオ信号の音特性と、検出されたオーディオ信号の１つまたは複数の音特性とを少なくとも部分的に比較することによって、第３の音源３３４の位置を推定し得る。デバイス１０２から第３の音源３３４までの距離は、その比較に基づいておよび距離３４０と３４２に基づいて推定され得る（例えば、第３の音源３３４までの距離は、検出された音の音特性との類似性に基づいて、音源への距離またはそれを含む区域の領域を使用して推定され得る）。到来方向は、デバイス１０２の異なるマイクロフォン３１０〜３１３におけるオーディオ信号の位相差などによって、デバイス１０２によって推定され得る。
【００５１】
[0064]  第２の例の第２の実装では、デバイス１０２は、再生されたオーディオ信号の音特性と、検出されたオーディオ信号の１つまたは複数の音特性とを少なくとも部分的に比較することによって、第３の音源３３４の位置を推定し得る。例えば、デバイス１０２は、１つまたは複数の音源から受信された１つまたは複数のオーディオ信号に基づいて（例えば、シーン内の１つまたは複数の位置におけるラウドスピーカからの選択されたオーディオ信号のユーザが開始した再生によって）、音特性を決定し得、データベース１１６に記憶し得る。
【００５２】
[0065]  第３の例では、デバイス１０２は、仮想音と、仮想音のソースとしてユーザに表示されるべき仮想音源とを生成し得る。例えば、デバイス１０２は、仮想音源として第３の音源３３４を追加し、第３の音源３３４からの仮想音を追加することによって、音響および視覚的環境を拡張し得る。デバイス１０２は、（例えば、ゲームのシナリオに基づいて）第３の音源３３４の位置を選択し得、第３の音源３３４が実世界の視覚的シーンにあるかのように現れるよう、ディスプレイ３０２〜３０３中の適切な位置に仮想音源３５４の視覚的表現を表示し得る。デバイス１０２は、上述された実装のうちの１つまたは複数を使用して（例えば、１つまたは複数の同様の場所に位置する（similarly-located）実世界音源からのオーディオ信号に基づいて）、仮想音源３３４から仮想音の１つまたは複数の音特性を選択し得る。
【００５３】
[0066]  図４Ａを参照すると、１つまたは複数の検出された音に基づいて、あるシーンに仮想オブジェクトを挿入する例が示されている。図４Ａは、第１のシーン４００と第２のシーン４２０とを描く。第１のシーン４００は、ヘッドセット４０２のディスプレイスクリーン４０４を通して見られるような、複合現実処理していない環境の視覚的描写である。第２のシーン４２０は、ヘッドセット４０２のディスプレイスクリーン４０４を通して見られるような、複合現実処理を用いた環境の視覚的描写である。
【００５４】
[0067]  ヘッドセット４０２は、図１のデバイス１０２に対応し得る。例えば、ヘッドセット４０２は、デバイス１０２と同様の構成要素を含み得、かつデバイス１０２に実質的に類似する方法で動作し得る。ヘッドセット４０２は、１つまたは複数のディスプレイスクリーン４０４と１つまたは複数のマイクロフォン４０６とを含む。１つまたは複数のディスプレイスクリーン４０４は、図１のディスプレイスクリーン１１２、図３のディスプレイスクリーン３０２、３０３、あるいはそれらの組み合わせに対応し得る。１つまたは複数のマイクロフォン４０６は、図１の１つまたは複数のマイクロフォン１０６に対応し得る。
【００５５】
[0068]  １つまたは複数のマイクロフォン４０６は、シーン４００、４２０中の音を検出し得る。例えば、１つまたは複数のマイクロフォン４０６は、鳥の音４１０（例えば、さえずり）、人間の音声４１２（例えば、話し声）、および猿の音４１４を検出し得る。鳥の音４１０の音源の位置は、図１に関して説明されるオーディオ分析技法を使用して決定され得る。例えば、ヘッドセット４０２内のプロセッサ（図示せず）は鳥の音４１０を識別し、その鳥の音４１０が第１のシーン４００の左上の方の位置から来ることを決定し得る。人間の音声４１２の音源の位置は、図１に関して説明されるオーディオ分析技法を使用して決定され得る。例えば、ヘッドセット４０２内のプロセッサは人間の音声４１２を識別し、その人間の音声４１２が第１のシーン４００の中心の方の位置から来ることを決定し得る。猿の音の音源の位置は、図１に関して説明されるオーディオ分析技法を使用して決定され得る。例えば、ヘッドセット４０２内のプロセッサは猿の音４１４を識別し、その猿の音４１４が第１のシーン４００の右上の方の位置から来ることを決定し得る。
【００５６】
[0069]  音４１０、４１２、４１４は１つまたは複数のマイクロフォン４０６によって検出可能であるが、音源は、ヘッドセット４０２のカメラでは見ることができない。例えば、鳥の音４１０を出している鳥は、木にある葉によってカメラから隠れている可能性があり、人間の音声４１２を出している人間は、霧でカメラから隠れている可能性があり、猿の音４１４を出している猿は、別の木にある葉によってカメラから隠れている可能性がある。
【００５７】
[0070]  ヘッドセット４０２は、第２のシーン４２０を生成するために、図１の複合現実処理技法を第１のシーン４００に適用し得る。例えば、プロセッサは、図１の仮想音源生成回路１２８と実質的に類似する方法で処理し得、鳥の音４１０が生成される場所に仮想の鳥４３０を挿入し得る。同様に、プロセッサは、人間の音声４１２が生成される場所に仮想の人間４３２を挿入し得、猿の音４１４が生成される場所に仮想の猿４３４を挿入し得る。仮想の鳥４３０、仮想の人間４３２、および仮想の猿４３４は、図１に関して説明される複合現実処理技法を使用して、１つまたは複数のディスプレイスクリーン４０４を通して第２のシーン４２０に表示され得る。
【００５８】
[0071]  そのため、仮想オブジェクト４３０、４３２、４３４は、ユーザ体験を改善するために、複合現実処理技法を使用してシーンに挿入され得る。例えば、ユーザが音を聞くことができるが音に関連した音源を見ることができない場合、ヘッドセット４０２は、ユーザ体験を改善するために音が生成された場所に近接する位置に、（１つまたは複数のディスプレイスクリーン４０４を通して見ることができる）仮想ソースを挿入し得る。
【００５９】
[0072]  図４Ｂを参照すると、１つまたは複数の検出された音に基づいて、あるシーンに仮想オブジェクトを挿入する別の例が示されている。図４Ｂは、デバイス４５２（例えば、防犯カメラ）によってキャプチャされるシーンを描く。例えば、デバイス４５２は、そのシーンの視覚的描写をキャプチャし得る。１つの実装によると、デバイス４５２は、図１のデバイス１０２に対応し（またはそれに含まれ）得る。例えば、デバイス４５２は、デバイス１０２と同様の構成要素を含み得、かつデバイス１０２に実質的に類似する方法で動作し得る。
【００６０】
[0073]  デバイス４５２によってキャプチャされたシーンは、ベビーベッド４４８を含み得る。デバイス４５２は、オーディオ信号を検出するように構成された１つまたは複数のマイクロフォン（図示せず）を含み得る。例えば、１つまたは複数のマイクロフォンは、乳児の音声４５０を検出し得る。デバイス４５２内のプロセッサは、オーディオ信号の音源の位置を決定し得る。例えば、デバイス４５２内のプロセッサは、オーディオ信号の音源の位置を決定し得る。例として、プロセッサは、乳児の音声４５０の音特性を決定し得る。音特性は、直接音対残響音比（ＤＲＲ）などの残響特性を含み得る。音特性に基づいて、プロセッサは、デバイス４５２からの音源の距離を決定し得る。例えば、プロセッサは、音源が第１の区域（例えば、近距離場区域）に位置するか、または第２の区域（例えば、遠距離場区域）に位置するかを決定し得る。プロセッサはまた、乳児の音声４５０の到来方向を推定し得る。音源の位置は、音源に関連付けられた区域および到来方向に基づき得る。例えば、到来方向は、１つまたは複数のマイクロフォンからの音源の方向を示し得、音源に関連付けられた区域は、音源が１つまたは複数のマイクロフォンからどれだけ遠いかを示し得る。
【００６１】
[0074]  デバイス４５２は、乳児の音声に基づいて環境の１つまたは複数の音響特性を推定し得る。１つの実装によると、デバイスは、１つまたは複数の音響特性に基づいて仮想音を生成し得る。例えば、デバイス４５２は、音源の位置から、音生成の１つまたは複数のオーディオ特徴を有する、仮想の乳児の音声４６２を生成し得る。プロセッサは、仮想の乳児の音声４６２に基づいて、離れた位置に音信号を出力し得る。例えば、ディスプレイスクリーン４９０は、デバイス４５２（例えば、防犯カメラ）とは異なる場所に位置し得る。例として、デバイス４５２は、家の１つの部屋に位置し得、ディスプレイスクリーン４９０は、家の別の部屋に位置し得る。デバイス４９０は、ディスプレイスクリーン４９０を含む、家の部屋に位置する１つまたは複数のスピーカに、仮想の乳児の音声４６２を出力し得る。
【００６２】
[0075]  １つの実装によると、デバイス４５２は、オーディオ信号に基づいて、音源を特定のオブジェクトに分類するように構成され得る。例えば、デバイス４５２は、乳児の音声４５０の音源を、乳児に分類し得る。デバイス４５２は、特定のオブジェクトの仮想イメージを生成し得る。例えば、デバイス４５２は、仮想の乳児４６０を生成し得る。デバイス４５２はまた、環境の視覚的描写に仮想イメージを挿入し得る。例として、デバイス４５２は、ディスプレイスクリーン４９０において、視覚的描写に仮想の乳児４６０を挿入し得る。仮想の乳児は、音源の位置に対応する視覚的描写中の特定の場所に位置し得る。例えば、仮想の乳児４６０は、ベビーベッド４４８に（例えば、乳児の音声４５０が生成される場所に）位置し得る。
【００６３】
[0076]  図６を参照すると、音響環境の表現を拡張する方法６００を図示するフローチャートが描かれている。方法６００は、図１のデバイス１０２などの、マイクロフォンおよびプロセッサを含むデバイスにおいて行われ得る。
【００６４】
[0077]  ６０２において、オーディオ信号は、マイクロフォンにおいて検出される。例えば、オーディオ信号は、デバイス１０２のマイクロフォン（複数を含む）１０６において検出された図１のオーディオ信号１４０または１４２に対応し得る。
【００６５】
[0078]  ６０４において、オーディオ信号の音特性は、プロセッサにおいて決定され得る。例えば、図１のプロセッサ１１４は、オーディオ信号１４０に基づいて、第１の音特性１６４を検出し得る。６０６において、仮想音は、オーディオ信号の音特性に基づいて生成され、６０８において、仮想音は、オーディオ再生デバイスでの再生のために音響環境の表現に挿入される。例えば、図１の仮想音生成回路１２６は、仮想音を表現し、かつオーディオ再生デバイス１６２での再生のために音響環境の表現１７２に追加されるデータを生成し得る。音響環境の表現に仮想音を挿入することは、拡張、仮想、または複合現実ヘッドセットの１つまたは複数のラウドスピーカ（例えば、イヤフォン）で仮想音を出力することを含み得る。
【００６６】
[0079]  いくつかの実装では、音特性は、オーディオ信号の少なくとも１つの残響特性を含み得る。少なくとも１つの残響特性は、オーディオ信号の直接音対残響音比（ＤＲＲ）を含み得る。仮想音の１つまたは複数の残響特性は、オーディオ信号の少なくとも１つの残響特性に基づいて決定され得、仮想音の到来方向は、仮想音に関連付けられた仮想音源の位置に基づいて推定され得る。仮想音は、１つまたは複数の残響特性と到来方向とに基づいて生成され得る。
【００６７】
[0080]  代替的にまたは追加として、方法６００は、オーディオ信号の音源が音響環境の第１の区域に位置するか、音響環境の第２の区域に位置するかを、音特性に基づいて決定することを含み得る。第１の区域（例えば、図２の第１の区域２０２）は、第２の区域（例えば、図２の第２の区域２０４）よりもマイクロフォンに近い可能性がある。仮想音に関連付けられた仮想音源が第１の区域に位置するか、または第２の区域に位置するかに関する決定がなされ得る。仮想音の１つまたは複数の特性は、音源の位置と仮想音源の位置とに基づき得る。
【００６８】
[0081]  例えば、仮想音の特性は、音源が第１の区域に位置しかつ仮想音源が第１の区域に位置する場合に、オーディオ信号の音特性に実質的に類似し得、仮想音の特性は、音源が第１の区域に位置しかつ仮想音源が第２の区域に位置する場合に、オーディオ信号の音特性と異なり得る。別の例では、仮想音の特性は、音源が第２の区域に位置しかつ仮想音源が第２の区域に位置する場合に、オーディオ信号の音特性に実質的に類似し得、仮想音の特性は、音源が第２の区域に位置しかつ仮想音源が第１の区域に位置する場合に、オーディオ信号の音特性と異なり得る。
【００６９】
[0082]  オーディオ信号は、オーディオデバイスのユーザが開始した再生に基づいて生成され得る。例えば、オーディオ信号は、仮想音の仮想音源の位置で、またはその近くで、音響環境中に設置されたラウドスピーカまたは他の音生成器を使用して生成され得る。オーディオ信号は、マイクロフォン（複数を含む）によってキャプチャされ、位置に対応しかつリアルさを高めるために仮想音に適用されることができる音特性（例えば、到来方向、残響特性など）を決定するように処理され得る。例えば、マイクロフォン（複数を含む）でキャプチャされたオーディオ信号とラウドスピーカを展開する（played out）オーディオ信号との差が識別され、その位置からマイクロフォン（複数を含む）までの音の移動特性を決定するために使用され得る。
【００７０】
[0083]  代替的に、オーディオ信号は、オーディオデバイスのユーザが開始した再生なしに生成され得る。例えば、オーディオ信号は、仮想音の仮想音源の位置で、またはその近くで、音響環境中の音生成要素によって生成され得る。１つまたは複数のオーディオ信号は、マイクロフォン（複数を含む）によってキャプチャされた音中で検出され得、オーディオ信号の１つまたは複数のソースの位置が推定され得る。仮想音のソースの位置に近接するまたはそれとコロケートされたソースからのオーディオ信号の音特性は、仮想音の音特性を生成するために使用され得る。
【００７１】
[0084]  特定の実装では、オーディオ再生デバイスは、図３に関連して説明されるように、仮想現実シーン、拡張現実シーン、または複合現実シーンのうちの少なくとも１つを生成するように構成されたヘッドセットに組み込まれる。音響環境の視覚的表現は、１つまたは複数のカメラを使用してキャプチャされ、ヘッドセットに表示され得、仮想音に関連付けられる仮想音源は、仮想表現に挿入され得る。他の実装では、オーディオ再生デバイスは、視覚ディスプレイ（visual display）を用いてヘッドセットに実装されていない可能性があり、代わりに、別のデバイス（例えば、モバイルフォンまたは音楽プレイヤデバイス）に組み込まれ得る。
【００７２】
[0085]  図７を参照すると、音響環境の表現を拡張する方法７００を図示するフローチャートが描かれている。方法７００は、図１のデバイス１０２などの、マイクロフォンおよびプロセッサを含むデバイスにおいて行われ得る。図６と比較すると、図７の方法の実装は、受信されるオーディオ信号の音特性に基づいていない仮想音の特性を決定し得る。
【００７３】
[0086]  ７０２において、視覚的シーンは、１つまたは複数のカメラを使用してキャプチャされる。１つまたは複数のカメラは、オーディオキャプチャデバイスに近接する。オーディオキャプチャデバイスは、仮想現実シーン、拡張現実シーン、または複合現実シーンのうちの少なくとも１つを生成するように構成されたヘッドセットに組み込まれ得る。
【００７４】
[0087]  ７０４において、視覚的シーン中の仮想音源の位置が決定される。位置は、１つまたは複数のカメラからの仮想音源の距離と、１つまたは複数のカメラに関する仮想音源の角度位置とを示す。
【００７５】
[0088]  ７０６において、仮想音の１つまたは複数の音特性は、仮想音源の位置に基づいて決定される。１つまたは複数の音特性は、仮想音の少なくとも１つの反響特性に含まれ得る。いくつかの実装では、仮想音の１つまたは複数の特性は、音響環境の特性にさらに基づく。例えば、音響環境の特性が決定され得る。音響環境の特性は、音響環境が屋内環境にあるか、または屋外環境にあるかを示し得る。いくつかの実装では、仮想音源の位置は、位置情報を有する音特性に関連するデータベース中の位置情報と比較され得、仮想音の１つまたは複数の音特性は、その比較に基づいて決定され得る。
【００７６】
[0089]  ７０８において、仮想音は、１つまたは複数の音特性に基づいて生成され、７１０において、仮想音は、オーディオ再生デバイスでの再生のために音響環境の表現に挿入される。
【００７７】
[0090]  方法７００は、視覚的シーンの表現に仮想音源を挿入することと、視覚的シーンの表現を表示することとを含み得る。仮想音を挿入することは、ヘッドセットの１つまたは複数において仮想音に対応する音信号を出力することを含み得る。
【００７８】
[0091]  図８は、仮想オーディオ信号を生成する方法８００の例を描く。方法８００は、図１のデバイス１０２などのオーディオ再生デバイスを含むデバイスにおいて行われ得る。
【００７９】
[0092]  ８０２において、方法８００は、人工音（例えば、仮想音）に関連付けられるべきオブジェクトを選択することを含む。例えば、図３に関連して説明されるように、第２の木３４２が選択され得る。オブジェクトは、ユーザ入力に基づいて、例えば、ユーザの指でオブジェクトを指さすこと、オブジェクトをユーザの目の動きまたは注視点を追跡すること、またはユーザの言語認識（例えば、オブジェクトに仮想音を追加するためのコマンドを識別する）を識別することによって、選択され得る。
【００８０】
[0093]  ８０４において、オブジェクトの位置が決定される。オブジェクトの位置は、深度マップまたは他の視覚的処理技法に基づいて決定され得る。オブジェクトの位置は、図２に関連して説明されるように、特定の区域に対応する。
【００８１】
[0094]  ８０６において、特定の区域に関連付けられた１つまたは複数の音反響パラメータと、特定の区域に関連付けられた１つまたは複数の到来方向（ＤＯＡ）とが決定される。例えば、音反響パラメータとＤＯＡパラメータとは、特定の区域からの、実世界で記録された音に基づいて決定され得る。別の例では、音反響パラメータとＤＯＡパラメータとは、特定の区域からの、実世界で再生された音に基づいて決定され得る。別の例では、音区域反響パラメータは、オブジェクトの視覚的深度およびＤＯＡ情報に基づき、あらかじめコンパイルされた音響ルックアップテーブルに基づく。
【００８２】
[0095]  ８０８において、オーディオフィルタは、１つまたは複数の音反響パラメータと１つまたは複数のＤＯＡパラメータとに基づいて生成され得る。８１０において、オーディオフィルタは、人工音を生成するために、オブジェクトに関連付けられた「クリーンな」音信号に適用され得る。例えば、オーディオフィルタは、図１の仮想音源生成回路１２８によって生成および適用され得る。
【００８３】
[0096]  ８１２において、人工音は、図１のスピーカ（複数を含む）１１０または図３のラウドスピーカ３２０〜３２３などにおけるヘッドセットで出力され得る。例えば、人工音は、（例えば、図３のラウドスピーカ３２０〜３２１における）ヘッドセットイヤピース（headset earpieces）で再生され得る。
【００８４】
[0097]  図９は、実世界環境で仮想オブジェクトを生成する方法９００の一例を描く。方法９００は、図１のデバイス１０２などのビデオ再生デバイスを含むデバイスにおいて行われ得る。
【００８５】
[0098]  ９０２において、方法９００は、音響環境中の音を検出することを含む。例えば、図１を参照すると、１つまたは複数のマイクロフォン１０６は、音響環境１５０中のオーディオ信号を検出し得る。
【００８６】
[0099]  ９０４において、音の１つまたは複数の音反響パラメータが決定され得、かつ音の到来方向（ＤＯＡ）が決定され得る。例えば、図１を参照すると、オーディオ分析回路１２４は、音の１つまたは複数の反響パラメータを決定し得る。１つの実装によると、オーディオ分析回路１２４は、音のＤＲＲを決定し得る。追加として、位置推定回路１２２は、音のＤＯＡを決定し得る。例えば、位置推定回路１２２は、音の角度位置を決定し得る。
【００８７】
[00100]  ９０６において、音の音源の位置は、１つまたは複数の音反響パラメータとＤＯＡとに基づいて決定され得る。位置は、音源の深度と、音源の方向とを示し得る。例えば、図１を参照すると、位置推定回路は、１つまたは複数の音反響パラメータとＤＯＡとに基づいて音源の位置を決定し得る。１つの実装によると、ＤＲＲおよび角度位置は、音の深度および方向を決定するためにプロセッサによって使用され得る。
【００８８】
[00101]  ９０８において、音に関連付けられた仮想オブジェクトの視覚的特性が決定され得る。視覚的オブジェクトは、音響環境の音、位置、および視覚的表現に基づき得る。例えば、図１を参照すると、プロセッサ１１４は、仮想オブジェクトが「実際の視覚的シーン」に「融合」するように、仮想オブジェクトのためのシェーディングスキーム、仮想オブジェクトのためのカラースキーム、仮想オブジェクトのサイズスキーム、あるいはそれらの組み合わせを決定し得る。これらスキームは、位置に基づき得る。非限定的例として、音源の位置が比較的遠いとプロセッサ１１４が決定した場合、プロセッサ１１４は、比較的小さいサイズに対応する視覚的特性を選択し得る。
【００８９】
[00102]  ９１０において、仮想オブジェクトは、視覚的特性に基づいて生成され得る。例えば、図１を参照すると、仮想音源生成回路１２８は、９０８において説明された視覚的特性（例えば、異なるスキーム）に基づいて仮想オブジェクトを生成し得る。
【００９０】
[00103]  ９１２において、仮想オブジェクトは、音響環境の視覚的表現に挿入され得る。例えば、ビデオ再生デバイス１６０は、音響環境１５０の視覚的表現１７０に仮想オブジェクトを挿入し得る。
【００９１】
[00104]  図９の方法９００は、仮想複合現実シーンを生成するために、仮想オブジェクトがシーンの視覚的表現に挿入されることを可能にし得る。例えば、「実世界」で表示されない仮想オブジェクトは、ユーザの満足を高めるために、視覚的表現に事実上挿入され得る。
【００９２】
[00105]  図１０は、空間的にフィルタされた音を生成する方法１０００の例を描く。方法１０００は、図１のデバイス１０２などのオーディオ再生デバイスを含むデバイスにおいて行われ得る。
【００９３】
[00106]  １００２において、方法１０００は、マイクロフォンにおいて第１のオーディオ信号を検出することを含む。第１のオーディオ信号は、音響環境中の音源によって生成され得る。例えば、オーディオ信号は、デバイス１０２のマイクロフォン（複数を含む）１０６において検出された図１のオーディオ信号１４０または１４２に対応し得る。１００４において、方法１０００はまた、第１のオーディオ信号の特性を決定することを含む。例えば、図１を参照すると、プロセッサ１１４は、オーディオ信号１４０に基づいて音特性１６４を決定し得る。
【００９４】
[00107]  １００６において、方法１０００はまた、空間的にフィルタされたオーディオファイルを生成するために、特性に基づいて第２のオーディオ信号のデジタル表現を空間的にフィルタすることを含む。例えば、図１を参照すると、仮想音生成回路１２６は、空間的にフィルタされたオーディオファイルを生成するために、音特性１６４に基づいてオーディオ信号のデジタル表現を空間的にフィルタし得る。１００８において、方法１０００はまた、空間的にフィルタされたオーディオ信号をスピーカに送ることを含む。空間的にフィルタされたオーディオ信号は、空間的にフィルタされたオーディオファイルに基づき得る。例えば、図１を参照すると、仮想音源生成回路１２８は、空間的にフィルタされたオーディオに基づいて空間的にフィルタされたオーディオ信号を生成し得、空間的にフィルタされたオーディオ信号を１つまたは複数のスピーカ１１０に送り得る。
【００９５】
[00108]  １０１０において、方法１０００はまた、スピーカにおいて空間的にフィルタされたオーディオ信号を、空間的にフィルタされた音として投影することを含む。例えば、図１を参照すると、１つまたは複数のスピーカ１１０は、空間的にフィルタされたオーディオ信号を、空間的にフィルタされた音として投影し得る。空間的にフィルタされた音は、仮想音１４４を含み得る。１つの実装によると、仮想音１４４は、コンピュータによって生成される音を含む。
【００９６】
[00109]  図１１は、出力音の方法１１００の例を描く。方法１１００は、図１のデバイス１０２などのオーディオ再生デバイスを含むデバイスにおいて行われ得る。
【００９７】
[00110]  １１０２において、方法１１００は、環境の１つまたは複数の位置において１つまたは複数の音響特性を決定することを含む。例えば、図５を参照すると、ラウドスピーカ５０２は、ユーザの手に装着されるように構成され、環境の異なる位置においてオーディオ信号をし得る。例として、ユーザが自分の手を動かし得、ラウドスピーカ５０２は、ユーザの手が位置する場所でオーディオ信号を生成し得る。ユーザのヘッドセットは、ラウドスピーカによって投影されたオーディオ信号を検出するように構成された１つまたは複数のマイクロフォンを含み得る。検出されたオーディオ信号に基づいて、ヘッドセットは、環境の異なる位置において１つまたは複数の音響特性を検出し得る。
【００９８】
[00111]  １１０４において、方法１１００はまた、特定のオブジェクトを示すユーザ選択を受信することを含む。例えば、図５を参照すると、ヘッドセットは、ユーザがピアノ５０４を選択したことを示すユーザ選択を受信し得る。方法１１００はまた、１１０６において、特定の位置のユーザインジケーションを受信することを含む。ウェアラブルセンサは、特定の位置を検出することと、特定の位置のユーザインジケーションを生成することと、プロセッサ（例えば、ヘッドセット）に特定の位置のユーザインジケーション送ることと、を行うように構成され得る。例えば、図５を参照すると、ヘッドセットは、ユーザが特定の位置（例えば、ユーザの顔の約２フィート前方）を指さしているとのユーザインジケーション（ユーザの手におけるウェアラブルセンサを介する）を受信し得る。
【００９９】
[00112]  １１０８において、方法１１００はまた、１つまたは複数の音響特性に基づいて、特定の位置から生成される音の１つまたは複数のオーディオ特徴を決定することを含む。例えば、図５を参照すると、ヘッドセットは、ユーザの顔の２フィート前方に生成される音のオーディオ特徴を決定し得る。例として、ラウドスピーカ５０２がユーザの顔の約２フィート前方にあったとき、ヘッドセットは、ラウドスピーカ５０２から生成される音のオーディオ特徴を決定し得る。
【０１００】
[00113]  １１１０において、方法１１００はまた、特定のオブジェクトに関連付けられた仮想音を環境に挿入することを含む。仮想音は、１つまたは複数のオーディオ特徴を有する。例えば、図５を参照すると、ヘッドセットは、ラウドスピーカがユーザの顔の約２フィート前方にあったとき、ラウドスピーカ５０２によって生成される音のオーディオ特徴を含む仮想のピアノ音を生成し得る。別の例では、ヘッドセットは、１つまたは複数の音響特性をメモリ中の１つまたは複数のエントリと比較し得る。各エントリは、異なるサウンドに関連付けられ得る。ヘッドセットは、環境への仮想音の挿入の前に、比較に基づいて特定のエントリから仮想音を導出し得る。仮想音が生成された（または、メモリから導出された）後、ヘッドセットは、環境に仮想音（例えば、ピアノ音）を挿入し得る。
【０１０１】
[00114]  図１２は、仮想音を生成する方法１２００の例を描く。方法１２００は、図１のデバイス１０２などのオーディオ再生デバイスを含むデバイスにおいて行われ得る。
【０１０２】
[00115]  １２０２において、方法１２００は、１つまたは複数のマイクロフォンにおいて、ある環境中のオーディオ信号を検出することを含む。例えば、図１を参照すると、１つまたは複数のマイクロフォン１０６は、オーディオ信号１４０を検出し得る。１２０４において、方法１２００はまた、プロセッサにおいて、オーディオ信号の音源の位置を決定することを含む。例えば、図１を参照すると、デバイス１０２は、オーディオ信号１４０の音源１３０の位置を決定し得る。例えば、デバイスは、オーディオ信号１４０の音特性を決定し得る。音特性に基づいて、デバイス１０２は、音源１３０が音響環境１５０の第１の区域に位置するか、または音響環境１５０の第２の区域に位置するかを決定し得る。第１の区域は、第２の区域よりも近くにある可能性がある。
【０１０３】
[00116]  １２０６において、方法１２００はまた、オーディオ信号に基づいて環境の１つまたは複数の音響特性を推定することを含む。例えば、図１を参照すると、オーディオ分析回路１２４は、検出されたオーディオ信号１４０に基づいて音響環境１５０の１つまたは複数の音響特性を推定し得る。
【０１０４】
[00117]  １２０８において、方法１２００はまた、１つまたは複数の音響特性に基づいて環境に仮想音を挿入することを含む。仮想音は、音源の位置から生成される音の１つまたは複数のオーディオ特徴を有する。例えば、図１を参照すると、仮想音源生成回路１２８は、音響環境の音響特性に基づいて仮想音を生成し得る。別の例では、プロセッサ１１４は、１つまたは複数の音響特性をメモリ１０４中の１つまたは複数のエントリと比較し得る。各エントリは、異なる仮想音に関連付けられ得る。プロセッサ１１４はまた、環境への仮想音の挿入の前に、比較に基づいて特定のエントリから仮想音を導出し得る。仮想音が生成された（または、メモリから導出された）後、仮想音生成回路１２６は、音響環境１５０に仮想音を挿入し得る。
【０１０５】
[00118]  図１３を参照すると、デバイス１０２のブロック図が描かれる。特定の実装では、デバイス１０２は、プロセッサ１１４（例えば、ＣＰＵ）を含む。プロセッサ１１４は、位置推定回路１２２、オーディオ分析回路１２４、仮想音生成回路１２６、仮想音源生成回路１２８、ビデオ再生デバイス１６０、およびオーディオ再生デバイス１６２を含む。
【０１０６】
[00119]  デバイス１０２は、プロセッサ１１４に結合されるメモリ１０４を含む。追加として、音特性のデータベース１１６は、プロセッサ１１４に結合され（例えば、それによってアクセス可能であり）得る。デバイス１０２はまた、トランシーバ１３４１を介してアンテナ１３４２に結合されたワイヤレスインターフェース１３４０を含む。デバイス１０２は、ディスプレイコントローラ１３２６に結合されたディスプレイスクリーン１１２を含み得る。１つまたは複数のスピーカ１１０、１つまたは複数のマイクロフォン１０６、あるいは両方は、コーダ／デコーダ（ＣＯＤＥＣ）１３３４に結合され得る。ＣＯＤＥＣ１３３４は、デジタル−アナログコンバータ（ＤＡＣ）１３０２およびアナログ−デジタルコンバータ（ＡＤＣ）１３０４を含み得る。特定の実装では、ＣＯＤＥＣ１３３４は、１つまたは複数のマイクロフォン１０６からアナログ信号を受信し、アナログ−デジタルコンバータ１３０４を使用してデジタル信号にコンバートし得る。ＣＯＤＥＣ１３３４は、プロセッサ１１４からデジタル信号を受信し得、ＣＯＤＥＣ１３３４は、デジタル−アナログコンバータ１３０２を使用してデジタル信号をアナログ信号にコンバートし得、１つまたは複数のスピーカ１１０にアナログ信号を提供し得る。
【０１０７】
[00120]  メモリ１０４は、図６〜図１０の方法６００〜１０００のうちの１つまたは複数のような、本明細書で開示された方法および処理を行うために、プロセッサ１１４、デバイス１０２の別の処理ユニット、あるいはそれらの組み合わせによって実行可能な命令１３６８を含み得る。本明細書で開示される装置／システムの１つまたは複数の構成要素は、１つまたは複数のタスク、あるいはそれらの組み合わせを行うための命令（例えば、命令１３６８）を実行するプロセッサによって、専用ハードウェア（例えば、回路）を介して実装され得る。例として、メモリ１０４、またはプロセッサ１１４の１つまたは複数の構成要素は、ランダムアクセスメモリ（ＲＡＭ）、磁気抵抗ランダムアクセスメモリ（ＭＲＡＭ）、スピン注入ＭＲＡＭ（ＳＴＴ−ＭＲＡＭ：spin-torque transfer MRAM）、フラッシュメモリ、読み取り専用メモリ（ＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、レジスタ、ハードディスク、リムーバブルディスク、またはコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、などのメモリデバイスであり得る。メモリデバイスは、コンピュータ（例えば、ＣＯＤＥＣ１３３４におけるプロセッサ、プロセッサ１１４、および／またはデバイス１０２中の別の処理ユニット）によって実行されるとき、コンピュータに、本明細書で説明される方法の１つまたは複数の少なくとも一部分を行わせ得る命令（例えば、命令１３６８）を含み得る。例として、メモリ１０４、またはプロセッサ１１４のうちの１つまたは複数の構成要素は、コンピュータ（例えば、ＣＯＤＥＣ１３３４におけるプロセッサ、プロセッサ１１４、および／または別の処理ユニット）によって実行されるとき、コンピュータに、本明細書で開示される方法のうちの少なくとも１つまたは複数の部分を行わせる命令（例えば、命令１３６８）を含む非一時的コンピュータ可読媒体であり得る。
【０１０８】
[00121]  特定の実施実装では、デバイス１０２は、モバイル局モデム（ＭＳＭ）などの、システムインパッケージまたはシステムオンチップデバイス１３２２に含まれ得る。特定の実装では、プロセッサ１１４、ディスプレイコントローラ１３２６、メモリ１０４、ＣＯＤＥＣ１３３４、およびワイヤレスインターフェース１３４０は、システムインパッケージまたはシステムオンチップのデバイス１３２２に含まれる。特定の実装では、タッチスクリーンおよび／またはキーパッドなどの入力デバイス１３３０、および電源１３４４が、システムオンチップデバイス１３２２に結合されている。さらに、特定の実装では、図１３に例示されるように、ディスプレイスクリーン１１２、入力デバイス１３３０、１つまたは複数のスピーカ１１０、１つまたは複数のマイクロフォン１０６、アンテナ１３４２、１つまたは複数のカメラ１０８、および電源１３４４は、システムオンチップのデバイス１３２２の外部にある。しかしながら、ディスプレイスクリーン１３２８、１つまたは複数のカメラ１０８、入力デバイス１３３０、１つまたは複数のスピーカ１１０、１つまたは複数のマイクロフォン１０６、アンテナ１３４２、および電源１３４４の各々は、インタフェースまたはコントローラなどのシステムオンチップデバイス１３２２の構成要素に結合され得る。例示的実施例では、デバイス１０２は、ヘッドセット、モバイル通信デバイス、スマートフォン、セルラフォン、ラップトップコンピュータ、コンピュータ、タブレットコンピュータ、パーソナルデジタルアシスタント、ディスプレイデバイス、テレビ、ゲーム機、音楽プレイヤ、無線、デジタルビデオプレイヤ、光学ディスクプレイヤ、チューナ、カメラ、ナビゲーションデバイス、デコーダシステム、エンコーダシステム、自動車または航空機などの有人または無人車両内のデバイス、あるいはこれらの任意の組み合わせに対応する。
【０１０９】
[00122]  説明された実装に関連して、仮想音を生成するための第１の装置は、ある環境中のオーディオ信号を検出するための手段を含む。例えば、オーディオ信号を検出するための手段は、図１および図１３の１つまたは複数のマイクロフォン１０６、１つまたは複数の他のセンサ、あるいはそれらの組み合わせを含み得る。
【０１１０】
[00123]  第１の装置はまた、ある環境中のオーディオ信号の音源の位置を決定するための手段を含み得る。例えば、音源の位置を決定するための手段は、図１および図１３の位置推定回路１２２、図１および図１３のプロセッサ、１つまたは複数の他のデバイス、あるいはそれらの組み合わせを含み得る。
【０１１１】
[00124]  第１の装置はまた、オーディオ信号に基づいて環境の１つまたは複数の音響特性を推定するための手段を含み得る。例えば、音響特性を推定するための手段は、図１および図１３のオーディオ分析回路１２４、図１および図１３のプロセッサ、１つまたは複数の他のデバイス、あるいはそれらの組み合わせを含み得る。
【０１１２】
[00125]  第１の装置はまた、１つまたは複数の音響特性に基づいて環境に仮想音を挿入するための手段を含み得る。仮想音は、音源の位置から生成する音の１つまたは複数のオーディオ特徴を有し得る。例えば、環境に仮想音を挿入するための手段は、図１および図１３の仮想音生成回路１２６、図１および図１３のプロセッサ、１つまたは複数の他のデバイス、あるいはそれらの組み合わせを含み得る。
【０１１３】
[00126]  説明された実装に関連して、音を出力するための第２の装置は、環境の１つまたは複数の位置において１つまたは複数の音響特性を決定するための手段を含む。例えば、１つまたは複数の音響特性を決定するための手段は、図１および図１３のオーディオ分析回路１２４、図１および図１３のプロセッサ、１つまたは複数の他のデバイス、あるいはそれらの組み合わせを含み得る。
【０１１４】
[00127]  第２の装置はまた、特定のオブジェクトを示すユーザ選択を受信するための手段を含み得る。例えば、ユーザ選択を受信するための手段は、ユーザインターフェース（例えば、図１３の入力デバイス１３３０）、１つまたは複数の他のデバイス、あるいはそれらの組み合わせを含み得る。
【０１１５】
[00128]  音装置はまた、特定の位置のユーザインジケーションを受信するための手段を含み得る。例えば、ユーザインジケーションを受信するための手段は、ユーザインターフェース（例えば、図１３の入力デバイス１３３０）、１つまたは複数の他のデバイス、あるいはそれらの組み合わせを含み得る。
【０１１６】
[00129]  音装置はまた、１つまたは複数の音響特性に基づいて、特定の位置から生成される音の１つまたは複数のオーディオ特徴を決定するための手段を含み得る。例えば、オーディオ特徴を決定するための手段は、図１および図１３のオーディオ分析回路１２４、図１および図１３のプロセッサ、１つまたは複数の他のデバイス、あるいはそれらの組み合わせを含み得る。
【０１１７】
[00130]  第２の装置はまた、特定のオブジェクトに関連付けられた仮想音を環境に挿入するための手段を含み得る。仮想音は、１つまたは複数のオーディオ特徴を有し得る。例えば、仮想音を環境に挿入するための手段は、図１および図１３の仮想音生成回路１２６、図１および図１３のプロセッサ、１つまたは複数の他のデバイス、あるいはそれらの組み合わせを含み得る。
【０１１８】
[00131]  第２の装置はまた、特定の位置を検出することと、特定の位置のユーザインジケーションを生成することと、ユーザインジケーションを受信するための手段に特定の位置のユーザインジケーションを送ることと、を行うための手段を含み得る。例えば、検出、生成、および送るための手段は、ウェアラブルセンサ、１つまたは複数の他のデバイス、あるいはそれらの組み合わせを含み得る。
【０１１９】
[00132]  説明された実装に関連して、音響環境の表現を拡張するための第３の装置は、オーディオ信号を検出するための手段を含む。例えば、検出するための手段は、図１および図１３の１つまたは複数のマイクロフォン１０６、１つまたは複数の他のセンサ、あるいはそれらの組み合わせを含み得る。
【０１２０】
[00133]  第３の装置はまた、オーディオ信号の音特性を決定するための手段を含み得る。例えば、音特性を決定するための手段は、図１および図１３のオーディオ分析回路１２４、図１および図１３のプロセッサ１１４、１つまたは複数の他のデバイス、非一時的コンピュータ可読記憶媒体におけるプロセッサ実行命令、あるいはそれらの組み合わせを含み得る。
【０１２１】
[00134]  第３の装置はまた、オーディオ信号の音特性に基づいて仮想音を生成するための手段を含み得る。例えば、仮想音を生成するための手段は、図１および図１３の仮想音生成回路１２６、図１および図１３のプロセッサ１１４、１つまたは複数の他のデバイス、非一時的コンピュータ可読記憶媒体におけるプロセッサ実行命令、あるいはそれらの組み合わせを含み得る。
【０１２２】
[00135]  第３の装置はまた、オーディオ再生デバイスによって再生のために仮想音に基づいて音信号を出力するための手段を含み得る。例えば、出力するための手段は、図１および図１３の１つまたは複数のスピーカ１１０、１つまたは複数の他のセンサ、あるいはそれらの組み合わせを含み得る。
【０１２３】
[00136]  説明された実装に関連して、仮想音を生成するための第４の装置は、視覚的シーンをキャプチャするための手段を含み得る。キャプチャするための手段は、オーディオキャプチャデバイスに近接し得る。例えば、キャプチャするための手段は、図１および図１３の１つまたは複数のカメラ１０８、１つまたは複数の他のセンサ、あるいはそれらの組み合わせを含み得る。
【０１２４】
[00137]  第４の装置はまた、視覚的シーン中の仮想音源の位置を決定するための手段を含み得る。位置は、キャプチャするための手段からの仮想音源の距離と、キャプチャするための手段に関する仮想音源の角度位置とを示し得る。例えば、仮想音源の位置を決定するための手段は、図１および図１３の位置推定回路１２２、図１および図１３のプロセッサ１１４、１つまたは複数の他のデバイス、非一時的コンピュータ可読記憶媒体におけるプロセッサ実行命令、あるいはそれらの組み合わせを含み得る。
【０１２５】
[00138]  第４の装置はまた、仮想音源の位置に基づいて仮想音の１つまたは複数の音特性を決定するための手段を含み得る。例えば、１つまたは複数の音特性を決定するための手段は、図１および図１３のオーディオ分析回路１２４、図１および図１３の仮想音生成回路１２６、図１および図１３の音特性のデータベース１１６、図１および図１３のプロセッサ１１４、１つまたは複数の他のデバイス、非一時的コンピュータ可読記憶媒体におけるプロセッサ実行命令、あるいはそれらの組み合わせを含み得る。
【０１２６】
[00139]  第４の装置はまた、１つまたは複数の音特性に基づいて仮想音を生成するための手段を含み得る。例えば、仮想音を生成するための手段は、図１および図１３の仮想音生成回路１２６、図１および図１３のプロセッサ１１４、１つまたは複数の他のデバイス、非一時的コンピュータ可読記憶媒体におけるプロセッサ実行命令、あるいはそれらの組み合わせを含み得る。
【０１２７】
[00140]  第４の装置はまた、仮想音に基づいて音信号を出力するための手段を含み得る。例えば、出力するための手段は、図１および図１３の１つまたは複数のスピーカ１１０、１つまたは複数の他のセンサ、あるいはそれらの組み合わせを含み得る。
【０１２８】
[00141]  説明された実装に関連して、第５の装置は、第１のオーディオ信号を検出するための手段を含む。第１のオーディオ信号は、音響環境中の音源によって生成され得る。例えば、検出するための手段は、図１および図１３の１つまたは複数のマイクロフォン１０６、１つまたは複数の他のセンサ、あるいはそれらの組み合わせを含み得る。
【０１２９】
[00142]  第５の装置はまた、第１のオーディオ信号の特性を決定するための手段を含み得る。例えば、特性を決定するための手段は、図１および図１３のオーディオ分析回路１２４、図１および図１３のプロセッサ１１４、１つまたは複数の他のデバイス、非一時的コンピュータ可読記憶媒体におけるプロセッサ実行命令、あるいはそれらの組み合わせを含み得る。
【０１３０】
[00143]  第５の装置は、空間的にフィルタされたオーディオファイルを生成するために、特性に基づいて第２のオーディオ信号のデジタル表現を空間的にフィルタするための手段を含む。例えば、空間的にフィルタするための手段は、図１および図１３の仮想音生成回路１２６、図１および図１３のプロセッサ１１４、１つまたは複数の他のデバイス、非一時的コンピュータ可読記憶媒体におけるプロセッサ実行命令、あるいはそれらの組み合わせを含み得る。
【０１３１】
[00144]  第５の装置はまた、空間的にフィルタされた音を投影するための手段を含み得る。空間的にフィルタされた音は、投影するための手段に送られる空間的にフィルタされたオーディオ信号に基づき得、空間的にフィルタされたオーディオ信号は、空間的にフィルタされたオーディオファイルに基づき得る。例えば、投影するための手段は、図１および図１３の１つまたは複数のスピーカ１１０、１つまたは複数の他の音出力デバイス、あるいはそれらの組み合わせを含み得る。
【０１３２】
[00145]  当業者は、本明細書で開示された態様に関連して説明された、様々な例示的な論理ブロック、構成、モジュール、回路、およびアルゴリズムステップが、電子ハードウェア、ハードウェアプロセッサのような処理デバイスによって実行されるコンピュータソフトウェア、または両方の組み合わせとして実装され得ることをさらに理解するだろう。様々な例示的な構成要素、ブロック、構成、モジュール、回路、およびステップが、概して、それらの機能の観点から上記に説明されている。そのような機能をハードウェアとして実施するか、ソフトウェアとして実施するかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実施し得るが、そのような実施の決定は、本開示の範囲からの逸脱を生じるものと解釈すべきではない。
【０１３３】
[00146]  本明細書の開示に関して説明された方法またはアルゴリズムのステップは、直接ハードウェアにおいて、プロセッサによって実行されるソフトウェアモジュールにおいて、またはその２つの組合せにおいて具現化され得る。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、磁気抵抗ランダムアクセスメモリ（ＭＲＡＭ）、スピン注入ＭＲＡＭ（ＳＴＴ−ＭＲＡＭ）、フラッシュメモリ、読み取り専用メモリ（ＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）レジスタ、ハードディスク、リムーバブルディスク、またはコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）のようなメモリデバイスに存在し得る。例示的なメモリデバイスは、プロセッサがこのメモリデバイスから情報を読み取り、このメモリデバイスに情報を書き込むことができるようにプロセッサに結合される。代替として、メモリデバイスは、プロセッサに一体化され得る。プロセッサおよび記憶媒体は、ＡＳＩＣ中に常駐し得る。ＡＳＩＣは、コンピューティングデバイスまたはユーザ端末に存在し得る。代替として、プロセッサおよび記憶媒体は、コンピューティングデバイスまたはユーザ端末内の離散構成要素として存在し得る。
【０１３４】
[00147]  開示された実施形態の先の説明は、当業者が、開示された態様形態を製造または使用することを可能にするために提供される。これらの態様に対する様々な修正は、当業者に対して容易に明らかであり、本明細書で定義される原理は、本開示の範囲から逸脱することなく他の態様に適用され得る。よって、本開示は、本明細書で示される態様に限定されることを意図するものではなく、下記の特許請求の範囲で定義されるような原理および新規な特徴と一致し得る最も広い範囲を与えられるべきである。
【図１】
2019527956.tif 000003
【図２】
2019527956.tif 000004
【図３】
2019527956.tif 000005
【図４Ａ】
2019527956.tif 000006
【図４Ｂ】
2019527956.tif 000007
【図５】
2019527956.tif 000008
【図６】
2019527956.tif 000009
【図７】
2019527956.tif 000010
【図８】
2019527956.tif 000011
【図９】
2019527956.tif 000012
【図１０】
2019527956.tif 000013
【図１１】
2019527956.tif 000014
【図１２】
2019527956.tif 000015
【図１３】
2019527956.tif 000016
【手続補正書】
【提出日】平成31年3月12日(2019.3.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
仮想音を出力するための装置であって、前記装置は、
ある環境中のオーディオ信号を検出するように構成された１つまたは複数のマイクロフォンと、
前記１つまたは複数のマイクロフォンに結合されたプロセッサと、
を備え、前記プロセッサは、
前記オーディオ信号の音源の位置を示す第１の視覚的パラメータを決定することと、
前記オーディオ信号に基づいて前記環境の１つまたは複数の音響特性を推定することと、
前記第１の視覚的パラメータ、前記仮想音の視覚的パラメータ、および前記１つまたは複数の音響特性に基づいて前記環境に仮想音を挿入することと、前記仮想音は、前記音源の前記位置から生成される音の１つまたは複数のオーディオ特徴を有する、
を行うように構成される、装置。
【請求項２】
前記第１の視覚的パラメータは、前記環境の視覚的表現において前記音源の前記位置を示し、前記プロセッサは、
前記環境への前記仮想音の挿入の前に、前記仮想音を生成することと、
前記第１の視覚的パラメータと前記仮想音の前記視覚的パラメータとの比較にさらに基づいて前記環境に前記仮想音を挿入することと
を行うようにさらに構成される、請求項１に記載の装置。
【請求項３】
前記プロセッサは、
前記１つまたは複数の音響特性をメモリ中の１つまたは複数のエントリと比較することと、各エントリは、異なる仮想音に関連付けられ、
前記環境への前記仮想音の挿入の前に、前記比較に基づいて特定のエントリから前記仮想音を導出することと、
を行うようにさらに構成される、請求項１に記載の装置。
【請求項４】
前記プロセッサは、
前記オーディオ信号に基づいて、前記音源を特定のオブジェクトに分類することと、
前記特定のオブジェクトの仮想イメージを生成することと、
前記環境中の前記音源の前記位置において、前記仮想イメージを挿入することと、
を行うようにさらに構成される、請求項１に記載の装置。
【請求項５】
前記プロセッサに結合されたカメラをさらに備え、前記カメラは、前記環境をキャプチャするように構成される、請求項１に記載の装置。
【請求項６】
前記カメラは、防犯カメラを含む、請求項５に記載の装置。
【請求項７】
前記カメラ、前記１つまたは複数のマイクロフォン、および前記プロセッサは、ヘッドセットに統合される、請求項５に記載の装置。
【請求項８】
前記ヘッドセットは、前記環境の視覚的描写を表示するように構成される、請求項７に記載の装置。
【請求項９】
前記プロセッサは、
前記オーディオ信号の音特性を決定することと、
前記音特性に基づいて、前記音源が前記環境の第１の区域に位置するか、または前記環境の第２の区域に位置するかを決定することと、ここにおいて、前記第１の区域は、前記第２の区域よりも前記１つまたは複数のマイクロフォンに近い、
前記オーディオ信号の到来方向を推定することと、ここにおいて、前記位置は、前記音源に関連付けられた区域および前記到来方向に基づく、
を行うようにさらに構成される、請求項１に記載の装置。
【請求項１０】
前記音特性は、前記オーディオ信号の少なくとも１つの残響特性を備える、請求項９に記載の装置。
【請求項１１】
前記少なくとも１つの残響特性は、前記オーディオ信号の直接音対残響音比を備える、請求項１０に記載の装置。
【請求項１２】
仮想音を出力するための方法であって、前記方法は、
１つまたは複数のマイクロフォンにおいて、ある環境中のオーディオ信号を検出することと、
プロセッサにおいて、前記オーディオ信号の音源の位置を示す第１の視覚的パラメータを決定することと、
前記オーディオ信号に基づいて前記環境の１つまたは複数の音響特性を推定することと、
前記第１の視覚的パラメータ、前記仮想音の視覚的パラメータ、および前記１つまたは複数の音響特性に基づいて前記環境に仮想音を挿入することと、前記仮想音は、前記音源の前記位置から生成される音の１つまたは複数のオーディオ特徴を有する、
を備える、方法。
【請求項１３】
前記環境への前記仮想音の挿入の前に、前記仮想音を生成することをさらに備える、請求項１２に記載の方法。
【請求項１４】
前記１つまたは複数の音響特性をメモリ中の１つまたは複数のエントリと比較することと、各エントリは、異なる仮想音に関連付けられ、
前記環境への前記仮想音の挿入の前に、前記比較に基づいて特定のエントリから前記仮想音を導出することと、
をさらに備える、請求項１２に記載の方法。
【請求項１５】
前記オーディオ信号に基づいて、前記音源を特定のオブジェクトに分類することと、
前記特定のオブジェクトの仮想イメージを生成することと、
前記環境中の前記音源の前記位置において、前記仮想イメージを挿入することと、
をさらに備える、請求項１２に記載の方法。
【請求項１６】
カメラを介して前記環境をキャプチャすることをさらに備える、請求項１２に記載の方法。
【請求項１７】
前記カメラは、防犯カメラを含む、請求項１６に記載の方法。
【請求項１８】
前記カメラ、前記１つまたは複数のマイクロフォン、および前記プロセッサは、ヘッドセットに統合される、請求項１６に記載の方法。
【請求項１９】
前記ヘッドセットにおいて前記環境の視覚的描写を表示することをさらに備える、請求項１８に記載の方法。
【請求項２０】
前記音源の前記位置を決定することは、
前記オーディオ信号の音特性を決定することと、
前記音特性に基づいて、前記音源が前記環境の第１の区域に位置するか、または前記環境の第２の区域に位置するかを決定することと、ここにおいて、前記第１の区域は、前記第２の区域よりも前記１つまたは複数のマイクロフォンに近い、
前記オーディオ信号の到来方向を推定することと、ここにおいて、前記位置は、前記音源に関連付けられた区域および前記到来方向に基づく、
を備える、請求項１２に記載の方法。
【請求項２１】
前記音特性は、前記オーディオ信号の少なくとも１つの残響特性を備える、請求項２０に記載の方法。
【請求項２２】
前記少なくとも１つの残響特性は、前記オーディオ信号の直接音対残響音比を備える、請求項２１に記載の方法。
【請求項２３】
仮想音を出力するための命令を備える非一時的コンピュータ可読媒体であって、前記命令は、プロセッサによって実行されたとき、前記プロセッサに、
ある環境中のオーディオ信号の音源の位置を示す第１の視覚的パラメータを決定することと、前記オーディオ信号は、１つまたは複数のマイクロフォンにおいて検出される、
前記オーディオ信号に基づいて前記環境の１つまたは複数の音響特性を推定することと、
前記第１の視覚的パラメータ、前記仮想音の視覚的パラメータ、および前記１つまたは複数の音響特性に基づいて前記環境に仮想音を挿入することと、前記仮想音は、前記音源の前記位置から生成される音の１つまたは複数のオーディオ特徴を有する、
を備える動作を行わせる、非一時的コンピュータ可読媒体。
【請求項２４】
前記動作は、前記環境への前記仮想音の挿入の前に、前記仮想音を生成することをさらに備える、請求項２３に記載の非一時的コンピュータ可読媒体。
【請求項２５】
前記動作は、
前記１つまたは複数の音響特性をメモリ中の１つまたは複数のエントリと比較することと、各エントリは、異なる仮想音に関連付けられ、
前記環境への前記仮想音の挿入の前に、前記比較に基づいて特定のエントリから前記仮想音を導出することと、
をさらに備える、請求項２３に記載の非一時的コンピュータ可読媒体。
【請求項２６】
前記動作は、
前記オーディオ信号に基づいて、前記音源を特定のオブジェクトに分類することと、
前記特定のオブジェクトの仮想イメージを生成することと、
前記環境中の前記音源の前記位置において、前記仮想イメージを挿入することと、
をさらに備える、請求項２３に記載の非一時的コンピュータ可読媒体。
【請求項２７】
前記動作は、カメラに、前記環境をキャプチャさせることをさらに備える、請求項２３に記載の非一時的コンピュータ可読媒体。
【請求項２８】
前記カメラは、防犯カメラを含む、請求項２７に記載の非一時的コンピュータ可読媒体。
【請求項２９】
仮想音を出力するための装置であって、前記装置は、
ある環境中のオーディオ信号を検出するための手段と、
前記環境中のオーディオ信号の音源の位置を示す第１の視覚的パラメータを決定するための手段と、
前記オーディオ信号に基づいて前記環境の１つまたは複数の音響特性を推定するための手段と、
前記第１の視覚的パラメータ、前記仮想音の視覚的パラメータ、および前記１つまたは複数の音響特性に基づいて前記環境に仮想音を挿入するための手段と、前記仮想音は、前記音源の前記位置から生成される音の１つまたは複数のオーディオ特徴を有する、
を備える、装置。
【請求項３０】
前記オーディオ信号に基づいて、前記音源を特定のオブジェクトに分類するための手段と、
前記特定のオブジェクトの仮想イメージを生成するための手段と、
前記環境中の前記音源の前記位置において、前記仮想イメージを挿入するための手段と、
をさらに備える、請求項２９に記載の装置。
【請求項３１】
音を出力するための装置であって、前記装置は、
メモリと、
前記メモリに結合されたプロセッサと
を備え、前記プロセッサは、
環境の１つまたは複数の位置において１つまたは複数の音響特性を決定することと、
特定のオブジェクトを示すユーザ選択を受信することと、
特定の位置のユーザインジケーションに関連付けられた第１の視覚的パラメータを決定することと、
前記１つまたは複数の音響特性に基づいて、前記特定の位置から生成される音の１つまたは複数のオーディオ特徴を決定することと、
前記第１の視覚的パラメータまたは前記仮想音の視覚的パラメータのうちの少なくとも１つに基づいて、および前記１つまたは複数の音響特性に基づいて、前記特定のオブジェクトに関連付けられた仮想音を前記環境に挿入することと、前記仮想音は、前記１つまたは複数のオーディオ特徴を有する、
を行うように構成される、装置。
【請求項３２】
前記プロセッサは、
ユーザの手において、前記特定の位置を位置センサから受信することと、
前記ユーザの手において、スピーカに基づいて前記１つまたは複数の音響特性を決定することと、
を行うようにさらに構成される、請求項３１に記載の装置。
【請求項３３】
前記プロセッサは、
前記１つまたは複数の音響特性をメモリ中の１つまたは複数のエントリと比較することと、各エントリは、異なる仮想音に関連付けられ、
前記環境への前記仮想音の挿入の前に、前記比較に基づいて特定のエントリから前記仮想音を導出することと、
を行うようにさらに構成される、請求項３１に記載の装置。
【請求項３４】
前記プロセッサに結合されたウェアラブルセンサをさらに備え、前記ウェアラブルセンサは、
前記特定の位置を検出することと、
前記特定の位置の前記ユーザインジケーションを生成することと、
前記プロセッサに、前記特定の位置の前記ユーザインジケーションを送ることと
を行うように構成される、請求項３１に記載の装置。
【請求項３５】
前記ウェアラブルセンサは、ユーザの手に装着されるようにさらに構成される、請求項３４に記載の装置。
【請求項３６】
前記プロセッサに結合された１つまたは複数のスピーカと、前記１つまたは複数のスピーカは、前記環境の異なる位置においてオーディオ信号を生成するように構成され、
前記プロセッサに結合された１つまたは複数のマイクロフォンと、前記１つまたは複数のマイクロフォンは、各オーディオ信号を検出するように構成され、
ここにおいて、前記プロセッサは、前記１つまたは複数のスピーカによって生成される検出されたオーディオ信号に基づいて、前記１つまたは複数の位置において前記１つまたは複数の音響特性を決定するように構成される、
をさらに備える、請求項３１に記載の装置。
【請求項３７】
前記１つまたは複数のスピーカは、ユーザの手に装着されるようにさらに構成される、請求項３６に記載の装置。
【請求項３８】
音を出力するための方法であって、前記方法は、
環境の１つまたは複数の位置において１つまたは複数の音響特性を決定することと、
特定のオブジェクトを示すユーザ選択を受信することと、
特定の位置のユーザインジケーションに関連付けられた第１の視覚的パラメータを決定することと、
前記１つまたは複数の音響特性に基づいて、前記特定の位置から生成される音の１つまたは複数のオーディオ特徴を決定することと、
前記第１の視覚的パラメータまたは前記仮想音の視覚的パラメータのうちの少なくとも１つに基づいて、および前記１つまたは複数の音響特性に基づいて、前記特定のオブジェクトに関連付けられた仮想音を前記環境に挿入することと、前記仮想音は、前記１つまたは複数のオーディオ特徴を有する、
を備える、方法。
【請求項３９】
前記環境への前記仮想音の挿入の前に、前記仮想音を生成することをさらに備える、請求項３８に記載の方法。
【請求項４０】
前記１つまたは複数の音響特性をメモリ中の１つまたは複数のエントリと比較することと、各エントリは、異なる仮想音に関連付けられ、
前記環境への前記仮想音の挿入の前に、前記比較に基づいて特定のエントリから前記仮想音を導出することと、
をさらに備える、請求項３８に記載の方法。
【請求項４１】
ウェアラブルセンサを使用して前記特定の位置を検出することと、
前記ウェアラブルセンサにおいて、前記特定の位置の前記ユーザインジケーションを生成することと、
プロセッサに、前記ウェアラブルセンサからの前記特定の位置の前記ユーザインジケーションを送ることと
をさらに備える、請求項３８に記載の方法。
【請求項４２】
前記ウェアラブルセンサは、ユーザの手に装着されるように構成される、請求項４１に記載の方法。
【請求項４３】
１つまたは複数のスピーカを使用して、前記環境の異なる位置においてオーディオ信号を生成することと、
１つまたは複数のマイクロフォンを使用して、各オーディオ信号を検出することと、
ここにおいて、前記１つまたは複数の位置における前記１つまたは複数の音響特性は、前記１つまたは複数のスピーカによって生成される検出されたオーディオ信号に基づいて決定される、
をさらに備える、請求項３８に記載の方法。
【請求項４４】
前記１つまたは複数のスピーカは、ユーザの手に装着されるように構成される、請求項４３に記載の方法。
【請求項４５】
音を出力するための命令を備える非一時的コンピュータ可読媒体であって、前記命令は、プロセッサによって実行されたとき、前記プロセッサに、
環境の１つまたは複数の位置において１つまたは複数の音響特性を決定することと、
特定のオブジェクトを示すユーザ選択を受信することと、
特定の位置のユーザインジケーションに関連付けられた第１の視覚的パラメータを決定することと、
前記１つまたは複数の音響特性に基づいて、前記特定の位置から生成される音の１つまたは複数のオーディオ特徴を決定することと、
前記第１の視覚的パラメータまたは前記仮想音の視覚的パラメータのうちの少なくとも１つに基づいて、および前記１つまたは複数の音響特性に基づいて、前記特定のオブジェクトに関連付けられた仮想音を前記環境に挿入することと、前記仮想音は、前記１つまたは複数のオーディオ特徴を有する、
を備える動作を行わせる、非一時的コンピュータ可読媒体。
【請求項４６】
前記動作は、前記環境への前記仮想音の挿入の前に、前記仮想音を生成することをさらに備える、請求項４５に記載の非一時的コンピュータ可読媒体。
【請求項４７】
前記動作は、
前記１つまたは複数の音響特性をメモリ中の１つまたは複数のエントリと比較することと、各エントリは、異なる仮想音に関連付けられ、
前記環境への前記仮想音の挿入の前に、前記比較に基づいて特定のエントリから前記仮想音を導出することと、
をさらに備える、請求項４５に記載の非一時的コンピュータ可読媒体。
【請求項４８】
前記特定の位置の前記ユーザインジケーションは、ウェアラブルセンサから受信される、請求項４５に記載の非一時的コンピュータ可読媒体。
【請求項４９】
前記ウェアラブルセンサは、ユーザの手に装着されるように構成される、請求項４８に記載の非一時的コンピュータ可読媒体。
【請求項５０】
前記動作は、
１つまたは複数のスピーカを使用して、前記環境の異なる位置においてオーディオ信号の生成を開始することと、
１つまたは複数のマイクロフォンを使用して、各オーディオ信号を検出することと、
ここにおいて、前記１つまたは複数の位置における前記１つまたは複数の音響特性は、前記１つまたは複数のスピーカによって生成される検出されたオーディオ信号に基づいて決定される、
をさらに備える、請求項４５に記載の非一時的コンピュータ可読媒体。
【請求項５１】
前記１つまたは複数のスピーカは、ユーザの手に装着されるようにさらに構成される、請求項５０に記載の非一時的コンピュータ可読媒体。
【請求項５２】
音を出力するための装置であって、前記装置は、
環境の１つまたは複数の位置において１つまたは複数の音響特性を決定するための手段と、
特定のオブジェクトを示すユーザ選択を受信するための手段と、
特定の位置のユーザインジケーションに関連付けられた第１の視覚的パラメータを決定するための手段と、
前記１つまたは複数の音響特性に基づいて、前記特定の位置から生成される音の１つまたは複数のオーディオ特徴を決定するための手段と、
前記第１の視覚的パラメータまたは前記仮想音の視覚的パラメータのうちの少なくとも１つに基づいて、および前記１つまたは複数の音響特性に基づいて、前記特定のオブジェクトに関連付けられた仮想音を前記環境に挿入するための手段と、前記仮想音は、前記１つまたは複数のオーディオ特徴を有する、
を備える、装置。
【請求項５３】
前記環境への前記仮想音の挿入の前に、前記仮想音を生成するための手段をさらに備える、請求項５２に記載の装置。
【請求項５４】
前記１つまたは複数の音響特性をメモリ中の１つまたは複数のエントリと比較するための手段と、各エントリは、異なる仮想音に関連付けられ、
前記環境への前記仮想音の挿入の前に、前記比較に基づいて特定のエントリから前記仮想音を導出するための手段と、
をさらに備える、請求項５２に記載の装置。
【請求項５５】
前記特定の位置を検出することと、前記特定の位置の前記ユーザインジケーションを生成することと、前記ユーザインジケーションを受信するための前記手段に前記特定の位置の前記ユーザインジケーションを送ることと、を行うための手段をさらに備える、請求項５２に記載の装置。
【請求項５６】
前記特定の位置を検出するための前記手段は、ユーザの手に装着されるように構成される、請求項５５に記載の装置。
【請求項５７】
前記環境の異なる位置においてオーディオ信号を生成するための手段と、
各オーディオ信号を検出するための手段と、
ここにおいて、前記１つまたは複数の位置における前記１つまたは複数の音響特性は、オーディオ信号を生成するための前記手段によって生成される検出されたオーディオ信号に基づいて決定される、
をさらに備える、請求項５２に記載の装置。
【請求項５８】
前記オーディオ信号を生成するための前記手段は、ユーザの手に装着されるように構成される、請求項５７に記載の装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１３４
【補正方法】変更
【補正の内容】
【０１３４】
[00147]  開示された実施形態の先の説明は、当業者が、開示された態様形態を製造または使用することを可能にするために提供される。これらの態様に対する様々な修正は、当業者に対して容易に明らかであり、本明細書で定義される原理は、本開示の範囲から逸脱することなく他の態様に適用され得る。よって、本開示は、本明細書で示される態様に限定されることを意図するものではなく、下記の特許請求の範囲で定義されるような原理および新規な特徴と一致し得る最も広い範囲を与えられるべきである。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
仮想音を出力するための装置であって、前記装置は、
ある環境中のオーディオ信号を検出するように構成された１つまたは複数のマイクロフォンと、
前記１つまたは複数のマイクロフォンに結合されたプロセッサと、
を備え、前記プロセッサは、
前記オーディオ信号の音源の位置を決定することと、
前記オーディオ信号に基づいて前記環境の１つまたは複数の音響特性を推定することと、
前記１つまたは複数の音響特性に基づいて前記環境に仮想音を挿入することと、前記仮想音は、前記音源の前記位置から生成される音の１つまたは複数のオーディオ特徴を有する、
を行うように構成される、装置。
［Ｃ２］
前記プロセッサは、前記環境への前記仮想音の挿入の前に、前記仮想音を生成するようにさらに構成される、Ｃ１に記載の装置。
［Ｃ３］
前記プロセッサは、
前記１つまたは複数の音響特性をメモリ中の１つまたは複数のエントリと比較することと、各エントリは、異なる仮想音に関連付けられ、
前記環境への前記仮想音の挿入の前に、前記比較に基づいて特定のエントリから前記仮想音を導出することと、
を行うようにさらに構成される、Ｃ１に記載の装置。
［Ｃ４］
前記プロセッサは、
前記オーディオ信号に基づいて、前記音源を特定のオブジェクトに分類することと、
前記特定のオブジェクトの仮想イメージを生成することと、
前記環境中の前記音源の前記位置において、前記仮想イメージを挿入することと、
を行うようにさらに構成される、Ｃ１に記載の装置。
［Ｃ５］
前記プロセッサに結合されたカメラをさらに備え、前記カメラは、前記環境をキャプチャするように構成される、Ｃ１に記載の装置。
［Ｃ６］
前記カメラは、防犯カメラを含む、Ｃ５に記載の装置。
［Ｃ７］
前記カメラ、前記１つまたは複数のマイクロフォン、および前記プロセッサは、ヘッドセットに統合される、Ｃ５に記載の装置。
［Ｃ８］
前記ヘッドセットは、前記環境の視覚的描写を表示するように構成される、Ｃ７に記載の装置。
［Ｃ９］
前記プロセッサは、
前記オーディオ信号の音特性を決定することと、
前記音特性に基づいて、前記音源が前記環境の第１の区域に位置するか、または前記環境の第２の区域に位置するかを決定することと、ここにおいて、前記第１の区域は、前記第２の区域よりも前記１つまたは複数のマイクロフォンに近い、
前記オーディオ信号の到来方向を推定することと、ここにおいて、前記位置は、前記音源に関連付けられた区域および前記到来方向に基づく、
を行うようにさらに構成される、Ｃ１に記載の装置。
［Ｃ１０］
前記音特性は、前記オーディオ信号の少なくとも１つの残響特性を備える、Ｃ９に記載の装置。
［Ｃ１１］
前記少なくとも１つの残響特性は、前記オーディオ信号の直接音対残響音比を備える、Ｃ１０に記載の装置。
［Ｃ１２］
仮想音を出力するための方法であって、前記方法は、
１つまたは複数のマイクロフォンにおいて、ある環境中のオーディオ信号を検出することと、
プロセッサにおいて、前記オーディオ信号の音源の位置を決定することと、
前記オーディオ信号に基づいて前記環境の１つまたは複数の音響特性を推定することと、
前記１つまたは複数の音響特性に基づいて前記環境に仮想音を挿入することと、前記仮想音は、前記音源の前記位置から生成される音の１つまたは複数のオーディオ特徴を有する、
を備える、方法。
［Ｃ１３］
前記環境への前記仮想音の挿入の前に、前記仮想音を生成することをさらに備える、Ｃ１２に記載の方法。
［Ｃ１４］
前記１つまたは複数の音響特性をメモリ中の１つまたは複数のエントリと比較することと、各エントリは、異なる仮想音に関連付けられ、
前記環境への前記仮想音の挿入の前に、前記比較に基づいて特定のエントリから前記仮想音を導出することと、
をさらに備える、Ｃ１２に記載の方法。
［Ｃ１５］
前記オーディオ信号に基づいて、前記音源を特定のオブジェクトに分類することと、
前記特定のオブジェクトの仮想イメージを生成することと、
前記環境中の前記音源の前記位置において、前記仮想イメージを挿入することと、
をさらに備える、Ｃ１２に記載の方法。
［Ｃ１６］
カメラを介して前記環境をキャプチャすることをさらに備える、Ｃ１２に記載の方法。
［Ｃ１７］
前記カメラは、防犯カメラを含む、Ｃ１６に記載の方法。
［Ｃ１８］
前記カメラ、前記１つまたは複数のマイクロフォン、および前記プロセッサは、ヘッドセットに統合される、Ｃ１６に記載の方法。
［Ｃ１９］
前記ヘッドセットにおいて前記環境の視覚的描写を表示することをさらに備える、Ｃ１８に記載の方法。
［Ｃ２０］
前記音源の前記位置を決定することは、
前記オーディオ信号の音特性を決定することと、
前記音特性に基づいて、前記音源が前記環境の第１の区域に位置するか、または前記環境の第２の区域に位置するかを決定することと、ここにおいて、前記第１の区域は、前記第２の区域よりも前記１つまたは複数のマイクロフォンに近い、
前記オーディオ信号の到来方向を推定することと、ここにおいて、前記位置は、前記音源に関連付けられた区域および前記到来方向に基づく、
を備える、Ｃ１２に記載の方法。
［Ｃ２１］
前記音特性は、前記オーディオ信号の少なくとも１つの残響特性を備える、Ｃ２０に記載の方法。
［Ｃ２２］
前記少なくとも１つの残響特性は、前記オーディオ信号の直接音対残響音比を備える、Ｃ２１に記載の方法。
［Ｃ２３］
仮想音を出力するための命令を備える非一時的コンピュータ可読媒体であって、前記命令は、プロセッサによって実行されたとき、前記プロセッサに、
ある環境中のオーディオ信号の音源の位置を決定することと、前記オーディオ信号は、１つまたは複数のマイクロフォンにおいて検出される、
前記オーディオ信号に基づいて前記環境の１つまたは複数の音響特性を推定することと、
前記１つまたは複数の音響特性に基づいて前記環境に仮想音を挿入することと、前記仮想音は、前記音源の前記位置から生成される音の１つまたは複数のオーディオ特徴を有する、
を備える動作を行わせる、非一時的コンピュータ可読媒体。
［Ｃ２４］
前記動作は、前記環境への前記仮想音の挿入の前に、前記仮想音を生成することをさらに備える、Ｃ２３に記載の非一時的コンピュータ可読媒体。
［Ｃ２５］
前記動作は、
前記１つまたは複数の音響特性をメモリ中の１つまたは複数のエントリと比較することと、各エントリは、異なる仮想音に関連付けられ、
前記環境への前記仮想音の挿入の前に、前記比較に基づいて特定のエントリから前記仮想音を導出することと、
をさらに備える、Ｃ２３に記載の非一時的コンピュータ可読媒体。
［Ｃ２６］
前記動作は、
前記オーディオ信号に基づいて、前記音源を特定のオブジェクトに分類することと、
前記特定のオブジェクトの仮想イメージを生成することと、
前記環境中の前記音源の前記位置において、前記仮想イメージを挿入することと、
をさらに備える、Ｃ２３に記載の非一時的コンピュータ可読媒体。
［Ｃ２７］
前記動作は、カメラに、前記環境をキャプチャさせることをさらに備える、Ｃ２３に記載の非一時的コンピュータ可読媒体。
［Ｃ２８］
前記カメラは、防犯カメラを含む、Ｃ２７に記載の非一時的コンピュータ可読媒体。
［Ｃ２９］
仮想音を出力するための装置であって、前記装置は、
ある環境中のオーディオ信号を検出するための手段と、
前記環境中のオーディオ信号の音源の位置を決定するための手段と、
前記オーディオ信号に基づいて前記環境の１つまたは複数の音響特性を推定するための手段と、
前記１つまたは複数の音響特性に基づいて前記環境に仮想音を挿入するための手段と、前記仮想音は、前記音源の前記位置から生成される音の１つまたは複数のオーディオ特徴を有する、
を備える、装置。
［Ｃ３０］
前記オーディオ信号に基づいて、前記音源を特定のオブジェクトに分類するための手段と、
前記特定のオブジェクトの仮想イメージを生成するための手段と、
前記環境中の前記音源の前記位置において、前記仮想イメージを挿入するための手段と、
をさらに備える、Ｃ２９に記載の装置。
［Ｃ３１］
音を出力するための装置であって、前記装置は、
メモリと、
前記メモリに結合されたプロセッサと
を備え、前記プロセッサは、
環境の１つまたは複数の位置において１つまたは複数の音響特性を決定することと、
特定のオブジェクトを示すユーザ選択を受信することと、
特定の位置のユーザインジケーションを受信することと、
前記１つまたは複数の音響特性に基づいて、前記特定の位置から生成される音の１つまたは複数のオーディオ特徴を決定することと、
前記特定のオブジェクトに関連付けられた仮想音を前記環境に挿入することと、前記仮想音は、前記１つまたは複数のオーディオ特徴を有する、
を行うように構成される、装置。
［Ｃ３２］
前記プロセッサは、前記環境への前記仮想音の挿入の前に、前記仮想音を生成するようにさらに構成される、Ｃ３１に記載の装置。
［Ｃ３３］
前記プロセッサは、
前記１つまたは複数の音響特性をメモリ中の１つまたは複数のエントリと比較することと、各エントリは、異なる仮想音に関連付けられ、
前記環境への前記仮想音の挿入の前に、前記比較に基づいて特定のエントリから前記仮想音を導出することと、
を行うようにさらに構成される、Ｃ３１に記載の装置。
［Ｃ３４］
前記プロセッサに結合されたウェアラブルセンサをさらに備え、前記ウェアラブルセンサは、
前記特定の位置を検出することと、
前記特定の位置の前記ユーザインジケーションを生成することと、
前記プロセッサに、前記特定の位置の前記ユーザインジケーションを送ることと
を行うように構成される、Ｃ３１に記載の装置。
［Ｃ３５］
前記ウェアラブルセンサは、ユーザの手に装着されるようにさらに構成される、Ｃ３４に記載の装置。
［Ｃ３６］
前記プロセッサに結合された１つまたは複数のスピーカと、前記１つまたは複数のスピーカは、前記環境の異なる位置においてオーディオ信号を生成するように構成され、
前記プロセッサに結合された１つまたは複数のマイクロフォンと、前記１つまたは複数のマイクロフォンは、各オーディオ信号を検出するように構成され、
ここにおいて、前記プロセッサは、前記１つまたは複数のスピーカによって生成される検出されたオーディオ信号に基づいて、前記１つまたは複数の位置において前記１つまたは複数の音響特性を決定するように構成される、
をさらに備える、Ｃ３１に記載の装置。
［Ｃ３７］
前記１つまたは複数のスピーカは、ユーザの手に装着されるようにさらに構成される、Ｃ３６に記載の装置。
［Ｃ３８］
音を出力するための方法であって、前記方法は、
環境の１つまたは複数の位置において１つまたは複数の音響特性を決定することと、
特定のオブジェクトを示すユーザ選択を受信することと、
特定の位置のユーザインジケーションを受信することと、
前記１つまたは複数の音響特性に基づいて、前記特定の位置から生成される音の１つまたは複数のオーディオ特徴を決定することと、
前記特定のオブジェクトに関連付けられた仮想音を前記環境に挿入することと、前記仮想音は、前記１つまたは複数のオーディオ特徴を有する、
を備える、方法。
［Ｃ３９］
前記環境への前記仮想音の挿入の前に、前記仮想音を生成することをさらに備える、Ｃ３８に記載の方法。
［Ｃ４０］
前記１つまたは複数の音響特性をメモリ中の１つまたは複数のエントリと比較することと、各エントリは、異なる仮想音に関連付けられ、
前記環境への前記仮想音の挿入の前に、前記比較に基づいて特定のエントリから前記仮想音を導出することと、
をさらに備える、Ｃ３８に記載の方法。
［Ｃ４１］
ウェアラブルセンサを使用して前記特定の位置を検出することと、
前記ウェアラブルセンサにおいて、前記特定の位置の前記ユーザインジケーションを生成することと、
プロセッサに、前記ウェアラブルセンサからの前記特定の位置の前記ユーザインジケーションを送ることと
をさらに備える、Ｃ３８に記載の方法。
［Ｃ４２］
前記ウェアラブルセンサは、ユーザの手に装着されるように構成される、Ｃ４１に記載の方法。
［Ｃ４３］
１つまたは複数のスピーカを使用して、前記環境の異なる位置においてオーディオ信号を生成することと、
１つまたは複数のマイクロフォンを使用して、各オーディオ信号を検出することと、
ここにおいて、前記１つまたは複数の位置における前記１つまたは複数の音響特性は、前記１つまたは複数のスピーカによって生成される検出されたオーディオ信号に基づいて決定される、
をさらに備える、Ｃ３８に記載の方法。
［Ｃ４４］
前記１つまたは複数のスピーカは、ユーザの手に装着されるように構成される、Ｃ４３に記載の方法。
［Ｃ４５］
音を出力するための命令を備える非一時的コンピュータ可読媒体であって、前記命令は、プロセッサによって実行されたとき、前記プロセッサに、
環境の１つまたは複数の位置において１つまたは複数の音響特性を決定することと、
特定のオブジェクトを示すユーザ選択を受信することと、
特定の位置のユーザインジケーションを受信することと、
前記１つまたは複数の音響特性に基づいて、前記特定の位置から生成される音の１つまたは複数のオーディオ特徴を決定することと、
前記特定のオブジェクトに関連付けられた仮想音を前記環境に挿入することと、前記仮想音は、前記１つまたは複数のオーディオ特徴を有する、
を備える動作を行わせる、非一時的コンピュータ可読媒体。
［Ｃ４６］
前記動作は、前記環境への前記仮想音の挿入の前に、前記仮想音を生成することをさらに備える、Ｃ４５に記載の非一時的コンピュータ可読媒体。
［Ｃ４７］
前記動作は、
前記１つまたは複数の音響特性をメモリ中の１つまたは複数のエントリと比較することと、各エントリは、異なる仮想音に関連付けられ、
前記環境への前記仮想音の挿入の前に、前記比較に基づいて特定のエントリから前記仮想音を導出することと、
をさらに備える、Ｃ４５に記載の非一時的コンピュータ可読媒体。
［Ｃ４８］
前記特定の位置の前記ユーザインジケーションは、ウェアラブルセンサから受信される、Ｃ４５に記載の非一時的コンピュータ可読媒体。
［Ｃ４９］
前記ウェアラブルセンサは、ユーザの手に装着されるように構成される、Ｃ４８に記載の非一時的コンピュータ可読媒体。
［Ｃ５０］
前記動作は、
１つまたは複数のスピーカを使用して、前記環境の異なる位置においてオーディオ信号の生成を開始することと、
１つまたは複数のマイクロフォンを使用して、各オーディオ信号を検出することと、
ここにおいて、前記１つまたは複数の位置における前記１つまたは複数の音響特性は、前記１つまたは複数のスピーカによって生成される検出されたオーディオ信号に基づいて決定される、
をさらに備える、Ｃ４５に記載の非一時的コンピュータ可読媒体。
［Ｃ５１］
前記１つまたは複数のスピーカは、ユーザの手に装着されるようにさらに構成される、Ｃ５０に記載の非一時的コンピュータ可読媒体。
［Ｃ５２］
音を出力するための装置であって、前記装置は、
環境の１つまたは複数の位置において１つまたは複数の音響特性を決定するための手段と、
特定のオブジェクトを示すユーザ選択を受信するための手段と、
特定の位置のユーザインジケーションを受信するための手段と、
前記１つまたは複数の音響特性に基づいて、前記特定の位置から生成される音の１つまたは複数のオーディオ特徴を決定するための手段と、
前記特定のオブジェクトに関連付けられた仮想音を前記環境に挿入するための手段と、前記仮想音は、前記１つまたは複数のオーディオ特徴を有する、
を備える、装置。
［Ｃ５３］
前記環境への前記仮想音の挿入の前に、前記仮想音を生成するための手段をさらに備える、Ｃ５２に記載の装置。
［Ｃ５４］
前記１つまたは複数の音響特性をメモリ中の１つまたは複数のエントリと比較するための手段と、各エントリは、異なる仮想音に関連付けられ、
前記環境への前記仮想音の挿入の前に、前記比較に基づいて特定のエントリから前記仮想音を導出するための手段と、
をさらに備える、Ｃ５２に記載の装置。
［Ｃ５５］
前記特定の位置を検出することと、前記特定の位置の前記ユーザインジケーションを生成することと、前記ユーザインジケーションを受信するための前記手段に前記特定の位置の前記ユーザインジケーションを送ることと、を行うための手段をさらに備える、Ｃ５２に記載の装置。
［Ｃ５６］
前記特定の位置を検出するための前記手段は、ユーザの手に装着されるように構成される、Ｃ５５に記載の装置。
［Ｃ５７］
前記環境の異なる位置においてオーディオ信号を生成するための手段と、
各オーディオ信号を検出するための手段と、
ここにおいて、前記１つまたは複数の位置における前記１つまたは複数の音響特性は、オーディオ信号を生成するための前記手段によって生成される検出されたオーディオ信号に基づいて決定される、
をさらに備える、Ｃ５２に記載の装置。
［Ｃ５８］
前記オーディオ信号を生成するための前記手段は、ユーザの手に装着されるように構成される、Ｃ５７に記載の装置。
【国際調査報告】
2019527956.tif 000017
2019527956.tif 000018
2019527956.tif 000019
2019527956.tif 000020
2019527956.tif 000021