(57)【要約】【課題】  無指向性の可聴雑音源の位置特定機器を提供する。【解決手段】  密閉空間又は開放空間でのサラウンドサウンド再生及び雑音源の位置特定を同時に測定することのできる機器のための３次元サウンドシステム及び３次元サウンドシステム用の方法。このシステム及び方法は特に、密閉空間の移動物体でサラウンドサウンドの再生及び雑音源の位置特定が必要になると使用される。たとえば、自動車、列車、エレベータなどが考えられるように、密閉空間内の移動物体は、特定の製品には限定されない。【選択図】  図１
2020148763.tif 000002
【特許請求の範囲】
【請求項１】
互いに対して３次元形状での位置に沿って配置された少なくとも４つのマイクロホンを含むマイクロホンアレイと、
３６０度カメラと、
前記マイクロホンアレイを介して受け取ったオーディオについて、前記マイクロホンアレイの前記少なくとも４つのマイクロホンのうち少なくとも２つのマイクロホンの間での３次元のサウンド強度を計算し、前記３６０度カメラのビデオフィード上の前記オーディオを、前記ビデオフィードの表示ビューに対する前記３次元のサウンド強度でオーバー（overlay）レイするように構成されたプロセッサと
を備える、３次元サウンドシステム。
【請求項２】
前記３次元形状が正四面体である、請求項１に記載の３次元サウンドシステム。
【請求項３】
前記プロセッサが、前記少なくとも４つのマイクロホンのうち前記少なくとも２つのマイクロホンによって測定された音圧のクロススペクトルの逆フーリエ変換に基づいて前記３次元のサウンド強度を計算することによって、前記マイクロホンアレイの前記少なくとも４つのマイクロホンのうち前記少なくとも２つのマイクロホンの間での前記３次元のサウンド強度を計算するように構成された、請求項１に記載の３次元サウンドシステム。
【請求項４】
前記プロセッサが、
前記マイクロホンアレイの音響中心の音圧を計算することと、
前記マイクロホンアレイの前記少なくとも４つのマイクロホンのそれぞれと、前記音響中心との間での粒子速度を導出することと、
前記マイクロホンアレイの前記少なくとも４つのマイクロホンのそれぞれと、前記音響中心との間で導出された前記速度に基づいて、ｘ軸、ｙ軸、及びｚ軸に沿った粒子速度計算から前記３次元のサウンド強度を計算することと
によって、前記マイクロホンアレイの前記少なくとも４つのマイクロホンのうち前記少なくとも２つのマイクロホンの間での前記３次元のサウンド強度を計算するように構成された、請求項１に記載の３次元サウンドシステム。
【請求項５】
前記マイクロホンアレイが、４つのマイクロホンからなるアンビソニックス・マイクロホンである、請求項１に記載の３次元サウンドシステム。
【請求項６】
前記プロセッサが、前記ビデオフィード上の前記３次元サウンド強度のヒートマップ表示を介して、前記３６０度カメラの前記ビデオフィード上の前記オーディオを、前記ビデオフィードの表示ビューに対する前記３次元のサウンド強度でオーバーレイするように構成された、請求項１に記載の３次元サウンドシステム。
【請求項７】
互いに対して３次元形状での位置に沿って配置された少なくとも４つのマイクロホンを含むマイクロホンアレイと、３６０度カメラとを備える３次元サウンドシステム用の方法であって、
前記マイクロホンアレイを介して受け取ったオーディオについて、前記マイクロホンアレイの前記少なくとも４つのマイクロホンのうち少なくとも２つのマイクロホンの間での３次元のサウンド強度を計算することと、
前記３６０度カメラのビデオフィード上の前記オーディオを、前記ビデオフィードの表示ビューに対する前記３次元のサウンド強度でオーバーレイすることと
を含む、３次元サウンドシステム用の方法。
【請求項８】
前記３次元形状が正四面体である、請求項７に記載の３次元サウンドシステム用の方法。
【請求項９】
前記マイクロホンアレイの前記少なくとも４つのマイクロホンのうち前記少なくとも２つのマイクロホンの間での前記３次元のサウンド強度を計算することが、前記少なくとも４つのマイクロホンのうち前記少なくとも２つのマイクロホンによって測定された音圧のクロススペクトルの逆フーリエ変換に基づいて前記３次元のサウンド強度を計算することを含む、請求項７に記載の３次元サウンドシステム用の方法。
【請求項１０】
前記マイクロホンアレイの前記少なくとも４つのマイクロホンのうち前記少なくとも２つのマイクロホンの間での前記３次元のサウンド強度を計算することが、
前記マイクロホンアレイの音響中心の音圧を計算することと、
前記マイクロホンアレイの前記少なくとも４つのマイクロホンのそれぞれと、前記音響中心との間での粒子速度を導出することと、
前記マイクロホンアレイの前記少なくとも４つのマイクロホンのそれぞれと、前記音響中心との間で導出された前記速度に基づいて、ｘ軸、ｙ軸、及びｚ軸に沿った粒子速度計算から前記３次元サウンド強度を計算することと
を含む、請求項７に記載の３次元サウンドシステム用の方法。
【請求項１１】
前記マイクロホンアレイが、４つのマイクロホンからなるアンビソニックス・マイクロホンである、請求項７に記載の３次元サウンドシステム用の方法。
【請求項１２】
前記ビデオフィード上の前記３次元のサウンド強度のヒートマップ表示を介して、前記３６０度カメラの前記ビデオフィード上の前記オーディオを、前記ビデオフィードの表示ビューに対する前記３次元のサウンド強度でオーバーレイする、請求項７に記載の３次元サウンドシステム用の方法。
【請求項１３】
互いに対して３次元形状での位置に沿って配置された少なくとも４つのマイクロホンを含むマイクロホンアレイと、３６０度カメラとを備えるシステム用の命令を記憶する、非一時的なコンピュータ読取可能媒体であって、前記命令が、
前記マイクロホンアレイを介して受け取ったオーディオについて、前記マイクロホンアレイの前記少なくとも４つのマイクロホンのうち少なくとも２つのマイクロホンの間での３次元のサウンド強度を計算することと、
前記３６０度カメラのビデオフィード上の前記オーディオを、前記ビデオフィードの表示ビューに対する前記３次元のサウンド強度でオーバーレイすることと
を含む、非一時的なコンピュータ読取可能媒体。
【請求項１４】
前記３次元形状が正四面体である、請求項１３に記載の非一時的なコンピュータ読取可能媒体。
【請求項１５】
前記マイクロホンアレイの前記少なくとも４つのマイクロホンのうち前記少なくとも２つのマイクロホンの間での前記３次元のサウンド強度を計算することが、前記少なくとも４つのマイクロホンのうち前記少なくとも２つのマイクロホンによって測定された音圧のクロススペクトルの逆フーリエ変換に基づいて前記３次元のサウンド強度を計算することを含む、請求項１３に記載の非一時的なコンピュータ読取可能媒体。
【請求項１６】
前記マイクロホンアレイの前記少なくとも４つのマイクロホンのうち前記少なくとも２つのマイクロホンの間での前記３次元のサウンド強度を計算することが、
前記マイクロホンアレイの音響中心の音圧を計算することと、
前記マイクロホンアレイの前記少なくとも４つのマイクロホンのそれぞれと、前記音響中心との間での粒子速度を導出することと、
前記マイクロホンアレイの前記少なくとも４つのマイクロホンのそれぞれと、前記音響中心との間で導出された前記速度に基づいて、ｘ軸、ｙ軸、及びｚ軸に沿った粒子速度計算から前記３次元のサウンド強度を計算することと
を含む、請求項１３に記載の非一時的なコンピュータ読取可能媒体。
【請求項１７】
前記マイクロホンアレイが、４つのマイクロホンからなるアンビソニックス・マイクロホンである、請求項１３に記載の非一時的なコンピュータ読取可能媒体。
【請求項１８】
前記ビデオフィード上の前記３次元のサウンド強度のヒートマップ表示を介して、前記３６０度カメラの前記ビデオフィード上の前記オーディオを、前記ビデオフィードの表示ビューに対する前記３次元のサウンド強度でオーバーレイする、請求項１３に記載の非一時的なコンピュータ読取可能媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は一般に、サウンドシステムに関し、より詳細には、３次元ビデオ用の３次元サウンドを実現するためのシステム及び方法に関する。
【背景技術】
【０００２】
関連技術においては、製品でのサウンド（雑音）の問題を開発者と顧客との間で共有することが困難であった。これは、サウンドが官能評価であり、特定のサウンドを聞くために開発者及び顧客が同じ状況（たとえば、位置、環境条件）にいない限り、一般に共有することができないからである。
【０００３】
関連技術の実装形態では、サラウンドサウンド技術が、３次元サウンドの方向を再現するために開発されてきており、サウンドを録音し及び再生する際に普及している。サラウンドサウンドは、特別なマイクロホンで再生することができる。このような関連技術の実装形態は、製品開発者及び顧客との情報共有を促進することが期待されている。
【０００４】
関連技術の実装形態では、３次元オーディオを生成するように構成されたバーチャルリアリティ（ＶＲ）が存在するが、このような関連技術の実装形態は、オーディオの実際の録音を実行するためのいかなる手段をも提供することはなく、雑音源を位置特定するためのいかなる実装形態をも提供することはない。一般に、サラウンドサウンド再生方法を含む関連技術の実装形態でさえ、このように雑音源を位置特定するための、雑音源の位置特定又は記録についての説明はない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
関連技術の実装形態は、所与の環境でのサウンド（雑音）問題を解明するための要求条件である、雑音源のいかなる位置特定をも実行しない。関連技術の実装形態は、アコースティックカメラに代表される、音圧レベル（振幅）による評価を利用してきた。しかし、密閉室などの密閉空間は、複数の音波が絡む干渉によって、非常に複雑な音場になる。特に、自動車や列車などの移動物体では、この移動物体が移動し始める前でも、外部雑音や空調雑音など周囲環境での雑音が大きい。物体が動いている間は、音圧レベルで環境の雑音を他の雑音から明確に分離することは困難になる場合がある。
【０００６】
本明細書に記載の例示的な実装形態は、移動物体に関し、より具体的には、物体の全方向からのサウンドを記録することのできるマイクロホンから、１つ又は複数の雑音源を検索する方法に関する。
【課題を解決するための手段】
【０００７】
本開示の各態様は、互いに対して３次元形状での位置に沿って配置された少なくとも４つのマイクロホンを含むマイクロホンアレイと、３６０度カメラと、マイクロホンアレイを介して受け取ったオーディオについて、マイクロホンアレイの少なくとも４つのマイクロホンのうち２つのマイクロホンの間での３次元サウンド強度を計算し、３６０度カメラのビデオフィード上のオーディオを、このビデオフィードの表示ビューに対する３次元サウンド強度でオーバーレイ（overlay）するように構成されたプロセッサとを有するシステムを備えることができる。
【０００８】
本開示の各態様は、互いに対して３次元形状での位置に沿って配置された少なくとも４つのマイクロホンを含むマイクロホンアレイと、３６０度カメラとを有するシステム用の方法を含むことができ、この方法は、マイクロホンアレイを介して受け取ったサウンドについて、マイクロホンアレイの少なくとも４つのマイクロホンのうち２つのマイクロホンの間での３次元サウンド強度を計算することと、３６０度カメラのビデオフィードを、このビデオフィードの表示ビューに対する３次元サウンド強度でオーバーレイすることとを含む。
【０００９】
本開示の各態様は、互いに対して３次元形状での位置に沿って配置された少なくとも４つのマイクロホンを含むマイクロホンアレイと、３６０度カメラとを有するシステム用の命令を記憶するコンピュータプログラムを含むことができ、この命令は、マイクロホンアレイを介して受け取ったサウンドについて、マイクロホンアレイの少なくとも４つのマイクロホンのうち２つのマイクロホンの間での３次元サウンド強度を計算することと、３６０度カメラのビデオフィードを、このビデオフィードの表示ビューに対する３次元サウンド強度でオーバーレイすることとを含む。この命令は、持続的でコンピュータ読取り可能な媒体に記憶することもできる。
【００１０】
本開示の各態様は、互いに対して３次元形状での位置に沿って配置された少なくとも４つのマイクロホンを含むマイクロホンアレイと、３６０度カメラとに接続された機器を備えることができ、この機器は、マイクロホンアレイを介して受け取ったサウンドについて、マイクロホンアレイの少なくとも４つのマイクロホンのうち２つのマイクロホンの間での３次元サウンド強度を計算し、３６０度カメラのビデオフィードを、このビデオフィードの表示ビューに対する３次元サウンド強度でオーバーレイするように構成されたプロセッサを含む。
【００１１】
本開示の各態様は、互いに対して３次元形状での位置に沿って配置された少なくとも４つのマイクロホンを含むマイクロホンアレイと、３６０度カメラと、マイクロホンアレイを介して受け取ったオーディオについて、マイクロホンアレイの少なくとも４つのマイクロホンのうち２つのマイクロホンの間での３次元サウンド強度を計算し、３６０度カメラのビデオフィードを、このビデオフィードの表示ビューに対する３次元サウンド強度でオーバーレイするように構成されたプロセッサとを有するシステムを備えることができる。
【図面の簡単な説明】
【００１２】
【図１】例示的な実装形態による機器のシステム概略図である。
【図２】例示的な実装形態による、アンビソニックス・マイクロホンのマイクロホン部分の例示的な正面図である。
【図３】例示的な実装形態による、マイクロホンカプセル及び座標軸の例示的な構成を示す図である。
【図４】例示的な実装形態による、無指向性の画像を含む例示的なシステムを示す図である。
【図５】例示的な実装形態による、装置の例示的なフローチャートである。
【図６】例示的な実装形態での使用に適した例示的なコンピュータ装置を備えた、例示的なコンピューティング環境を示す図である。
【発明を実施するための形態】
【００１３】
以下の詳細な説明は、本出願の各図及び例示的な実装形態の詳細をさらに提示する。各図の間での重複する要素の参照番号及び説明は、明確にするために省略される。説明全体を通して使用される用語は、例として提示されるものであり、限定することを意図するものではない。たとえば「自動」という用語を使用すると、本出願の実装形態を実施する当業者の所望の実装形態に応じて、実装形態のある特定の態様へのユーザ又は管理者の制御を伴う全自動又は半自動の実装形態を含んでもよい。ユーザインターフェース若しくは他の入力手段を用いてユーザが選択を実行することができ、又は所望のアルゴリズムを用いて選択を実装することができる。本明細書に記載の例示的な実装形態は、単独で又は組み合わせて利用することができ、例示的な実装形態の機能は、所望の実装形態による任意の手段を用いて実装することができる。
【００１４】
本明細書に記載の例示的な実装形態は、密閉空間又は開放空間でのサラウンドサウンド再生及び雑音源の位置特定を同時に測定することのできる機器のためのシステム及び方法を含む。このシステム及び方法は特に、密閉空間の移動物体でサラウンドサウンドの再生及び雑音源の位置特定が必要になると使用される。たとえば、自動車、列車、エレベータなどが考えられるように、密閉空間内の移動物体は、特定の製品には限定されない。
【００１５】
雑音源を位置特定するために、例示的な実装形態は、音響エネルギーの流れの量及び方向を示すサウンド強度に焦点を合わせる。サウンド強度は背景雑音の影響を容易に受けることがないので、本明細書に記載の例示的な実装形態は、サウンド強度を利用して、大きな背景雑音が存在するにもかかわらず移動物体が存在する部屋での雑音源を位置特定することができる。
【００１６】
例示的な実装形態では、複数のマイクロホンの音圧及び各マイクロホン間の距離を測定することによって、サウンド強度を計算することができる。
【００１７】
本明細書に記載の例示的な実装形態では、サラウンドサウンドを拾うのに使用される特別なマイクロホンは、評価ポイントマイクロホン向けに利用され、音響強度は、測定された音圧及び各マイクロホン間の距離から計算され、それによって、無指向性の雑音源を位置特定することができる。こうした例示的な実装形態を使用する場合、それにより、サラウンドサウンドの再生及び雑音源の位置特定を同時に実行することができる。
【００１８】
本明細書に記載の例示的な実装形態によれば、それにより移動物体での背景雑音の影響を受けないようにすることが可能であり、雑音源の位置特定測定用の測定機器を間接的に持ち込むことなく、あらゆる方向で同時にサラウンドサウンド再生を実行することも可能である。
【００１９】
以下に、各図面を参照しながら、無指向性の可聴雑音源の位置特定機器の例示的な実装形態を説明する。
【００２０】
図１は、例示的な実装形態による機器のシステム概略図である。図１の例では、この機器の測定態様は、本明細書においてアンビソニックス・マイクロホン１０１と呼ばれる特別なマイクロホン、サウンド記録装置１０２、及び無指向性の撮影を実行するように構成されたビデオ記録装置１０３を含む。この機器の分析態様は、アンビソニックス・マイクロホン１０１が拾うサウンドをＶＲアンビソニックス再生用に変換するための変換器１０４、及びサウンド強度を計算するための計算装置１０５を含む。
【００２１】
図２は、例示的な実装形態による、アンビソニックス・マイクロホン１０１のマイクロホン部分の例示的な正面図である。４つのマイクロホンカプセル１１１、１１２、１１３、１１４が存在し、各マイクロホンは、正四面体のそれぞれの面から外側に向いている。４つのマイクロホンカプセル（１１１〜１１４）が拾う各信号の球面調和関数を、変換器１０４によって生成することにより、サラウンドサウンド再生又はアンビソニックスが可能になる。
【００２２】
本明細書に記載のマイクロホン構成を使用するために、例示的な実装形態はさらに、上記のアンビソニックス・マイクロホン１０１の信号からサウンド強度を計算するためのシステム及び方法を含み、この計算値から雑音源の位置特定を実行する。具体的には、例示的な実装形態は、サウンド強度を計算するための演算器１０５の２つの方法、直接法及びクロススペクトル法を含む。いずれの方法も、所望の実装形態に従って利用することができる。
【００２３】
第１の例示的な実装形態では、以下に述べるようにサウンド強度を計算するのに直接法が利用される。
【００２４】
図３には、例示的な実装形態による、マイクロホンカプセル（１１１〜１１４）及び座標軸の例示的な構成が示してある。それぞれのマイクロホンカプセル（１１１〜１１４）は、正四面体の頂点に配置される。正四面体の重心Ｇは音響中心であり、ｘ軸、ｙ軸、及びｚ軸の座標が、図３に示すように音響中心を原点として定義される。
【００２５】
まず、音響中心での音圧ｐ０（ｔ）がそれぞれのマイクロホンで測定され、音圧ｐ１（ｔ）〜ｐ４（ｔ）の平均として与えられる。
【数１】
2020148763.tif 000003
【００２６】
ｐ０（ｔ）が使用されると、音波を音響中心から各マイクロホンまでの距離Δｒの平面波で近似する場合、音響中心から各マイクロホンの方向への粒子速度ｕｉ（ｔ）は、次式によって取得することができる。
【数２】
2020148763.tif 000004
ここで、ρは伝搬媒体の密度である。
【００２７】
一方で、四面体の幾何学的条件を考慮すると、粒子速度ｕｉ（ｔ）と、ｘ軸、ｙ軸、及びｚ軸の方向での粒子速度成分ｕｘ（ｔ）、ｕｙ（ｔ）、ｕｚ（ｔ）との間には以下の関係が存在する。
【数３】
2020148763.tif 000005
【００２８】
こうした式（式３〜６）から、ｘ軸、ｙ軸、ｚ軸の方向の粒子速度成分が以下のように導出される。
【数４】
2020148763.tif 000006
【００２９】
サウンド強度は、音圧と粒子速度の積の時間平均によって取得することができる。すなわち、式１、２、及び式７〜９から、４つのマイクロホンカプセル（１１１〜１１４）で音圧を測定することによって、３次元のサウンド強度を測定することが可能である。説明しているこの方法は、リアルタイム処理で利用できるので、現場などで表示装置を見ながら測定を実行することができる。
【００３０】
第２の例示的な実装形態では、クロススペクトル法を利用して、以下のように３次元のサウンド強度を測定する。この方法では、（式２）が周波数領域で表示され、処理される次式によって、サウンド強度Ｉ（ｘ）が近似的に計算される。
【数５】
2020148763.tif 000007
【００３１】
ここで、Ｇ１２（ｘ，ω）は、２つのマイクロホンで測定された音圧ｐ１（ｔ）及びｐ２（ｔ）のクロススペクトル関数であり、Ｉｍ｛｝は虚数部である。すなわち、２つのマイクロホンで測定される音圧のクロススペクトルの虚数部は、逆フーリエ変換である。クロススペクトルは音圧のフーリエ変換から取得されるので、その結果、この方法は、それぞれのマイクロホンの感度及び位相特性の差を補正することができる。
【００３２】
前述の例示的な実装形態から、アンビソニックス・マイクロホン１０１を使用してサウンド強度を計算し、あらゆる方向での雑音源の位置特定を検索することが可能である。したがって、例示的な実装形態により、アンビソニックス・マイクロホン１０１を使用することによって、サラウンドサウンド再生及び雑音源の位置特定を同時に実行することが可能になる。
【００３３】
図４には、例示的な実装形態による、無指向性の画像を含む例示的なシステムが示してある。図４に示すように、雑音源の位置特定は、無指向性の画像を使用して視覚的に実行されてもよい。また、アンビソニックス・マイクロホン１０１が測定を同時に実行できる限り、４つのマイクロホンは別々のものでもよいが、本明細書に記載の例示的な実装形態を容易にするには、マイクロホンの頂点位置が正四面体上に存在しなければならない。しかし、所望の実装形態にもよるが、マイクロホンアレイ内の２つのマイクロホンの間で実行される測定に基づいてサウンド強度を計算できる限り、四面体に加えて他の形状を利用することができる。このような実装形態では、使用される形状に従って、２つのマイクロホンの間でサウンド強度を測定するように、本明細書に記載の式を調整しなければならない。
【００３４】
さらに、複数のカメラとともに、所望の実装形態に従って、複数のマイクロホンアレイを利用してもよい。例示的な実装形態では、システムの複数の具体例を建物内の各部屋に設置し、所望の実装形態に従って、各具体例の間のオーディオ及びビデオのフィードを切り替えることのできる監視システムとして利用することができる。
【００３５】
図５には、例示的な実装形態による、装置の例示的なフローが示してある。５０１において、図１及び図４に示すシステムは、マイクロホンアレイを介してサウンドを記録し、３６０度カメラを介してビデオを記録する。５０２において、たとえば、本明細書に提示される各式について、記載された実装形態に従って、マイクロホンアレイの各マイクロホン間での３次元のサウンド強度が計算される。５０３において、各マイクロホン信号の球面調和関数が生成され、サラウンドサウンド再生用のサウンドが作り出される。５０４において、サラウンドサウンドがビデオフィードにオーバーレイされ、適切な３次元サウンド強度でビデオフィードから表示される視点に対して、このサラウンドサウンドを再生することができる。このような例示的な実装形態から、ユーザは、インターフェース上のビデオフィードを３６０度方式でナビゲートすることができ、次いで、このビデオフィードに対する、インターフェース上のサウンドの音源を識別及び位置特定することができる。例示的な実装形態では、計算済みのサウンド強度に基づいて、オーディオの音源の位置を示すために、ビデオフィード上のヒートマップインジケータとともに、オーディオをビデオフィードにオーバーレイすることができる。たとえば、測定すべき物体が定常状態にある場合、無指向性のビデオの代わりに無指向性の写真を使用してもよい。
【００３６】
図６には、図１及び図４のシステムに示すようなサウンド記録の装置又は機器など、例示的な実装形態での使用に適した例示的なコンピュータ装置を備える、例示的なコンピューティング環境が示してある。コンピューティング環境６００内のコンピュータ装置６０５は、１つ又は複数の処理ユニット、コア、すなわちプロセッサ６１０、メモリ６１５（たとえば、ＲＡＭ、ＲＯＭなど）、内部記憶装置６２０（たとえば、磁気記憶装置、光学記憶装置、ソリッドステート記憶装置及び／若しくは有機）、並びに／又はＩ／Ｏインターフェース６２５を含むことができ、これらのいずれも、情報を伝達するための通信メカニズム又はバス６３０上で結合するか、又はコンピュータ装置６０５に埋め込むことができる。
【００３７】
コンピュータ装置６０５は、入力／ユーザインターフェース６３５及び出力装置／インターフェース６４０に通信可能に結合することができる。入力／ユーザインターフェース６３５と出力装置／インターフェース６４０のいずれか一方、又はその両方は、有線又は無線のインターフェースとすることができ、取外し可能とすることができる。入力／ユーザインターフェース６３５は、入力するのに使用することのできる物理的又は仮想的な装置、構成要素、センサ、又はインターフェース（たとえば、ボタン、タッチスクリーンインターフェース、キーボード、ポインティング／カーソルコントロール、マイクロホン、カメラ、点字、モーションセンサ、光学読取り装置など）を含んでもよい。出力装置／インターフェース６４０は、表示装置、テレビ、モニタ、プリンタ、スピーカ、点字などを含んでもよい。いくつかの例示的な実装形態では、入力／ユーザインターフェース６３５及び出力装置／インターフェース６４０は、コンピュータ装置６０５に埋め込むこともでき、又はそれと物理的に結合することもできる。他の例示的な実装形態では、他のコンピュータ装置は、コンピュータ装置６０５用の入力／ユーザインターフェース６３５及び出力装置／インターフェース６４０の各機能の役割を果たしてもよく、又はそうした機能を提供してもよい。タッチスクリーン表示装置、テレビ表示装置、又は他の任意の形式の表示装置を含む例示的な実装形態においては、表示装置は、ユーザインターフェースを提示するように構成される。
【００３８】
コンピュータ装置６０５の例には、それだけには限定されないが、高度なモバイル装置（たとえば、スマートフォン、車両及び他の機械での装置、人間及び動物が運ぶ装置など）、モバイル装置（たとえば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、携帯用テレビ、ラジオなど）、並びに可搬用に設計されていない装置（たとえば、デスクトップコンピュータ、他のコンピュータ、情報キオスク、１つ又は複数のプロセッサが内部に組み込まれている、且つ／又は結合されているテレビ、ラジオなど）が含まれ得る。
【００３９】
コンピュータ装置６０５は、同じ又は異なる構成の１つ又は複数のコンピュータ装置を含む、任意の数のネットワーク構成要素、装置、及びシステムと通信するために、外部記憶装置６４５及びネットワーク６５０に（たとえば、Ｉ／Ｏインターフェース６２５を介して）通信可能に結合することができる。コンピュータ装置６０５又は接続された任意のコンピュータ装置は、サーバ、クライアント、シンサーバ、汎用機械、専用機械、又は別のラベルの役割を果たし、そのサービスを提供し、又はそう呼ぶことができる。
【００４０】
Ｉ／Ｏインターフェース６２５は、それだけには限定されないが、コンピューティング環境６００における少なくともあらゆる接続済みの構成要素、装置、及びネットワークとの間で情報をやり取りするための、任意の通信又はＩ／Ｏの、プロトコル又は規格（たとえばイーサネット（登録商標）、８０２．１１ｘ、ユニバーサルシステムバス、ＷｉＭａｘ、モデム、セルラーネットワークプロトコルなど）を使用する有線インターフェース及び／又は無線インターフェースを含むことができる。ネットワーク６５０は、任意のネットワーク又は各ネットワークの組合せ（たとえば、インターネット、ローカルエリアネットワーク、広域ネットワーク、電話ネットワーク、セルラーネットワーク、衛星ネットワークなど）とすることができる。
【００４１】
コンピュータ装置６０５は、一時的な媒体及び非一次的な媒体を含む、コンピュータ使用可能又はコンピュータ読取可能な媒体を使用することができ、且つ／又はそれを使用して通信することができる。一時的な媒体には、伝送媒体（たとえば、金属ケーブル、光ファイバ）、信号、搬送波などが含まれる。非一次的な媒体には、磁気媒体（たとえば、ディスク及びテープ）、光媒体（ＣＤ−ＲＯＭ、デジタルビデオディスク、ブルーレイディスク）、ソリッドステート媒体（たとえば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ソリッドステート記憶装置）、並びに他の不揮発性の記憶装置又はメモリが含まれる。
【００４２】
いくつかの例示的なコンピューティング環境においては、コンピュータ装置６０５を使用して、技法、方法、アプリケーション、プロセス、又はコンピュータ実行可能な命令を実装することができる。コンピュータ実行可能な命令を、一時的な媒体から取り出し、非一次的な媒体に記憶し、またそこから取り出すことができる。実行可能命令は、任意のプログラミング、スクリプティング、及び機械語（たとえば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、Ｖｉｓｕａｌ  Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）など）のうち１つ又は複数から生成することができる。
【００４３】
プロセッサ６１０は、ネイティブ環境又は仮想環境において、任意のオペレーティングシステム（ＯＳ）（図示せず）の下で実行することができる。論理ユニット６６０、アプリケーションプログラミングインターフェース（ＡＰＩ）ユニット６６５、入力ユニット６７０、出力ユニット６７５、及び、様々なユニットが互いに、ＯＳと、また他のアプリケーション（図示せず）と通信するためのユニット間通信メカニズム６９５を含む、１つ又は複数のアプリケーションを採用することができる。説明される各ユニット及び各要素は、設計、機能、構成、又は実装形態が異なっていてもよく、提示された説明に限定されるものではない。プロセッサ６１０は、メモリ６１５からロードされる命令を実行するように構成された物理的なプロセッサ又は中央処理装置（ＣＰＵ）の形式とすることができる。
【００４４】
例示的な実装形態によっては、情報又は実行命令をＡＰＩユニット６６５が受信すると、この情報又は実行命令を、１つ又は複数の他のユニット（たとえば、論理ユニット６６０、入力ユニット６７０、出力ユニット６７５）に伝達してもよい。場合によっては、前述のいくつかの例示的は実装形態において、各ユニット間の情報フローを制御し、ＡＰＩユニット６６５、入力ユニット６７０、出力ユニット６７５が提供するサービスを監督するように、論理ユニット６６０を構成してもよい。たとえば、１つ又は複数のプロセス又は実装のフローは、論理ユニット６６０単独で、又はＡＰＩユニット６６５と連携して制御されてもよい。入力ユニット６７０は、例示的な実装形態で説明する計算用の入力を取得するように構成されてもよく、出力ユニット６７５は、例示的な実装形態で説明する計算に基づいて出力するように構成されてもよい。
【００４５】
プロセッサ６１０は、図５のフローを実行して、図１及び図４に示すシステムの機能を容易にするように構成されてもよい。このようなシステムは、図２及び図３に示すように、互いに対して３次元形状での位置に沿って配置された少なくとも４つのマイクロホンを有するマイクロホンアレイと、３６０度カメラとを備えることができる。
【００４６】
例示的な実装形態では、マイクロホンアレイを介して受け取ったオーディオについて、マイクロホンアレイの少なくとも４つのマイクロホンのうち少なくとも２つのマイクロホンの間での３次元のサウンド強度を計算し、図５に示し、図１〜図５について説明したように、３６０度カメラのビデオフィード上のオーディオを、このビデオフィードの表示ビューに対する３次元のサウンド強度でオーバーレイするように、プロセッサ６１０を構成することができる。
【００４７】
図３に示すように、３次元形状の構成は、正四面体とすることができる。
【００４８】
図３及び図４に示すように、またそれに対応する説明については、少なくとも４つのマイクロホンのうち少なくとも２つのマイクロホンによって測定された音圧のクロススペクトルの逆フーリエ変換に基づいて３次元のサウンド強度を計算することによって、マイクロホンアレイのこの少なくとも４つのマイクロホンのうち少なくとも２つのマイクロホンの間での３次元のサウンド強度を計算するように、プロセッサ６１０を構成することができる。
【００４９】
図１及び図２に示すように、またそれに対応する説明については、マイクロホンアレイの音響中心の音圧を計算することと、マイクロホンアレイの少なくとも４つのマイクロホンのそれぞれとその音響中心との間での粒子速度を導出することと、マイクロホンアレイの少なくとも４つのマイクロホンのそれぞれとその音響中心との間で導出された速度に基づいて、ｘ軸、ｙ軸、及びｚ軸に沿った粒子速度計算から３次元のサウンド強度を計算することとによって、マイクロホンアレイのこの少なくとも４つのマイクロホンのうち少なくとも２つのマイクロホンの間での３次元のサウンド強度を計算するように、プロセッサ６１０を構成することができる。
【００５０】
所望の実装形態にもよるが、マイクロホンアレイは、図２に示すように４つのマイクロホンからなるアンビソニックス・マイクロホンとすることができる。
【００５１】
ビデオフィード上の３次元のサウンド強度のヒートマップ表示を介して、３６０度カメラのビデオフィード上のオーディオを、このビデオフィードの表示ビューに対する３次元サウンド強度でオーバーレイするように、プロセッサ６１０を構成することもできる。所望の実装形態にもよるが、ヒートマップは、計算済みのサウンド強度に基づいて、色濃度（たとえば、黄から赤）又はグレースケール濃度の形式とすることができ、これにより、サウンドの音源の位置に関して、ビデオフィード上にインジケータを提示することができる。所望の実装形態に従って、他のヒートマップ表示を利用することができ、本開示は、特定のいかなるヒートマップ表示にも限定されるものではない。
【００５２】
コンピュータ内の動作のアルゴリズム及び記号式表現の観点から、詳細な説明の一部分を提示する。こうしたアルゴリズムの説明及び記号式表現は、データ処理技術での当業者が使用して、そのイノベーションの本質を他の当業者に伝えるための手段である。アルゴリズムとは、所望の最終状態又は最終結果に至る、一連の定義済みステップである。例示的な実装形態では、実行される各ステップでは、有形の結果を実現するために、具体的な量を物理的に操作することが必要となる。
【００５３】
別段の具体的な言及がない限り、この考察から明らかなように、説明全体を通して、「処理」、「コンピューティング」、「計算」、「判定」、「表示」などの用語を利用する考察では、コンピュータシステム又は他の情報処理装置のアクション及び処理を含むことができ、こうした装置が、コンピュータシステムのレジスタ及びメモリ内の物理的な（電子的な）量として表されるデータを処理し、コンピュータシステムのメモリ若しくはレジスタ又は他の情報記憶装置、伝送装置若しくは表示装置内の物理的な量として同様に表される他のデータに変換することが理解される。
【００５４】
例示的な実装形態はまた、本明細書における各動作を実行するための機器に関してでもよい。この機器は、所望の目的のために特別に構築されてもよく、又は１つ若しくは複数のコンピュータプログラムによって選択的に起動若しくは再構成される、１つ若しくは複数の汎用コンピュータを含んでもよい。このようなコンピュータプログラムは、コンピュータ読取可能な記憶媒体又はコンピュータ読取可能な信号媒体など、コンピュータ読取可能な媒体に記憶されてもよい。コンピュータ読取可能な記憶媒体は、たとえば、光ディスク、磁気ディスク、リードオンリメモリ、ランダムアクセスメモリ、ソリッドステートのデバイス及びドライブ、又は電子情報を保存するのに適した他の任意のタイプの有形又は非一次的な媒体だがそれに限定されない、有形の媒体を含んでもよい。コンピュータ読取可能な信号媒体には、搬送波などの媒体が含まれ得る。本明細書において提示されるアルゴリズム及び表示装置は、特定のコンピュータ又は他の機器に本質的に関連するものではない。コンピュータプログラムは、所望の実装形態の動作を実行する命令を含む、純粋なソフトウェア実装形態を含むことができる。
【００５５】
本明細書での各例によるプログラム及びモジュールとともに、様々な汎用システムを使用してもよく、又は、さらに専用の機器を構築して、所望の方法ステップを実行することが好都合となると分かる場合がある。さらに、例示的な実装形態は、特定のプログラミング言語を参照して説明されるものではない。様々なプログラミング言語を使用して、本明細書に記載の例示的な実装形態の教示を実装してもよいことが理解されよう。プログラミング言語の命令は、１つ又は複数の処理装置、たとえば中央処理装置（ＣＰＵ）、プロセッサ、又はコントローラによって実行されてもよい。
【００５６】
当技術分野で知られているように、前述の各動作は、ハードウェア、ソフトウェア、又はソフトウェアとハードウェアの何らかの組合せによって実行することができる。例示的な実装形態の様々な態様は、回路及び論理デバイス（ハードウェア）を使用して実装してもよく、プロセッサによって実行されると、本出願の実装形態を実行する方法をこのプロセッサが実行できるようにする、機械読取可能な媒体（ソフトウェア）に記憶された各命令を使用して、他の態様を実装してもよい。さらに、本出願の例示的な実装形態によっては、ハードウェアのみで実行してもよいものがあるが、例示的な実装形態によっては、ソフトウェアのみで実行してもよいものがある。さらに、説明した様々な機能は、単一のユニットで実行することもでき、又は任意のいくつかの方式でいくつかの構成要素にわたって分散することもできる。こうした方法は、ソフトウェアによって実行されると、コンピュータ読取可能な媒体に記憶された命令に基づいて、汎用コンピュータなどのプロセッサによって実行されてもよい。必要なら、こうした命令は、圧縮及び／又は暗号化された形式で媒体に記憶することができる。
【００５７】
さらに、本出願の教示の仕様及び実施を考察することによって、本出願の他の実装形態が当業者に明らかとなろう。説明した例示的な実装形態の様々な態様及び／又は構成要素は、単独で又は任意の組合せで使用されてもよい。本明細書及び例示的な実装形態は、単なる例とみなすべきものであり、本出願の真の範囲及び精神は、添付の特許請求の範囲で示してある。
【符号の説明】
【００５８】
１０１…アンビソニックス・マイクロホン  １０２…サウンド記録装置  １０３…ビデオ記録装置  １０４…変換器  １０５…計算装置  １１１、１１２、１１３、１１４…カプセル
【図１】
2020148763.tif 000008
【図２】
2020148763.tif 000009
【図３】
2020148763.tif 000010
【図４】
2020148763.tif 000011
【図５】
2020148763.tif 000012
【図６】
2020148763.tif 000013