(57)【要約】【課題】空間オーディオに関する方法、装置およびコンピュータプログラム。【解決手段】第１および第２空間オーディオ・キャプチャ装置から、キャプチャ空間内の１つ以上の音源から導出された成分を含む、それぞれの第１および第２コンポジット・オーディオ信号を受信するように構成された装置が開示される。装置はさらに、第１および第２空間オーディオ・キャプチャ装置の位置にそれぞれ関連付けられた第１および第２領域のうちの１つに対応するユーザ・デバイスの位置を識別し、１つ以上の音源を表すオーディオをユーザ・デバイスにレンダリングするように構成され、該レンダリングは、識別された第１または第２領域に関連付けられた空間オーディオ・キャプチャ装置について、１つ以上の音源のそれぞれからの個々のオーディオ信号を、そのコンポジット信号からうまく分離することができるかどうかに依存して異なるように実行される。【選択図】図１０
2021508197.tif 000002
【特許請求の範囲】
【請求項１】
第１空間オーディオ・キャプチャ装置から、キャプチャ空間内の１つ以上の音源から導出された成分を含む第１コンポジット・オーディオ信号を受信するための手段と、
前記第１空間オーディオ・キャプチャ装置に関するユーザ・デバイスの位置を識別するための手段と、
前記第１空間オーディオ・キャプチャ装置の前記位置に関連する第１領域に対応する前記ユーザ・デバイスの前記位置に応答して、１つ以上の音源を表すオーディオをユーザ・デバイスにレンダリングするための手段であって、該レンダリングは、該１つ以上の音源のそれぞれからの個々のオーディオ信号を前記第１コンポジット信号からうまく分離することができるかどうかに依存して、異なるように実行される、手段と、
を備える装置。
【請求項２】
前記オーディオをレンダリングする手段は、前記識別された第１領域に関連付けられた前記第１空間オーディオ・キャプチャ装置の所定のレンジ内の全ての音源からの個々のオーディオ信号が、そのコンポジット・オーディオ信号からうまく分離されることができるかどうかに依存して、レンダリングが異なるように実行されるように構成される、請求項１に記載の装置。
【請求項３】
前記オーディオをレンダリングするための手段は前記分離の成功の尺度を個々のオーディオ信号ごとに計算し、それが所定の成功閾値を満たすかどうかを決定することによって、うまく分離が決定されるように構成される、請求項１または２に記載の装置。
【請求項４】
前記オーディオをレンダリングするための手段は、前記成功の尺度が、前記コンポジット・オーディオ信号の残りと少なくとも１つの基準オーディオ信号との間の相関関係、前記コンポジット・オーディオ信号の残りに関連する周波数スペクトラムと、リファレンスオーディオ信号に関連する周波数スペクトラムとの間の相関関係、および、コンポジット・オーディオ信号の残りの部分と、前記コンポジット・オーディオ信号に対応するビデオ信号の成分との間の相関関係、のうちの１つ以上を使用して計算されるように構成される、請求項３に記載の装置。
【請求項５】
第２空間オーディオ・キャプチャ装置から、前記キャプチャ空間内の前記１つ以上の音源から導出された成分を含む第２コンポジット・オーディオ信号を受信するための手段と、
前記第２空間オーディオ・キャプチャ装置に関連する前記第１領域または第２領域に対応するものとして前記ユーザ・デバイスの前記位置を識別するための手段と
をさらに含み、
オーディオをレンダリングするための前記手段は、前記１つ以上の音源が前記第１コンポジット・オーディオ信号からうまく分離され得るが、前記第２コンポジット・オーディオ信号からうまく分離され得ない場合に、前記レンダリングが前記第１および第２領域に対して異なるように実行されるように構成される、
請求項１ないし４のいずれか１項に記載の装置。
【請求項６】
前記オーディオをレンダリングするための手段は、前記第１領域内のユーザ・デバイス位置について、前記第１領域内のユーザ・デバイス位置の検出された変化がユーザ・デバイスの動きの前記効果を生成するために、前記音源のうちの１つ以上のための前記オーディオ信号の位置の変化をもたらすように、ボリュメトリック・オーディオ・レンダリングが実行されるように構成される、請求項５に記載の装置。
【請求項７】
オーディオをレンダリングするための前記手段は、ユーザ・デバイス位置の検出された並進および回転変化が、前記１つ以上の音源に対する前記オーディオ信号の位置の実質的に対応する並進および回転変化をもたらすように構成される、請求項６に記載の装置。
【請求項８】
オーディオをレンダリングする前記手段は、
（ｉ）前記個々のオーディオ信号が除去される前記第１コンポジット信号の修正バージョンと、
（ｉｉ）前記個々のオーディオ信号の各々の修正バージョンと
を含むミックスを使用して前記ボリュメトリック・レンダリングが実行されるように構成される、請求項６または７に記載の装置。
【請求項９】
オーディオをレンダリングするための前記手段は、前記個々のオーディオ信号の修正バージョンが、前記キャプチャ空間のインパルスレスポンスを前記個々のオーディオ信号に適用することによって生成された、前記個々のオーディオ信号のウェットバージョンを含むように構成される、請求項８に記載の装置。
【請求項１０】
オーディオをレンダリングする前記手段は、前記個々のオーディオ信号の前記ウェットバージョンが前記個々のオーディオ信号の乾いたバージョンとさらにミックスされるように構成される、請求項９に記載の装置。
【請求項１１】
オーディオをレンダリングするための前記手段は、前記第２領域内のユーザ・デバイス位置に対して、オーディオ・レンダリングが、
（ｉ）ユーザ・デバイスの位置の回転変化を反映するために、前記オーディオソースの前記位置が変化する、または、
（ｉｉ）前記第１空間オーディオ・キャプチャ装置からの信号に基づいて、ボリュメトリック・オーディオ・レンダリングを使用して、前記オーディオソースの前記位置が変化するように実行される
ように構成される、請求項５ないし１０のいずれか１項に記載の装置。
【請求項１２】
前記ユーザ・デバイスのディスプレイ・スクリーンにレンダリングするための、キャプチャされたビデオコンテンツを表すビデオ・データを提供する手段をさらに含み、前記ユーザ・デバイスの位置が前記第１領域または別の領域に対応するかどうかの標示をさらに含む、請求項１ないし１１のいずれか１項に記載の装置。
【請求項１３】
前記ビデオ・データを提供する前記手段は、前記ビデオ・データが、前記第１領域と前記別の領域との境界に近づいていること、および、前記境界を横切ることからオーディオ・レンダリングにおける変化が生じることの標示を含むように構成される、請求項１２に記載の装置。
【請求項１４】
第１空間オーディオ・キャプチャ装置から、キャプチャ空間内の１つ以上の音源から導出された成分を含む第１コンポジット・オーディオ信号を受信するステップと、
前記１つ以上の音源の各々から導出された個々のオーディオ信号を受信するステップと、
前記第１空間オーディオ・キャプチャ装置に関連するユーザ・デバイスの位置を識別するステップと、
前記第１空間オーディオ・キャプチャ装置の前記位置に関連付けられた第１領域に対応する前記ユーザ・デバイスの前記位置に応答して、前記１つ以上の音源を表すオーディオを前記ユーザ・デバイスにレンダリングするステップであって、前記レンダリングは、前記個々のオーディオ信号を前記第１コンポジット信号からうまく分離することができるかどうかに応じて異なるように実行されるステップと、
を含む方法。
【請求項１５】
コンピューティング装置によって実行されると、該コンピューティング装置に、請求項１４に記載の方法の実行をさせる、コンピュータ可読命令。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書は、空間オーディオに関連する方法、装置、およびコンピュータプログラムに関し、仮想空間に対するユーザ・デバイスの位置に依存する空間オーディオをレンダリングすることに関する。
【背景技術】
【０００２】
オーディオ信号処理技術は、複数の異なる音源からの成分を含むオーディオ信号からの個々の音源の識別および分離を可能にする。識別されたオーディオ信号を表すオーディオ信号がその信号の残りの部分から分離されると、リスナーに異なる可聴効果を提供するために、分離された信号の特性を修正することができる。
【発明の概要】
【０００３】
第１態様は、第１空間オーディオ・キャプチャ装置から、キャプチャ空間内の１つ以上の音源から導出された成分を含む第１コンポジット・オーディオ信号を受信するための手段と、第１空間オーディオ・キャプチャ装置に関連するユーザ・デバイスの位置を識別するための手段と、第１空間オーディオ・キャプチャ装置の位置に関連付けられた第１領域に対応するユーザ・デバイスの位置に応答して、１つ以上の音源を表すオーディオをユーザ・デバイスにレンダリングするための手段とを備える装置を提供する。このレンダリングは、１つ以上の音源のそれぞれからの個々のオーディオ信号を第１コンポジット信号からうまく分離することができるかどうかに応じて異なって実行される。
【０００４】
オーディオをレンダリングするための手段は、識別された第１領域に関連する空間オーディオ・キャプチャ装置の所定のレンジ内のすべての音源からの個々のオーディオ信号がそのコンポジット・オーディオ信号からうまく分離され得るかどうかに応じて、レンダリングが異なって実行されるように構成することができる。
【０００５】
オーディオをレンダリングするための手段は、分離の成功の尺度を個々のオーディオ信号ごとに計算し、それが所定の成功閾値を満たすかどうかを決定することによって、成功する分離が決定されるように構成することができる。
【０００６】
オーディオをレンダリングするための手段は、コンポジット・オーディオ信号の残りと、少なくとも１つの基準オーディオ信号との間の相関、コンポジット・オーディオ信号の残りに関連付けられた周波数スペクトルと、基準オーディオ信号に関連付けられた周波数スペクトルとの間の相関、および、コンポジット・オーディオ信号の残りと、コンポジット・オーディオ信号に対応するビデオ信号のコンポーネントとの間の相関のうちの１つ以上を使用して、成功の尺度が計算されるように構成することができる。
【０００７】
この装置は、第２空間オーディオ・キャプチャ装置から、キャプチャ空間内の１つ以上の音源から導出された成分を含む第２コンポジット・オーディオ信号を受信するための手段と、第２空間オーディオ・キャプチャ装置に関連する第１領域または第２領域に対応するものとしてユーザ・デバイスの位置を識別するための手段とをさらに備えることができ、オーディオをレンダリングするための手段は、１つ以上の音源を第１コンポジット・オーディオ信号からうまく分離することができるが、第２コンポジット・オーディオ信号からうまく分離することができない場合に、レンダリングが第１および第２領域に対して異なって実行されるように構成される。
【０００８】
オーディオをレンダリングするための手段は、第１領域内のユーザ・デバイス位置について、第１領域内のユーザ・デバイス位置の検出された変化が、ユーザ・デバイスの動きの効果を生成するために、音源のうちの１つ以上のためのオーディオ信号の位置の変化をもたらすように、ボリュメトリック・オーディオ・レンダリングが実行されるように構成することができる。
【０００９】
オーディオをレンダリングするための手段は、ユーザ・デバイス位置の検出された並進および回転変化が、１つ以上の音源に対するオーディオ信号の位置の実質的に対応する並進および回転変化をもたらすように構成することができる。
【００１０】
オーディオをレンダリングするための手段は、（ｉ）個々のオーディオ信号が除去される第１コンポジット信号の修正バージョンと、（ｉｉ）個々のオーディオ信号の各々の修正バージョンとを含むミックスを使用してボリュメトリック・レンダリングが実行されるように構成することができる
【００１１】
オーディオをレンダリングするための手段は、個々のオーディオ信号の修正バージョンが、キャプチャ空間のインパルスレスポンスを個々のオーディオ信号に適用することによって生成される、前記個々のオーディオ信号のウェットバージョンを含むように構成することができる。
【００１２】
オーディオをレンダリングするための手段は、個々のオーディオ信号のウェットバージョンは、個々のオーディオ信号のドライバージョンとさらにミックスされるように構成することができる。
【００１３】
オーディオをレンダリングするための手段は、第２領域内のユーザ・デバイス位置について、（ｉ）オーディオ源の位置がユーザ・デバイス位置の回転変化を反映するように変化するように、または、（ｉｉ）第１空間オーディオ・キャプチャデバイスからの信号に基づくボリュメトリック・オーディオ・レンダリングを使用してオーディオ源の位置が変化するように、オーディオ・レンダリングが実行されるように構成することができる。
【００１４】
この装置は、ユーザ・デバイスのディスプレイ・スクリーンにレンダリングするためのビデオ・データを提供するための手段をさらに備えることができ、ビデオ・データはキャプチャされたビデオコンテンツを表し、ユーザ・デバイス位置が第１領域または別の領域に対応するかどうかの標示をさらに備える。
【００１５】
ビデオ・データを提供する手段は、ビデオ・データが、第１領域と他の領域との境界に近づいていること、および、境界を横切ることからオーディオ描画の変化が生じることの標示を含むように構成することができる。
【００１６】
ビデオ・データを提供する手段は、ビデオ・データがショートカットを含むように構成されてもよく、ショートカットの選択は、ユーザ・デバイスの位置を第１領域および他の領域のうちの他方に戻すのに効果的である。
【００１７】
この装置は、第１領域の表現を表示するためのユーザインタフェース、第１領域に対して使用されるレンダリングを提供し、第１領域の大きさおよび／または形状の修正を可能にするための手段をさらに備えることができる。
【００１８】
ユーザインタフェースを提供する手段は、ユーザインタフェースが、第１領域のために使用されるオーディオ・レンダリングの修正をさらに可能にするように構成することができる。
【００１９】
別の態様は、第１空間オーディオ・キャプチャ装置から、キャプチャ空間内の１つ以上の音源から導出された成分を含む第１コンポジット・オーディオ信号を受信するステップと、１つ以上の音源のそれぞれから導出された個々のオーディオ信号を受信するステップと、第１空間オーディオ・キャプチャ装置に対するユーザ・デバイスの位置を識別するステップと、第１空間オーディオ・キャプチャ装置の位置に関連付けられた第１領域に対応するユーザ・デバイスの位置に応答して、１つ以上の音源を表すオーディオをユーザ・デバイスにレンダリングするステップであって、レンダリングは、個々のオーディオ信号を第１コンポジット信号からうまく分離することができるかどうかに応じて異なって実行される、ステップと、を含む方法を提供する。
【００２０】
このレンダリングは、識別された第１領域に関連付けられた空間オーディオ・キャプチャ装置の所定の範囲内のすべての音源からの個々のオーディオ信号が、そのコンポジット・オーディオ信号からうまく分離され得るかどうかに応じて、異なるように実行され得る。
【００２１】
このレンダリングは、各個々のオーディオ信号について、分離の成功の尺度を計算し、それが所定の成功閾値を満たすかどうかを判定することによって、成功した分離が判定されるようなものであることができる。
【００２２】
このレンダリングは、成功の尺度が、コンポジット・オーディオ信号の残りと少なくとも１つの基準オーディオ信号との間の相関、コンポジット・オーディオ信号の残りに関連する周波数スペクトルと基準オーディオ信号に関連する周波数スペクトルとの間の相関、および、コンポジット・オーディオ信号の残りとコンポジット・オーディオ信号に対応するビデオ信号の成分との間の相関のうちの１つ以上を使用して計算されるようにすることができる。
【００２３】
本方法は、第２空間オーディオ・キャプチャ装置から、キャプチャ空間内の１つ以上の音源から導出された成分を含む第２コンポジット・オーディオ信号を受信することと、第２空間オーディオ・キャプチャ装置に関連付けられた第１領域または第２領域に対応するものとしてユーザ・デバイスの位置を識別することとをさらに含むことができ、レンダリング・オーディオは、１つ以上の音源が第１コンポジット・オーディオ信号からうまく分離され得るが、第２コンポジット・オーディオ信号からうまく分離され得ない場合に、レンダリングが第１領域および第２領域について異なって実行されるようになっている。
【００２４】
レンダリング・オーディオは、第１領域内のユーザ・デバイス位置について、第１領域内のユーザ・デバイス位置の検出された変化が、ユーザ・デバイス移動の効果を生成するために１つ以上の音源のオーディオ信号の位置の変化をもたらすように、ボリュメトリック・オーディオ・レンダリングが実行されるようにすることができる。レンダリング・オーディオは、ユーザ・デバイス位置の検出された並進および回転変化が、１つ以上の音源に対するオーディオ信号の位置の実質的に対応する並進および回転変化をもたらすようなものとすることができる。
【００２５】
レンダリング・オーディオは、（ｉ）個々のオーディオ信号が除去される第１コンポジット信号の修正バージョンと、（ｉｉ）個々のオーディオ信号の各々の修正バージョンとを含むミックスを使用してボリュメトリック・レンダリングが実行されるようにすることができる。
【００２６】
レンダリング・オーディオは、個々のオーディオ信号の修正バージョンが、キャプチャ空間のインパルス応答を個々のオーディオ信号に適用することによって生成された、前記個々のオーディオ信号のウェットバージョンを含むようにすることができる。
【００２７】
レンダリング・オーディオは、個々のオーディオ信号のウェットバージョンが、個々のオーディオ信号のドライバージョンとさらにミックスされるように構成することができる。レンダリング・オーディオは、第２領域内のユーザ・デバイス位置に対してオーディオ・レンダリングが実行されるように（ｉ）ユーザ・デバイス位置の回転変化を反映するようにオーディオ源の位置が変化するように、または、（ｉｉ）第１空間オーディオ・キャプチャ装置からの信号に基づくボリュメトリック・オーディオ・レンダリングを使用してオーディオ源の位置が変化するようにすることができる。
【００２８】
本方法は、レンダリングのためのビデオ・データをユーザ・デバイスの表示画面に提供するステップをさらに含むことができ、ビデオ・データはキャプチャされたビデオコンテンツを表し、ユーザ・デバイス位置が第１領域または別の領域に対応するかどうかの標示をさらに含む。
【００２９】
ビデオ・データを提供することは、ビデオ・データが第１領域と他の領域との境界に近づいていること、および、オーディオ・レンダリングの変化が境界を横切ることから生じることの標示を含むことのようにすることができる。
【００３０】
ビデオ・データを提供することは、そのビデオ・データが、ショートカット、ユーザ・デバイスの位置を第１領域と他の領域と他方に戻すために有効である選択を含むようにすることができる。
【００３１】
本方法は、第１領域の表現を表示するためのユーザインタフェースを提供することをさらに含むことができ、オーディオ・レンダリングは、第１領域のために使用され、第１領域および領域のサイズおよび／または形状の修正を可能にする。
【００３２】
ユーザインタフェースを提供することは、ユーザインタフェースが、第１領域のために使用されるオーディオ・レンダリングの修正をさらに可能にする。
【００３３】
別の態様は、コンピューティング装置によって実行されると、コンピューティング装置に上記の方法動作の実行をさせるコンピュータ可読命令を提供する。
【００３４】
別の態様は、少なくとも１つのプロセッサによって実行されたときに、少なくとも１つのプロセッサに、第１空間オーディオ・キャプチャ装置から、キャプチャ空間内の１つ以上の音源から導出された成分を含む第１コンポジット・オーディオ信号を受信することと、１つ以上の音源のそれぞれから導出された個々のオーディオ信号を受信することと、第１空間オーディオ・キャプチャ装置に対するユーザ・デバイスの位置を識別することと、第１空間オーディオ・キャプチャ装置の位置に関連付けられた第１領域に対応するユーザ・デバイスの位置に応答して、１つ以上の音源を表すオーディオをユーザ・デバイスにレンダリングすることと、を含む方法を実行させる、コンピュータ可読コードが格納された非一時的コンピュータ可読媒体を提供し、そのレンダリングは、個々のオーディオ信号が第１コンポジット信号からうまく分離され得るかどうかに応じて異なって実行される。
【００３５】
別の態様は、少なくとも１つのプロセッサと、コンピュータ可読コードを格納する少なくとも１つのメモリとを有する装置であって、コンピュータ可読コードが実行されると、該少なくとも１つのプロセッサに、第１空間オーディオ・キャプチャ装置から、キャプチャ空間内の１つ以上の音源から導出された成分を含む第１コンポジット・オーディオ信号を受信することと、１つ以上の音源のそれぞれから導出された個々のオーディオ信号を受信することと、第１空間オーディオ・キャプチャ装置に対するユーザ・デバイスの位置を識別することと、第１空間オーディオ・キャプチャ装置の位置に関連付けられた第１領域に対応するユーザ・デバイスの位置に応答して、１つ以上の音源を表すオーディオをユーザ・デバイスにレンダリングすることと、の実行を制御させ、装置を提供する。レンダリングは、個々のオーディオ信号を第１コンポジット信号からうまく分離することができるかどうかに応じて異なる形で実行されるようにできる。
【図面の簡単な説明】
【００３６】
本出願をより良く理解するために、添付の図面を例として参照する。
【図１】図１は、ここで説明した種々の例にしたがい、処理のためのオーディオ信号をキャプチャするために使用される可能性のあるオーディオ・キャプチャ・システムの一例である。
【図２ａ】図２ａおよび図２ｂは、それぞれ、音分離の成功および不成功を示す、ユーザに対する移動音源の概略図である。
【図２ｂ】図２ａおよび図２ｂは、それぞれ、音分離の成功および不成功を示す、ユーザに対する移動音源の概略図である。
【図３】図３は、成功した音分離が、本願明細書記載の種々の例にしたがい、ユーザ・デバイスを装着するユーザが対応する仮想空間を６度の自由度を用いて移動することを可能にするキャプチャ空間の概略図である。
【図４】図４は、ここで説明される種々の例にしたがい、空間オーディオ・キャプチャ装置の部分集合のみに関して音分離が成功するようなキャプチャ空間の概略図である。
【図５】図５は、本願の種々の例にしたがい、音分離の判定に基づいて第１領域と第２領域が定義される図４キャプチャ空間の概略図である。
【図６】図６ａ−図６ｃは、本願明細書に記載されている種々の例にしたがい、領域間の移行を示すためにユーザインタフェース上に兆候が示されるユーザ移動の各段階における概略図およびユーザインタフェース・ビューを示す。
【図７】図７は、本願明細書で説明されている種々の例にしたがい、空間オーディオ・キャプチャ装置に関連する１つ以上の領域を修正することを許可するためのユーザインタフェース・ビュー編集を示す。
【図８】図８は、本願明細書で述べる種々の例にしたがって、ユーザが位置精度よりも環境を優先できるようにするためのユーザインタフェース・ビューを示す。
【図９】図９は、ここで説明した種々の例にしたがい、位置精度を環境よりも優先させる図８のユーザインタフェース・ビューを示している。
【図１０ａ】図１０ａおよび図１０ｂは、本願明細書で述べる種々の例にしたがって、さらに、第３の空間オーディオ・キャプチャ装置、さらに、音源が存在する図３のキャプチャ空間の概略図である。
【図１０ｂ】図１０ａおよび図１０ｂは、本願明細書で述べる種々の例にしたがって、さらに、第３の空間オーディオ・キャプチャ装置、さらに、音源が存在する図３のキャプチャ空間の概略図である。
【図１１ａ】図１１ａと図１１ｂは、本願明細書で述べる種々の例にしたがって、３度の自由度または６度の自由度のフォールバック・オプションを選択することを可能にするためにセレクタが提供される図１０のキャプチャ空間を示している。
【図１１ｂ】図１１ａと図１１ｂは、本願明細書で述べる種々の例にしたがって、３度の自由度または６度の自由度のフォールバック・オプションを選択することを可能にするためにセレクタが提供される図１０のキャプチャ空間を示している。
【図１２】図１２は、図１に示されるオーディオ処理装置の構成例の概略図である。
【図１３】図１３は、本願明細書で述べる種々の例にしたがって、図１および図１２に示されるオーディオ処理装置によって行われる処理動作を示すフロー図である。
【発明を実施するための形態】
【００３７】
説明および図面において、同様の参照番号は、全体を通して同様の要素を指す。
【００３８】
図１は、本願明細書で述べる種々の例にしたがって、処理のためのオーディオ信号をキャプチャするために用いられる可能性のあるオーディオ・キャプチャ・システム１の一例である。この例では、システム１が空間オーディオ信号をキャプチャするように構成された空間オーディオ・キャプチャ装置１０と、１つ以上の追加のオーディオ・キャプチャデバイス１２Ａ、１２Ｂ、１２Ｃとを備える。
【００３９】
空間オーディオ・キャプチャ装置１０は複数のオーディオ・キャプチャデバイス１０１Ａ、Ｂ（例えば、指向性または無指向性マイクロフォン）を備え、これらのデバイスは、再生されたサウンドが少なくとも１つの仮想空間位置から生じるものとして聴取者によって知覚されるように、オーディオストリームに後に空間的にレンダリングされ得るオーディオ信号をキャプチャするように構成される。典型的には、空間オーディオ・キャプチャ装置１０によってキャプチャされたサウンドが、空間オーディオ・キャプチャ装置１０に対して１つ以上の異なる位置にあり得る複数の異なる音源から導出される。キャプチャされた空間オーディオ信号は、複数の異なる音源から導出された成分を含むので、コンポジット・オーディオ信号と呼ぶことができる。図１では２つのオーディオ・キャプチャデバイス１０１Ａ、Ｂのみが見えるが、空間オーディオ・キャプチャ装置１０は３つ以上のデバイス１０１Ａ、Ｂを含むことができ、例えば、いくつかの特定の例では、オーディオ・キャプチャ装置１０が８つのオーディオ・キャプチャデバイスを含むことができる。
【００４０】
図１の例では、空間オーディオ・キャプチャ装置１０は、また、複数のビジュアルコンテンツキャプチャデバイス１０２Ａ−Ｇ（例えば、カメラ）によってビジュアルコンテンツ（例えば、ビデオ）をキャプチャするように構成される。空間オーディオ・キャプチャ装置１０の複数のビジュアルコンテンツキャプチャデバイス１０２Ａ〜Ｇは、装置の周りの様々な異なる方向からビジュアルコンテンツをキャプチャし、それによって、ユーザによる消費のための没入型（または仮想現実コンテンツ）を提供するように構成することができる。図１の例では、空間オーディオ・キャプチャ装置１０がノキアのＯＺＯカメラのような存在キャプチャ装置である。しかしながら、理解されるように、空間オーディオ・キャプチャ装置１０は、別のタイプのデバイスであってもよく、および／または複数の物理的に別個のデバイスから構成することができる。例えば、空間オーディオ・キャプチャ装置１０はオーディオのみを記録し、ビデオを記録しなくてもよい。別の例として、空間オーディオ・キャプチャ装置は、携帯電話であり得る。また、理解されるように、キャプチャされたコンテンツは没入型コンテンツとして提供するのに適しているが、例えば、スマートフォンまたはタブレットコンピュータを介して、通常の非ＶＲフォーマットで提供することができる。
【００４１】
前述のように、図１の例では、空間オーディオ・キャプチャ・システム１が１つ以上の追加のオーディオ・キャプチャ装置１２Ａ−Ｃをさらに備える。追加のオーディオ・キャプチャ装置１２Ａ−Ｃの各々は、少なくとも１つのマイクロフォンを備えることができ、図１の例では、追加のオーディオ・キャプチャ装置１２Ａ−Ｃが関連するユーザ１３Ａ−Ｃから導出されたオーディオ信号をキャプチャするように構成されたラバリアマイクロフォンである。例えば、図１において、追加のオーディオ・キャプチャ装置１２Ａ−Ｃの各々は、何らかの方法でユーザに貼り付けられることによって、異なるユーザに関連付けられる。しかしながら、他の例では、追加のオーディオ・キャプチャ装置１２Ａ−Ｃが異なる形態をとることができ、および／またはオーディオ・キャプチャ環境内の固定された所定の位置に配置することができることが理解される。いくつかの実施形態では、追加のオーディオ・キャプチャ装置のすべてまたはいくつかは携帯電話であり得る。
【００４２】
追加的なオーディオ・キャプチャ装置１２Ａ−Ｃおよび／または、オーディオ・キャプチャ環境内の空間オーディオ・キャプチャ装置１０の位置は、オーディオ・キャプチャ・システム１（例えば、オーディオ処理装置１４）によって知ることができ、または決定できる。例えば、モバイルオーディオ・キャプチャ装置の場合、装置は、装置の位置が決定されることを可能にするための位置決定コンポーネントを含むことができる。いくつかの特定の例では、高精度屋内位置決めなどの無線周波数位置決定システムを使用することができ、それによって、追加のオーディオ・キャプチャデバイス１２Ａ−Ｃ（およびいくつかの例では空間オーディオ・キャプチャ装置１０）は、位置サーバがオーディオ・キャプチャ環境内の追加のオーディオ・キャプチャデバイスの位置を決定することを可能にするためのメッセージを送信する。他の例では、例えば、追加のオーディオ・キャプチャデバイス１２Ａ−Ｃが静的である場合、位置はオーディオ・キャプチャ・システム１の一部を形成するエンティティ（例えば、オーディオ処理装置１４）によって事前に格納することができる。さらに別の例では、人間のオペレータが自分の指または他のポインティングデバイスを使用することによって、タッチスクリーンを装備したデバイス上の位置を入力することができる。さらに別の例では、オーディオベースの自己定位の方法を適用することができ、１つ以上のオーディオ・キャプチャデバイスはキャプチャされたオーディオ信号を分析してデバイスロケーションを決定する。
【００４３】
図１の例では、オーディオ・キャプチャ・システム１がオーディオ処理装置１４をさらに備える。オーディオ処理装置１４は、空間オーディオ・キャプチャ装置１０および１つ以上の追加のオーディオ・キャプチャデバイス１２Ａ−Ｃによってキャプチャされた信号を受信し、格納するように構成される。これらの信号はオーディオ信号のキャプチャ中にリアルタイムで、オーディオ処理装置１４で受信されてもよく、または例えば仲介記憶装置を介して後に受信されてもよい。そのような例では、オーディオ処理装置１４がオーディオ・キャプチャ環境に対してローカルであってもよく、またはオーディオ・キャプチャ装置１０およびデバイス１２Ａ−Ｃが提供されるオーディオ・キャプチャ環境から地理的に離れていてもよい。いくつかの例では、オーディオ処理装置１４が空間オーディオ・キャプチャ装置１０の一部を形成することさえできる。
【００４４】
オーディオ信号処理装置１４によって受信されるオーディオ信号は、ラウドスピーカ形式のマルチチャンネルオーディオ入力を含んでいてもよい。このようなフォーマットにはステレオ信号フォーマット、４．０  信号フォーマット、５．１  信号フォーマットおよび７．１  信号フォーマットが含まれるが、これらに限定されない。このような例において、図１のシステムによってキャプチャされた信号は、それらのオリジナルのローフォーマットからラウドスピーカフォーマットに事前処理されていた可能性がある。あるいは、他の例ではオーディオ処理装置１４によって受信されるオーディオ信号が生の８チャネル入力信号のようなマルチマイクロフォン信号フォーマットであってもよい。未加工のマルチマイクロフォン信号は、ある例では空間オーディオ処理技術を用いてオーディオ処理装置１４によって前処理され、それによって受信信号をラウドスピーカフォーマットまたはバイノーラルフォーマットに変換することができる。
【００４５】
いくつかの例では、オーディオ処理装置１４が、１つ以上の追加のオーディオ・キャプチャデバイス１２Ａ−Ｃから導出された信号を、空間オーディオ・キャプチャ装置１０から導出された信号とミックスするように構成することができる。例えば、追加のオーディオ・キャプチャ装置１２Ａ−Ｃの位置を利用して、追加のオーディオ・キャプチャ装置１２Ａ−Ｃから導出された信号を、空間オーディオ・キャプチャ装置１０から導出された空間オーディオ内の正しい空間位置にミックスすることができる。オーディオ処理装置１４による信号のミキシングは、部分的にまたは完全に自動化することができる。
【００４６】
オーディオ処理装置１４は、追加のオーディオ・キャプチャデバイス１２Ａ−Ｃによってキャプチャされた音源の、空間オーディオ・キャプチャ装置１０によってキャプチャされた空間オーディオ内での空間的な再配置を実行する（または実行することを可能にする）ようにさらに構成することができる。
【００４７】
音源の空間的再配置は、ユーザが自由に新しい聴取位置を選択することができる自由視点オーディオを用いて、３次元空間における将来のレンダリングを可能にするために実行することができる。また、空間的再位置決めを使用して音源を分離し、それによって音源をより個別に区別することができる。同様に、空間的位置変更を使用して、それらの空間的位置を修正することによって、オーディオミックス内の特定のソースを、強調／強調解除することができる。空間的再位置決めの他の使用は、特定の音源を所望の空間的位置に配置することと、それによって聴取者に注意を喚起すること（これらはオーディオキューと呼ばれることがある）と、ある閾値に一致するように音源の移動を制限することと、種々の音源の空間的位置を広げることによってミックスオーディオ信号を広げることとを含み得るが、確かには限定されない。空間的再位置決めを実行するための様々な技法が当技術分野で知られているので、本明細書では詳細には説明しない。使用され得る技術の１つの例は、ラウドスピーカ信号領域においてオーディオ信号をミキシングするときに、ベクトル基底振幅パンニング（ＶＢＡＰ）を使用して音源に対する所望のゲインを計算することを含む。ヘッドフォン聴取のための双耳信号を生成する場合、音源に対する望ましい到来方向（ＤＯＡ）に基づく、左右耳のためのヘッド関連伝達関数（ＨＲＴＦ）フィルタを用いたフィルタリングを、音源位置決めに用いることができる。
【００４８】
空間再位置決めを実行するときに対処されるべき１つの問題は、空間オーディオ・キャプチャ装置１０によってキャプチャされる空間オーディオが、通常、再位置決めされている音源から導出されるコンポーネントを含むという事実である。そのように、個々の付加的なオーディオ・キャプチャ装置１２Ａ−Ｃによってキャプチャされた信号を単純に移動させるだけでは十分でない場合がある。その代わりに、結果として生じる音源からの成分も、空間オーディオ装置１０によってキャプチャされる空間（コンポジット）オーディオ信号から分離されるべきであり、追加オーディオ・キャプチャ装置１２Ａ−Ｃによってキャプチャされる信号と一緒に再配置されるべきである。これが実行されない場合、聴取者は異なる位置から来るものと同じ音源から得られる成分を聞くことになり、これは明らかに望ましくない。
【００４９】
コンポジット信号からの個々の音源（静的および移動の両方）の識別および分離のための種々の技法は、当技術分野において知られており、そのため、本明細書ではあまり詳細に検討しない。簡単に言えば、分離プロセスは典型的には分離されるべきソースを識別／推定し、次いで、その識別されたソースをコンポジット信号から減算するか、さもなければ除去することを含む。識別された音源の除去は、推定された音源の時間領域信号を減算することによって時間領域において、または周波数領域において実行され得る。オーディオ処理装置１４によって利用される可能性がある分離方法の一例は、係属中の特許出願ＰＣＴ／ＥＰ２０１６／０５１７０９において説明されている。これは、総合信号からの移動音源の識別および分離に関するものであり、本文書では、参照して組み込まれている。利用されてもよい別の方法は、静圧音源の識別および分離を記載し、また参照により組み込まれるＷＯ２０１４／１４７４４２に記載されているものであってもよい。
【００５０】
音源がどのように識別されるかにかかわらず、一旦それらが識別されると、それらは、分離されたオーディオ信号およびコンポジット・オーディオ信号の残りの部分を提供するために、コンポジット空間オーディオ信号から差し引かれるか、または逆フィルタリングされ得る。分離されたオーディオ信号の空間的再位置決め（または他の修正）に続いて、修正された分離された信号を、コンポジット・オーディオ信号の残部に再度ミックスして、修正されたコンポジット・オーディオ信号を形成することができる。
【００５１】
個々の音源をコンポジット・オーディオ信号から分離することは、特に簡単ではなく、例えば、全ての例において、個々の音源をコンポジット・オーディオ信号から完全に分離することは不可能であり得る。そのような場合には、分離のために意図された音源から導出されたいくつかのコンポーネントが、分離動作の後に残りのコンポジット信号に残ることがあり得る。
【００５２】
図２ａは、第１位置に音源２０を含む仮想空間１０において、分離がうまく結果を概略的に示し、音源は、例えば、音出力手段を組み込んだ仮想現実デバイス２２を装着したユーザ２１の動きの仮想によって、後続の第２位置２０Ａにも示されている。ユーザ２１の視点から、音源２０の知覚位置は、意図されたように第２位置２０Ａに移動する。
【００５３】
分離が完全に成功せず、分離された信号が、再配置された位置でコンポジット・オーディオ信号の残りの部分に再びミックスされると、ユーザが経験する結果として生じるオーディオ表現の品質が低下する可能性がある。例えば、いくつかの例では、ユーザは、音源の元の位置と意図された再配置された位置との間の中間位置で音源を聞くことができる。図２ｂは、このシナリオを概略的に示す。この場合、音源２４は、正しい第２位置２４Ａではなく、中間位置２４Ｂでユーザ２１によって知覚される。
【００５４】
他の例では、ユーザが２つの別個の音源、すなわち、１つは元の位置にあり、１つは再配置された位置にある音源を聞くことができる。ユーザが経験する効果は、分離が成功しなかった方法に依存し得る。例えば、音源の全てまたは大部分の周波数成分の残留部分が分離後にコンポジット信号内に残る場合、ユーザは中間位置で音源を聞くことができる。音源の特定の周波数成分（周波数スペクトラムの一部）だけが合成信号に残り、他の周波数成分がうまく分離されている場合、２つの明確な音源を聞くことができる。理解されるように、これらの効果のいずれも望ましくなく、したがって、オーディオ信号の分離が完全に成功しない場合には、利用可能な空間的再配置の範囲を制限することが有益であり得る。
【００５５】
本明細書の実施形態は、特に、６自由度を使用して没入型対話のためにユーザにレンダリングするためのオーディオ・シーンに関し、これは適切である。例えば、オーディオ・シーンは仮想現実（ＶＲ）または拡張現実（ＡＲ）ビデオシーンの一部として提供されてもよく、ユーザは移動することによってシーンを探索することができる。理解されるように、拡張現実（ＡＲ）は、データが現実世界ビュー上にオーバーレイされる、すなわち現実世界ビューを拡張する、現実世界と仮想世界とのマージである。６自由度とは、ヨー、ピッチ、ロール、（並進）左右、上下、前後の動作を含む移動を指す。ヨー、ピッチ、およびロールのみを含むユーザ対話は、一般に、３自由度（３ＤｏＦ）対話と呼ばれる。６自由度の設定では、ユーザがほとんどまたは全く制限なしに、オーディオ・オブジェクト（および提供される場合にはビデオ・オブジェクト）の周り、内側、および／または中を自由に歩き回ることができる。
【００５６】
しかしながら、キャプチャポイントから離れるユーザの並進運動、例えば、空間オーディオ・キャプチャ装置１０の対応する位置は、追加のオーディオ・キャプチャデバイス１２Ａ−Ｃのうちの１つ以上でキャプチャされたオーディオ信号の再配置を必要とすることが理解される。
【００５７】
これは、ユーザが空間オーディオ・キャプチャ装置１０の位置から６自由度でシームレスに外に出ることを可能にするための、音響分離の１つの例示的なアプリケーションである。１つ以上の追加のオーディオ・キャプチャデバイス１２Ａ−Ｃによってキャプチャされたサウンドは、空間オーディオ・キャプチャ装置１０によってキャプチャされたコンポジット・オーディオ信号から除去され、その結果、周囲サウンドは再配置された追加のオーディオ・キャプチャデバイス１２Ａ−Ｃからのサウンドを含まない。さもなければ、これは、ユーザ体験に悪影響を及ぼすことになる。音分離が成功しない場合、回避または最小化することが望ましい望ましくない影響が依然として存在し得る。例えば、望ましくない効果は、音源が十分な程度までコンポジット信号から分離されていない場合、音源が聴取者の動き（回転または並進）に依存するように動いていないことであり得る。その結果、ユーザは、自分の動きに応じたオーディオ・シーンの変化を十分な程度まで知覚することができず、したがって、シーンに完全に没頭したように感じることができず、または、オーディオ・シーンのレンダリングにおいて不正確な移動または他の望ましくない態様を経験することがあり得る。
【００５８】
本明細書の実施形態は、領域内のサウンドを異なるようにレンダリングすることによって、異なるタイプのトラバースを可能にするキャプチャ空間内の領域を決定することを含む。これらの領域は、それぞれの空間オーディオ・キャプチャ装置１０に関連付けることができる。これらの領域は、それぞれの空間オーディオ・キャプチャ装置１０の所定の範囲内、例えば５メートル内の領域を含むことができる。しかしながら、領域は円形である必要はなく、異なるサイズまたは形状の１つ以上の領域を作るために、ユーザインタフェースを使用して変更することができる。領域は、例えば、空間オーディオ・キャプチャ装置１０の１つ以上のペアの間の中間点に基づいて決定することができる。
【００５９】
例えば、１つの領域は６自由度横断に適していると決定されてもよく、別の領域は、３自由度、または６自由度横断の限られた量にのみ適していると決定されてもよい。異なるオーディオ信号がミックスされる方法は、１つ以上の領域について異なってもよい。この判定は、追加のオーディオ・キャプチャ装置１２Ａ−Ｃによってキャプチャされたオーディオ信号を、領域に対応する空間オーディオ・キャプチャ装置１０からのコンポジット信号からうまく減算することができるか、または分離することができるかどうかに基づくことができる。
【００６０】
追加のオーディオ・キャプチャ装置１２Ａ−Ｃによってキャプチャされたオーディオ信号は、本明細書では個別オーディオ信号と呼ばれる。
【００６１】
本明細書の実施形態は異なる領域間の実質的にシームレスな横断を可能にすることができ、例えば、第１領域は６自由度を可能にし、第２領域は３自由度のみを可能にする。
【００６２】
ユーザが、１つ以上のラウドスピーカ、ヘッドフォン、および、（提供されるならば）レンダリングされたビデオ出力を表示すための１つ以上のディスプレイ・スクリーンを介する出力のための音声処理装置１４からされたオーディオ信号を受け取るためのユーザ・デバイスを装着しているか、さもなければ、運搬しているとき、本明細書の実施形態は、以前の視覚的または聴覚的表示を提供することを可能にすることができる。そして、それは仮想現実（ＶＲ）または拡張現実（ＡＲ）出力である場合がある。対応する仮想空間内のユーザ・デバイスの位置が２つの異なる領域間の境界に近づいているときに、表示を提供することができ、これは、ユーザ・デバイスが境界の所定の範囲内にある場合に検出することができる。したがって、ユーザは、例えば、第１領域内の例えば６自由度から、第２領域に入る場合には３自由度に切り替わることに気づく。
【００６３】
オーディオ処理装置１４は、所与の空間オーディオ・キャプチャ装置１０のコンポジット信号から、音源１３Ａ〜１３Ｃを表す個々のオーディオ信号の分離の成功の尺度を決定するように構成することができる。これは、所与の空間オーディオ・キャプチャ装置１０に関連する音源１３Ａ〜１３Ｃの各々、または、所与のオーディオ・キャプチャ装置の所定の範囲内の各音源に対して実行することができる。所定の範囲は、設定された距離、例えば、５メートルであることができ、または、空間オーディオ・キャプチャ装置のペアの間の距離、例えば、ペアの間の中間点に依存することができる。いくつかの実施形態では、所定の範囲が例えば編集インタフェースを使用して、ユーザによって設定されてもよい。成功の尺度は、充足される場合、個々のオーディオ信号のうまく分離を示す所定の相関閾値と比較され得る。所定の範囲内の音源からの全ての個々のオーディオ信号がコンポジット信号からうまく分離できる場合、特定の空間オーディオ・キャプチャ装置１０のための分離は成功したものと見なされる。１つの個々のオーディオ信号をうまく分離することができない場合、特定の空間オーディオ・キャプチャ装置１０の分離は、部分的な成功のみと見なされる。個々のオーディオ信号のいずれもうまく分離することができない場合、特定の空間オーディオ・キャプチャ装置１０の分離は完全に成功しない。
【００６４】
他の例では、分離成功の尺度がシステム内の別のエンティティによって決定されてもよく、例えばオーディオ信号と共にオーディオ処理装置１４に提供されてもよい。
【００６５】
成功の尺度は、いくつかの例ではコンポジット・オーディオ信号の残りと少なくとも１つの基準オーディオ信号との間の決定された相関を含むことができる。基準オーディオ信号は、いくつかの例では分離されたオーディオ信号であってもよい。このような例では、オーディオ処理装置１０は、したがって、分離された信号の元の位置に対応するコンポジット・オーディオの残部の一部と、分離されたオーディオ信号との間の相関関係を決定するように構成することができる。高い相関は、分離が特に成功しなかった（成功の程度が低い）ことを示すことができ、一方、低い（または無い）相関は、分離が成功した（成功の程度が高い）ことを示すことができる。したがって、このような例では、相関（分離の成功の決定された尺度の一例である）が、分離の成功の程度と逆の関係を有し得ることが理解される。
【００６６】
他の例では、基準信号は、例えば、分離された信号が関連付けられているオーディオ音源に関連付けられている付加的な記録装置のような、付加的な記録装置１２Ａのうちの１つによってキャプチャされた信号を含むことができる。このアプローチは、分離が音源に関連するオーディオスペクトルを合成信号の残りの部分と分離された信号との間で分割する結果となった場合に、分離成功を決定するために有用であり得る。再び、相関は、分離の成功の程度と逆の関係を有し得る。
【００６７】
いくつかの例では、コンポジット・オーディオ信号と分離された信号との間の相関関係、およびコンポジット・オーディオ信号と追加の記録装置から導出された信号との間の相関関係の両方を決定することができ、分離成功を決定するために利用することができる。相関のいずれかが閾値を上回る場合、分離が完全に成功しなかったと判定されてもよい。
【００６８】
相関は、
【数１】
2021508197.tif 000003
の式を使用して求めることができる。ここで、Ｒ（ｋ）およびＳ（ｋ）はそれぞれ合成信号および基準信号の剰余からのｋ番目サンプリングであり、τはタイムラグであり、ｎはサンプリングの総数である。
【００６９】
オーディオ処理装置１４は、決定された相関を所定の相関閾と比較し、相関が所定の閾値相関を下回る場合、分離が完全に（または十分に）成功したと判断するように構成することができる。逆に、相関が所定の閾値相関を上回る場合、オーディオ処理装置１４は。分離が完全に（または十分に）成功しなかったか、または別の方法で言えば、部分的にのみ成功したと判定するように構成することができる。
【００７０】
上に示された式の代替として、分離の成功の測度は、幾つかの例では、コンポジット・オーディオ信号の残部に関連する周波数スペクトルと、少なくとも１つの基準オーディオ信号に関連する周波数スペクトルとの間の相関を含み得る。リファレンスオーディオ信号からの周波数成分がコンポジット・オーディオ信号の残りの部分にも存在する場合、分離が完全に成功していないと推測できる。対照的に、分離されたオーディオ信号の周波数成分とコンポジット・オーディオ信号の残りの部分との間に相関関係がない場合、分離が完全に成功したと判断することができる。上述のように、少なくとも１つの基準オーディオ信号は、分離されたオーディオ信号と、追加の記録装置のうちの１つから導出された信号とのうちの一方または両方を含むことができる。
【００７１】
しかしながら、他の例では、分離の成功の尺度は、コンポジット・オーディオ信号の残部と、コンポジット・オーディオ信号に対応するビデオ信号の成分との間の相関を含み得る。例えば、音源が話している人物から導出される例では、オーディオ処理装置１４が、コンポジット・オーディオ信号の残りが、音源が導出される人物の口の動きに対応するタイミングを有する成分を含むかどうかを判定することができる。そのようなオーディオコンポーネントが存在する場合、分離が完全に成功しなかったと判定されてもよく、一方、そのようなオーディオコンポーネントが存在しない場合、分離が完全に成功したと判定されてもよい。
【００７２】
理解されるように、上記の例の全てにおいて、決定された相関は、分離の成功の程度と逆の関係を有する。
【００７３】
追加のオーディオ・キャプチャデバイス１２Ａ−Ｃ（空間オーディオ・キャプチャ装置１０の所定の範囲内にあり得る）からの個々のオーディオ信号が、上記の方法を使用して、そのコンポジット信号からうまく分離され得る場合、この空間オーディオ・キャプチャ装置の分離は、うまく決定される。
【００７４】
分離が成功すると、付加的なオーディオ・キャプチャ装置１２Ａ−Ｃから特定の空間オーディオ・キャプチャ装置１０へのいわゆる室内インパルス応答（ＲＩＲ）の正確な表現が得られる。これは、付加的なオーディオ・キャプチャ装置１２Ａ−Ｃからの個々のオーディオ信号の各々を、空間オーディオ・キャプチャ装置１０からのコンポジット・オーディオ信号から差し引くことができることを意味する。ボリュームオーディオ・レンダリングは、例えば、個々のオーディオ信号（ドライ信号として知られている）、ルームインパルス応答（ＲＩＲ）（ウェット信号として知られている）で処理されたドライ信号（コンボリューションを使用する）、および、分離後のコンポジット・オーディオ信号の拡散アンビエンス残差を使用して、空間オーディオ・キャプチャ装置１０の周囲の領域内に実装されることができる。
【００７５】
したがって、以下に与えられる特定の定義が本明細書に適用される。
【００７６】
室内インパルス応答（ＲＩＲ）は、音源間のキャプチャ空間の伝達関数であり、本実施形態では接写マイクロフォン記録信号であり得、本実施形態におけるマイクロフォンは、特定の空間オーディオ・キャプチャ装置１０で記録された信号であり得る。ＲＩＲの決定は、ＷＯ２０１７／１２９２３９に開示されており、各時間フレームｎ内に固定された、各ソースの周波数領域ルーム応答ｈｆ，ｎ，ｐであり、
【数２】
2021508197.tif 000004
として表すことができる。ｈは空間応答であり、ｆは周波数インデックスであり、ｎはフレームインデックスであり、ｐはオーディオソースインデックスである。
【００７７】
ドライ信号とは、クローズアップ、マイク、その他のオーディオ・キャプチャデバイスなど、個人がキャプチャした未処理の信号のことである。
【００７８】
ウェット信号は処理された信号で、特定のドライ信号にルームインパルスレスポンスを適用することで生成される。これは、通常、畳み込みを含む。
【００７９】
周囲信号は、コンポジット信号からウェット信号を分離（除去）した後に残る信号である。
【００８０】
分離が不成功である場合、例えば、追加のオーディオ・キャプチャ装置１２ーＣからの個々のオーディオ信号の１つ以上が、空間オーディオ・キャプチャ装置１０からのコンポジット・オーディオ信号から減算され得ない場合、部屋インパルス応答（ＲＩＲ）は不正確であり、上記のレンダリング技術は、望ましくないアーチファクトを生成することなく使用され得ない。この状況において、空間オーディオ・キャプチャ装置１０の周囲の領域でオーディオをレンダリングするために、多くのオプションが可能である。
【００８１】
例えば、ボリュメトリック・オーディオ・レンダリングは、追加のオーディオ・キャプチャ装置１２Ａ−Ｃのみからのドライオーディオ信号を使用して可能である。あるいは、空間オーディオ・キャプチャ装置１０に関連する領域では、３自由度の再生のみが許可され得る。例えば、ヘッド回転のみが支持され得る。さらに代替的に、別の空間オーディオ・キャプチャ装置１０からの部屋インパルス応答（ＲＩＲ）を使用して、例えば、これと、他の空間オーディオ・キャプチャ装置からの拡散残差とを現在のものと置き換えることによって、ボリュメトリック・オーディオを生成することができる。ユーザインタフェースは、プロデューサまたはミキサが異なるシナリオのためにどの方法を使用するかを選択することを可能にするために使用され得る。
【００８２】
ここで、例示的な実施形態を図式的に説明する。
【００８３】
図３は、キャプチャ空間１５０の概略平面図であり、ユーザ１７０は、キャプチャ空間から導出された対応する仮想空間の位置に重ね合わされて示されている。ユーザ１７０は、音を知覚するためのラウドスピーカまたはヘッドフォンを含むバーチャルリアリティ（ＶＲ）または拡張現実（ＡＲ）装置を装着するか、さもなければ携帯することが想定される。キャプチャ空間１５０内には、第１および第２空間オーディオ・キャプチャ装置（Ａ１、Ａ２）１５２、１５４が、別々の空間位置に設けられている。他の実施形態では、異なる数が提供されてもよい。各空間オーディオ・キャプチャ装置１５２、１５４は、それぞれの空間オーディオ信号、すなわちキャプチャ空間１５０内の１つ以上の音源Ｃ１−Ｃ４から導出された第１および第２コンポジット・オーディオ信号を生成することができる。コンポジット・オーディオ信号は、要素１０１Ａ、１０１Ｂとして図１に示す複数のマイクロフォンを用いて生成される。
【００８４】
図示されるように、音源Ｃ１−Ｃ４の各々は、クローズアップマイクロフォンであり得る、それぞれの追加のオーディオ・キャプチャデバイス１６２〜１６５を搬送する。そのような追加のオーディオ・キャプチャ装置１６２〜１６５の各々は、個々のオーディオ信号を生成する。
【００８５】
空間オーディオ・キャプチャ装置１５２、１５４および追加のオーディオ・キャプチャ装置１６２〜１６５からの第１および第２コンポジット・オーディオ信号ならびに個々のオーディオ信号は、移動を示すために時間とともに変化し得る仮想空間内の位置に応じて、ユーザ１７０によって運ばれる仮想現実デバイスにミキシングおよびレンダリングするために、オーディオ処理装置１４に提供される。
【００８６】
オーディオ処理装置１４は、各空間オーディオ・キャプチャ装置１５２、１５４に対して、追加のオーディオ・キャプチャ装置１６２〜１６５から受け取った、音源Ｃ１−Ｃ４からの個々のオーディオ信号が、それぞれの第１および第２コンポジット・オーディオ信号からうまく分離できるかどうかを決定することによって、動作することができる。音源Ｃ１−Ｃ４からの全ての個々のオーディオ信号が第１コンポジット・オーディオ信号からうまく分離できる場合、分離は、第１空間オーディオ・キャプチャ装置（Ａ１）１５２のために成功していると考えられる。同様に、音源Ｃ１−Ｃ４からの全ての個々のオーディオ信号が第２コンポジット・オーディオ信号からうまく分離できる場合には、分離が第１空間オーディオ・キャプチャ装置（Ａ２）１５４のために成功したとみなされる。
【００８７】
いくつかの実施形態では、分離成功の決定が、第１および第２空間オーディオ・キャプチャ装置（Ａ１、Ａ２）１５２、１５４の所定の範囲内の音源Ｃ１−Ｃ４についてのみ決定されることができる。例えば、この範囲内のそれらの音源Ｃ１−Ｃ４がそれらの個々のオーディオ信号をコンポジット信号からうまく分離できる限り、分離は、特定の空間オーディオ・キャプチャ装置（Ａ１、Ａ２）１５２、１５４に対して成功したと見なすことができる。その範囲は、例えば、空間オーディオ・キャプチャ装置（Ａ１、Ａ２）１５２、１５４から例えば５メートルの所定の距離であることができ、または空間オーディオ・キャプチャ装置の対の間の中間点であることができる。
【００８８】
図３のシナリオでは、オブジェクトＣ１−Ｃ４の追加のオーディオ・キャプチャデバイス１６２〜１６５からの追加のオーディオ信号を、第１および第２空間オーディオ・キャプチャ装置（Ａ１、Ａ２）１５２、１５４からの第１および第２コンポジット・オーディオ信号のそれぞれからうまく分離することができると仮定する。ルームインパルス応答（ＲＩＲ）は、追加のオーディオ・キャプチャデバイス１６２〜１６５のそれぞれから第１および第２空間オーディオ・キャプチャ装置（Ａ１、Ａ２）１５２、１５４のそれぞれへの信号変換の正確な表現と考えることができ、ボリュメトリック・オーディオ・レンダリングは、第１および第２空間オーディオ・キャプチャ装置のそれぞれの周囲の領域内で正確に実施することができる。ボリューメトリックオーディオ・レンダリングは、個々のオーディオ信号、個々のオーディオ信号のウェットバージョン（それらをＲＩＲに適用した後に生成される）、および、分離後の第１および第２空間オーディオ・キャプチャ装置（Ａ１、Ａ２）１５２、１５４の拡散アンビエント残留信号を使用することができる。
【００８９】
その結果、ユーザ１７０は、ユーザが、第１空間オーディオ・キャプチャ装置（Ａ１、Ａ２）１５２または第２空間オーディオ・キャプチャ装置（Ａ２）１５４に最も近い領域にいるかどうかにかかわらず、パスライン１８０によって示されるように、空間内で６自由度の完全な移動自由度を有する。
【００９０】
しかしながら、この結果は、全てのシナリオにおいて達成することが可能ではないかもしれない。
【００９１】
図４は、それぞれの空間オーディオ信号、すなわち、キャプチャ空間１５０内の１つ以上の音源Ｃ１−Ｃ４から導出された第１および第２コンポジット・オーディオ信号を生成するための別々の空間位置における、第１および第２空間オーディオ・キャプチャ装置（Ａ１、Ａ２）１５２、１５４の同じ配置を有する別のキャプチャ空間１８０の概略平面図である。コンポジット・オーディオ信号は、要素１０１Ａ、１０１Ｂとして図１に示す複数のマイクロフォンを用いて生成される。音源Ｃ１−Ｃ４の各々は、れぞれの追加のオーディオ・キャプチャデバイス１６２〜１６５を搬送し、それは、クローズアップマイクロフォンであり得る。そのような追加のオーディオ・キャプチャ装置１６２〜１６５の各々は、個々のオーディオ信号を生成する。
【００９２】
このシナリオでは、分離が第２空間オーディオ・キャプチャ装置（Ａ２）１５４に対してのみ成功し、第１空間オーディオ・キャプチャ装置（Ａ１）１５２に対しては成功しないと仮定する。例えば、音源Ｃ４からの個々のオーディオ信号を第１コンポジット・オーディオ信号からうまく分離することができない場合があり得る。その結果、ユーザは、第２空間オーディオ・キャプチャ装置（Ａ２）１５４に最も近いときに６自由度で完全な移動自由度を有することができ、ボリュメトリック・レンダリングされたオーディオを受信し、一方、オーディオは、先に示したように、第１空間オーディオ・キャプチャ装置（Ａ１）１５２に最も近いときに異なるようにレンダリングされることができる。例えば、音源Ｃ１−Ｃ４からのドライオーディオ信号を使用して、ボリュメトリック・オーディオ・レンダリングが可能である。あるいは、第１空間オーディオ・キャプチャ装置（Ｃ１）１５２に関連する領域では３自由度（３Ｄ０Ｆ）再生のみが許可されてもよい。例えば、ヘッド回転のみが支持されてもよい。あるいは、第２空間オーディオ・キャプチャ装置１５４からの室内インパルス応答（ＲＩＲ）および拡散残差を使用して、第１空間オーディオ・キャプチャ装置１５２のＲＩＲおよび拡散残差を置換することによって容積オーディオを生成することができる。ユーザインタフェースは、プロデューサまたはミキサが異なるシナリオのためにどの方法を使用するかを選択することを可能にするために使用され得る。
【００９３】
図５は、図３および図４と同じ構成を有する別のシナリオの概略視覚化１９０である。この例では、図４と同様に、分離は第２空間オーディオ・キャプチャ装置（Ａ２）１５４に対してのみ成功し、第１空間オーディオ・キャプチャ装置（Ａ１）１５２に対しては成功しないと仮定する。第２空間オーディオ・キャプチャ装置（Ａ２）１５４はその周囲に画定された所定領域２００を有し、該領域内の音源Ｃ２〜Ｃ４からの個々のオーディオ信号は、分離が成功するようにテストされる。その結果、ユーザ１９２は、ボリュメトリック・レンダリングされたオーディオを受け取る所定の領域２００内にあるとき、６自由度で完全な移動自由度を有することができる。ボリュメトリック・オーディオ・レンダリングは、例えば、個々のオーディオ信号（ドライ信号として知られている）、ルームインパルス応答（ＲＩＲ）（ウェット信号として知られている）で処理されたドライ信号（コンボリューションを使用して）、分離後のコンポジット・オーディオ信号の拡散アンビエンス残差を使用して、領域２００内でインプリメントすることができる。実行されてもよい。ユーザ１９２が外部ゾーン２０２内にあるとき、オーディオは異なるようにレンダリングされてもよい。この異なるオーディオ・レンダリングでは、上記の例のいずれかを使用できる。ここでは、ユーザが外側ゾーン２０２に移動するときに、３自由度のみが許可されると判定する。例えば、ユーザの観点から、オーディオ（および、提供されている場合にはビデオ・レンダリング）は、第１空間オーディオ・キャプチャ装置（Ａ１）１５２の位置を横断するか、またはテレポートすることができる。これを矢印２０４で示す。この位置から、ユーザ１９２は、頭部回転のみが支持された状態で、第１空間オーディオ・キャプチャ装置（Ａ１）１５２からの第１コンポジット・オーディオ信号に基づくオーディオのみを体験することができる。
【００９４】
いくつかの実施形態では、ユーザインタフェースは、ユーザ・デバイス、例えば、オーディオおよびビデオ出力デバイスを組み込んだバーチャルリアリティ（ＶＲ）デバイスに、それらが、上の図５に示される領域２００、２０２などの異なる領域間の境界にあるか、またはそれらの境界に近づいていることを自動的に示すことができる。ここでは、ユーザインタフェースはビデオ形式で提供されると仮定するが、オーディオおよび／または触覚を用いて表示を提供することもできる。
【００９５】
図６ａ〜図６ｃは、図５の空間内でのユーザ１９２の並進移動の３つの異なる段階を示す。第１空間オーディオ・キャプチャ装置（Ａ１）１５２が成功しなかったと見なされ、第２空間オーディオ・キャプチャ装置（Ａ２）１５４が成功したと見なされるという点で、音響分離成功の同じ判定を仮定する。左側画像２２０Ａ〜２２０Ｃは、ユーザの視野（ＦＯＶ）２２５を有するユーザ１９２の横断を示す。右側の画像２３０Ａ〜２３０Ｃは、各横断位置に対応する、仮想現実（ＶＲ）デバイスに表示されるビデオ・ユーザインタフェースを示す。
【００９６】
最初に図６ａを参照すると、ユーザ１９２は第２空間オーディオ・キャプチャ装置（Ａ２）１５４に関連付けられた領域２００内、例えば、所定の５メートルの領域内にいる。したがって、ボリュームオーディオはバーチャルリアリティ（ＶＲ）装置に出力され、この領域２００内でのユーザのトラバースにしたがってボリュームオーディオが移動するように、６自由度トラバースが許容される。ビデオ・ユーザインタフェース２３０Ａは、音源（Ｃ４）１６５がユーザの視野（ＦＯＶ）２２５内で見えることを示し、上端に向かうインジケータ２５２は、６自由度の横断が許可されることをユーザに伝える。
【００９７】
図６ｂを参照すると、ユーザ１０２は、領域２００の境界エッジに移動している。したがって、ボリュームオーディオは依然としてバーチャルリアリティ（ＶＲ）装置に出力され、６自由度横断は依然として、ボリュームオーディオはこの領域２００内のユーザの横断にしたがって変化するように許容される。すなわち、オーディオはユーザの動きを反映するように変化し、例えば、ユーザがオーディオソースから離れると音源の音量が低下し、ユーザがオーディオソースに向かって移動すると音量が増加し、並進運動または回転運動を反映するように空間内で移動する。さらに、音源のドライ対ウェット比の制御を用いて、音源までの距離をレンダリングしてもよく、ドライ対ウェット比は、ソースに最も近く、またその逆もまた同様である。上記の変更は、ドライ信号とウェット信号を使用して、サウンドオブジェクトのみに適用されることに留意する。拡散周囲は、いくつかの実施形態では、ユーザの位置にかかわらず、そのようにレンダリングされてもよい。しかしながら、頭部の回転は、拡散周囲について考慮されてもよく、その結果、世界座標に関して固定された向きに留まる。しかしながら、ユーザ１０２は領域２００のエッジ、例えばエッジの０．５メートル閾値以内にあり、視野（ＦＯＶ）２２５が外側領域２０２に向けられているので、ビデオ・ユーザインタフェース方向に前方に移動した結果を示す。具体的には、ビデオ・ユーザインタフェース２３０Ｂが、ユーザ１０２が第１空間オーディオ・キャプチャ装置２５４の位置まで直接、すなわちテレポーテーションによって、それらが同じ方向に続く場合に横断することを示す。他の形態の標示が使用されてもよい。このようにして、ユーザ１０２は、６自由度の動きを保持することを望む場合、方向を変更することを選択することができる。
【００９８】
図６ｃを参照すると、ユーザ１０２は領域２００の外側に移動しており、したがって、ビデオ・ユーザインタフェース２３０Ｃは、それらが第１空間オーディオ・キャプチャ装置２５４の位置にジャンプしたことを示す。ユーザの視野（ＦＯＶ）２２５も回転しており、その結果、ユーザは、反対側から音源（Ｃ４）１６５を見ることができる。インジケータ２５２は異なる形態２５６に変化し、これは３自由度のみが今や許可されていることを示し、これは並進運動が仮想空間内で発生せず、現実世界の動きにかかわらず回転運動のみが生じることを意味する。ユーザ１０２は、ビデオ・ユーザインタフェース２３０Ｃの左上の領域に提供されるさらなる標示２６０を選択することによって、または何らかの他の所定のジェスチャによって、６自由度領域２００に戻ることができる。さらなる表示２６０は、ユーザがそれを標示することによって、または制御デバイス上のショートカットボタンを使用することによって、または他の何らかの選択手段によって選択され得る。所定のジェスチャは例えば、ユーザが頭を前方に動かすこと、または同様のことを含むことができる。どちらの選択手段を用いても、ユーザ１０２は容易に他の区域２００に戻ることができる。２つ以上の領域２００、２０２が存在する場合、そのような１つ以上の更なる適応２６０が示され、および／または、２つ以上の異なった所在が検出されて、どの領域に戻されるかを決定することができる。いくつかの実施形態では、最も近い６自由度領域のみを示すことができる。
【００９９】
図７を参照すると、ある実施形態では、グラフィカルユーザインタフェース３００は、オーディオ処理装置１４のオーディオ・レンダリング機能の一部を形成するか、またはそれとは別個のオーディオ・シーン・エディタ・アプリケーションの一部として提供されることができる。オーディオ・シーン・エディタ・アプリケーションは、オーディオ・データ（および提供される場合はビデオ・データ）のディレクタまたはエディタに、取り込み中または取り込み後にオーディオ・シーンを修正することを許可することができる。図示の例では、図５に示すシナリオが示されており、第２空間オーディオ・キャプチャ装置１５４に関連付けられたゾーン２００は、それを大きくすることによって修正することができる。この結果、ユーザ１９２の移動が、拡張されたゾーンによってたまたまカバーされる第１空間オーディオ・キャプチャ装置１５２にユーザが近接しているにもかかわらず、第２空間オーディオ・キャプチャ装置１５４のようにレンダリングされたボリュメトリック・オーディオを受け取る拡大ゾーン２００Ａとなる。これは、６自由度がユーザに利用可能であるより大きな領域を可能にする。例えば、第２空間オーディオ・キャプチャ装置１５４から分離した後の周囲を、第２空間オーディオ・キャプチャ装置から導出された部屋インパルス応答（ＲＩＲ）と共に使用して、すべてのオブジェクト（Ｃ１−Ｃ４）１６２〜１６５がルーム化されてレンダリングされ、ユーザの位置が領域２０２Ａ内で変化することにつれて、前記オブジェクトの位置が変化するようにすることができる。
【０１００】
一部の実施形態においては、領域２００がそれを小さくすることによって修正されることもあれば、より複雑な形状（必ずしも円形または円形ではない）を作ることによって修正されることもある。
【０１０１】
修正は、領域２０２Ａを選択し、かつ領域の左側または右側の端を引きずるディレクタまたはエディタの手段によるものであり得る。選択および／またはドラッグは、マウスまたはトラックボール／トラックパッドなどのユーザ入力装置の手段、および／または、タッチセンシティブディスプレイへの入力／の手段によって受け取ることができる。
【０１０２】
図８は、別の実施形態による、仮想現実（ＶＲ）デバイスに表示されるビデオ・ユーザインタフェース３５０を示す。図５および図６に示す分離成功シナリオは、分離が第２空間オーディオ・キャプチャ装置（Ａ２）１５４に対してのみ成功し、第１空間オーディオ・キャプチャ装置（Ａ１）１５２に対しては成功しないと仮定する点で同じであると仮定する。ビデオ・ユーザインタフェース３５０は、ユーザ１９２がメイン領域２００から外側領域２０２まで横断した状況を示す。
【０１０３】
このシナリオでは、主領域２００と外側領域２０２との間の横断が、図６および図７の実施形態の場合のように、３自由度のみへの切り替えをもたらさない。むしろ、ユーザ１９２は、外側領域２０２に６自由度（６ＤｏＦ）を有することが許されるが、オーディオは適切にレンダリングされる。例えば、ユーザは、第１オーディオ・キャプチャ装置（Ａ１）１５２のコンポジット信号を使用して、正確な周囲でレンダリングされたオーディオを受信することができるが、それにもかかわらず、分離が失敗したために位置精度が低下することがあり得る。図８に示すように、オブジェクト（Ｃ４）１６４の視覚的表現は第１位置にあってもよいが、周囲オーディオは異なる位置１６４Ａにレンダリングされてもよい。
【０１０４】
ビデオ・ユーザインタフェース３５０を備えたユーザ制御３６０は、このプレファレンスとスケールの他の端との間のスライド（または増分）スケールでの調整を許容し、例えば、オーディオのより正確な位置を与えるためにドライオーディオ信号のみを使用することができる。
【０１０５】
図９は、例えば、第１オーディオ・キャプチャ装置（Ａ１）１５２の周囲信号を優先して、ドライオーディオ信号を使用する長所により、ビデオおよびオーディオ・レンダリングの両方が実質的に同じ位置にある、位置精度の好適な位置に向かってセレクタを移動させた結果を示している。
【０１０６】
リアルタイムで、またはビデオおよびオーディオデータをユーザ・デバイスに提供する前に、ユーザによって操作され得る、ユーザコントロール３６０の調整は、周囲精度よりも位置精度の優先順位付けを可能にする。スライディングスケールの使用は、段階的な優先順位付けを可能にする。
【０１０７】
例えば、いくつかの実施形態では、周囲がより低い音量で強調解除されてもよい。不成功に分離されたアンビエンス・オーディオの音量が小さいほど、示されたオーディオ・オブジェクト（Ｃ４）１６４の知覚される到来方向（ＤＯＡ）の変化に対する影響は小さくなる。明確にするために、周囲がうまく分離されない場合、オブジェクトが所望の位置にミックスされるときに、オーディオ・オブジェクトの到着方向の変化を遅くすると仮定することができる。しかしながら、周囲が低音量であるか、またはうまく分離されている場合、サウンドオブジェクトのコンテンツを含まないので、サウンドオブジェクトの空間位置に、たとえあったとしても、ほとんど影響を及ぼさない。
【０１０８】
図１０ａおよび図１０ｂは、上記の実施形態が、第１、第２および第３の空間オーディオ・キャプチャ装置（Ａ１〜Ａ３）１５２、１５４、１５６を備えるように拡張され、第１〜第５の音源（Ｃ１−Ｃ５）１６２〜１６６がキャプチャ空間４００に存在する、さらなる実施形態を示す。前述のように、第１〜第３の空間オーディオ・キャプチャ装置（Ａ１〜Ａ３）１５２、１５４、１５６のそれぞれについて分離が成功した場合、６自由度での完全なボリューム横断が許容され得る。
【０１０９】
しかしながら、図１０ａの例では、第１から第５の音源（Ｃ１−Ｃ５）１６２〜１６６から個々のオーディオ信号を分離することができるという点で、第２空間オーディオ・キャプチャ装置（Ａ２）１５４のみが成功している。第１空間オーディオ・キャプチャ装置（Ａ１）１５２は、第１から第５の音源（Ｃ１−Ｃ５）１６２〜１６６からの個々のオーディオ信号のいずれからの分離に関しても成功しない。第３の空間オーディオ・キャプチャ装置（Ａ３）１５６は、第２、第３および第４の音源（Ｃ２〜Ｃ４）からの個々のオーディオ信号からの分離に関して成功しない。したがって、前の実施形態について上述したのと同じ方法を使用することができる。
【０１１０】
図１０ｂは、別の実施形態による同様のシナリオである。第１〜第５の音源（Ｃ１−Ｃ５）１６２〜１６６のすべてのオーディオ分離が成功しなかったために、第１および第３の空間オーディオ・キャプチャ装置（Ａ１、Ａ３）１５２、１５６は、それらから導出された周囲およびルーム内インパルス応答を使用して６自由度横断を可能にしない。矢印は、第１および第３の空間オーディオ・キャプチャ装置（Ａ１、Ａ３）１５２、１５６の位置への前述のジャンプまたはテレポーテーションがそれら自体の位置から生じ得ること、および、ユーザが第２空間オーディオ・キャプチャ装置（Ａ２）１５４に関連する主領域４０２の境界を横切るかどうかを示す。
【０１１１】
図１１ａおよび図１１ｂは、ユーザがトグルスイッチ４１４を操作して、分離が失敗したために６自由度レンダリングができない１つ以上の領域４０４のオブジェクトレンダリングフォールバック間で切り替えることができる図１０ｂのシナリオを示すグラフィカルユーザインタフェース４００を示す。前記領域４０４は、例えば、シェーディングまたは主領域４０２とは異なる色を使用して、異なる方法で視覚的に示されてもよい。図１１ａにおいて、トグルスイッチ４１４は３自由度フォールバックを選択し、その場合、主領域４０２の外側を横断するユーザは、第１または第３の空間オーディオ・キャプチャ装置（Ａ１、Ａ３）１５２、１５６のいずれかの位置にジャンプする。図１１ｂを参照すると、トグルスイッチ４１４は、６自由度フォールバックを選択し、その場合、主領域４０２の外側を外側領域４０４内に横切るユーザは、第２空間オーディオ・キャプチャ装置（Ａ２）１５４からの室内インパルス応答で処理された周囲信号およびウェット信号を使用することができる。これらは、利用可能にされる。音の質は、外側領域４０４よりも主領域４０２の方が良好であるが、音の分離が成功しなかったにもかかわらず、２つの間にある程度の継ぎ目のない遷移が生じることができる。
【０１１２】
図１ないし図１１を参照して説明した上述の例では、識別された音源が分離されたコンポジット信号が、空間オーディオ・キャプチャ装置１０によって生成される。しかしながら、当然のことながら、本明細書に記載される方法および動作は、複数のオーディオソースから導出される成分を含む任意のオーディオ信号、例えば、２つのスピーカーからの成分を含む追加のオーディオ・キャプチャ装置のうちの１つから導出される信号に関して（例えば、両方のスピーカーがキャプチャ装置に十分に近接しているため）実行されてもよい
【０１１３】
上記の例は、分離されたオーディオ信号の特性の修正を主に参照して説明されてきたが、本明細書で説明される様々な動作がオーディオおよびビジュアル（ＡＶ）コンポーネントの両方を備える信号に適用され得ることが理解されるべきである。
【０１１４】
例えば、空間的再位置決めは、ＡＶ信号の視覚コンポーネントの部分に適用することができる。例えば、オーディオ処理装置１４は分離された音源に対応するビジュアルコンポーネント内のビジュアルオブジェクトを識別し、再配置するように構成することができる。より具体的には、オーディオ処理装置１４が分離された音源に対応するビジュアルオブジェクトをビデオ成分の残りからセグメント化（または分離）し、背景を置換するように構成することができる。オーディオ処理装置１４は分離されたオーディオ信号について決定された空間的再配置パラメータに基づいて、分離されたビジュアルオブジェクトの再配置を可能にするように、続いて構成することができる。
【０１１５】
図１２は、図１〜図１１を参照して説明したオーディオ処理装置１４の構成例を示す概略ブロック図である。
【０１１６】
オーディオ処理装置１４は、オーディオ処理装置１４を参照して上述したような種々の動作を実行するように構成された制御装置５０を有する。
【０１１７】
制御装置５０は、オーディオ処理装置１４の他の構成要素を制御するようにさらに構成することができる。オーディオ処理装置１４はさらに、コンポジット・オーディオ信号を表す信号を受け取ることができるデータ入力インタフェース５１を備えることができる。１つ以上の追加のオーディオ・キャプチャ装置１２Ａ−Ｃから導出された信号も、データ入力インタフェース５１を介して受信することができる。
【０１１８】
データ入力インタフェース５１は、任意の適切なタイプの有線または無線インタフェースとすることができる。空間オーディオ・キャプチャ装置１０によってキャプチャされたビジュアルコンポーネントを表すデータはまた、データ入力インタフェース５１を介して受信されてもよい。オーディオ処理装置１４は、ディスプレイ５３に結合され得るビジュアル出力インタフェース５２をさらに備え得る。制御装置５０は、分離された信号修正パラメータの値を示す情報を、視覚出力インタフェース５２およびディスプレイ５３を介してユーザに提供させることができる。制御装置５０はさらに、図３Ａ、図３Ｂ、および図３Ｃを参照して説明したようなＧＵＩ３０、３２、３４をユーザのために表示させることができる。オーディオ信号に対応するビデオ成分は、ビジュアル出力インタフェース５２およびディスプレイ５３を介して表示することができる。
【０１１９】
オーディオ処理装置１４は、ユーザ入力を装置のユーザによってオーディオ処理装置１４に提供することができるユーザ入力インタフェース５４をさらに備えることができる。
【０１２０】
オーディオ処理装置１４は更に、オーディオ出力インタフェース５５を備え、これを介して、オーディオが、ラウドスピーカ取付けまたはバイナールヘッド追跡ヘッドセット５６を介して、ユーザに提供することができる。例えば、修正されたコンポジット・オーディオ信号は、オーディオ出力インタフェース５５を介してユーザに提供することができる。
【０１２１】
オーディオ処理装置１４は、（ボリュメトリック６ＤｏＦ音声レンダリングを可能にするための）ユーザ位置および向き検出装置を備えることができる。例えば、オーディオ処理装置１４がモバイルデバイスである場合、ユーザ位置および方向検出装置は、マイクロソフト・ホロレンズ（Ｍｉｃｒｏｓｏｆｔ  Ｈｏｌｏｌｅｎｓ）デバイスに見られるような１つ以上のキネクト（Ｋｉｎｅｃｔ）タイプのセンサおよび関連するソフトウェア、または、グーグル・タンゴ（Ｇｏｏｇｌｅ  Ｔａｎｇｏ）デバイスまたは他のエーアールコア（ＡＲＣｏｒｅ）デバイスに見られるような視覚センサおよびソフトウェアなど、モバイルデバイス上で実行される１つ以上のセンサおよびソフトウェアを備えることができる。あるいは、ユーザの位置を決定するためのオーディオ処理装置１４以外のどこかにキネクトセンサ、およびユーザの頭の向きを決定するためにユーザが携帯するヘッドトラッカがあり得る。代替的に、ユーザの身体上のアクティブマーカを、カメラによって追跡することができる。
【０１２２】
上述のオーディオ処理装置１４の構成要素および特徴のいくつかのさらなる詳細、ならびにそれらの代替物を、主に図１２を参照して、ここで説明する。
【０１２３】
制御装置５１は、メモリ５１１と通信可能に結合された処理回路５１０を含んでもよい。メモリ５１１はその上に記憶されたコンピュータ可読命令５１１Ａを有し、これは、処理回路５１０によって実行されると、処理回路５１０に、図１〜図１１を参照して上述した動作のうちの様々な動作の実行を引き起こさせる。制御装置５１は、場合によっては一般的な用語で「装置」と呼ばれることがある。図１〜図１１を参照して説明したオーディオ処理装置１４のいずれかの処理回路５１０は、任意の適切な構成であってもよく、任意の適切なタイプまたはタイプの適切な組み合わせの１つ以上のプロセッサ５１０Ａを含んでもよい。例えば、処理回路５１０は、コンピュータプログラム命令５１１Ａを解釈し、データを処理するプログラマブルプロセッサであり得る。
【０１２４】
処理回路５１０は、複数のプログラマブルプロセッサを含むことができる。あるいは、処理回路５１０は、例えば、組み込みファームウェアを有するプログラマブルハードウェアであり得る。処理回路５１０は、処理手段と呼ぶことができる。処理回路５１０は、代替的にまたは追加的に、１つ以上の特定用途向け集積回路（ＡＳＩＣ）を含むことができる。いくつかの例では、処理回路５１０は、計算装置と呼ぶことができる。
【０１２５】
処理回路５１０は、それぞれのメモリ（または１つ以上の記憶装置）５１１に結合され、メモリ５１１に対してデータを読み書きするように作動可能である。メモリ５１１は、コンピュータ可読命令（またはコード）５１１Ａが格納される単一のメモリユニットまたは複数のメモリユニットを備えることができる。例えば、メモリ５１１は、揮発性メモリ５１１−２と不揮発性メモリ５１１−１の両方を含むことができる。例えば、コンピュータ可読命令５１１Ａは不揮発性メモリ５１１−１に格納することができ、データまたはデータおよび命令を一時的に格納するために揮発性メモリ５０１−２を使用して、処理回路５１０によって実行することができる。揮発性メモリの例としては、ＲＡＭ、ＤＲＡＭ、およびＳＤＲＡＭなどがある。不揮発性メモリの例としては、ＲＯＭ、ＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、光記憶装置、磁気記憶装置などがある。メモリは一般に、一時的でないコンピュータ可読メモリ媒体と呼ばれることがある。
【０１２６】
「メモリ」という用語は不揮発性メモリと揮発性メモリの両方を含むメモリをカバーすることに加えて、１つ以上の揮発性メモリのみ、１つ以上の不揮発性メモリのみ、または１つ以上の不揮発性メモリ、および１つ以上の不揮発性メモリをカバーすることもできる。
【０１２７】
コンピュータ可読命令５１１Ａは、オーディオ処理装置１４に予めプログラムすることができる。あるいは、コンピュータ可読命令５１１Ａが電磁搬送波信号を介して装置１４に到着することができ、または、コンピュータプログラム製品、メモリデバイス、またはＣＤ−ＲＯＭまたはＤＶＤなどの記録媒体などの物理エンティティ５７からコピーすることができる。コンピュータ可読命令５１１Ａは、オーディオ処理装置１４が上述の機能を実行することを可能にするロジックおよびルーチンを提供することができる。メモリ上に記憶されたコンピュータ可読命令の組合せは、コンピュータプログラム製品と呼ぶことができる。
【０１２８】
適用可能な場合、装置１０、１２、１４の無線通信能力は、単一の集積回路によって提供することができる。あるいは、集積回路のセット（すなわち、チップセット）によって提供されてもよい。無線通信能力は代替的に、ハードワイヤードの特定用途向け集積回路（ＡＳＩＣ）であってもよい。
【０１２９】
理解されるように、本明細書で説明される装置１０、１２、１４は、図面に示されていない様々なハードウェア構成要素を含むことができる。例えば、オーディオ処理装置１４はいくつかの実装において、移動電話またはタブレットコンピュータのような携帯型計算装置を含み、したがって、特定のタイプの装置に一般的に含まれるコンポーネントを含むことができる。同様に、オーディオ処理装置１４は、本明細書で説明される主要な原理および概念に関連しない可能性があるため、本明細書では説明しないさらなるオプションのソフトウェアコンポーネントを備えることができる。
【０１３０】
図１３には、オーディオ処理装置１４で実行可能な処理動作を、例えば、ソフトウェア、ハードウェアまたはその組合せによって、前記装置のプロセッサで実行した場合のフロー図が示されている。特定の動作は、省略されてもよく、順番に追加されてもよく、または変更されてもよい。
【０１３１】
第１動作１３．１は第１および第２空間オーディオ・キャプチャ装置から、キャプチャ空間内の１つ以上の音源から導出された成分をそれぞれ含む第１および第２コンポジット・オーディオ信号を受け取ることを含む。
【０１３２】
第２動作１３．２は、第１および第２空間オーディオ・キャプチャ装置の位置にそれぞれ関連付けられた第１および第２領域のうちの１つに対応するユーザ・デバイスの位置を識別することを含む。
【０１３３】
第３の動作１３．３は１つ以上の音源を表すオーディオをユーザ・デバイスにレンダリングすることを含み、レンダリングは、識別された第１または第２領域に関連付けられた空間オーディオ・キャプチャ装置について、１つ以上の音源のそれぞれからの個々のオーディオ信号をそのコンポジット信号からうまく分離することができるかどうかに基づく。
【０１３４】
本明細書に記載する例は、ソフトウェア、ハードウェア、アプリケーション・ロジック、またはソフトウェア、ハードウェアおよびアプリケーション・ロジックの組み合わせで実現してもよい。ソフトウェア、アプリケーション・ロジックおよび／またはハードウェアは、メモリ、または任意のコンピュータ・メディア上に存在することができる。一実施形態ではアプリケーション論理、ソフトウェア、または命令セットは種々の従来のコンピュータ可読媒体のいずれか１つに保持される。本文書の文脈において、「記憶」または「コンピュータ可読媒体」は、コンピュータのような命令実行システム、装置やデバイスによって、またはそれに関連して使用するための命令を含み、保存し、通信し、伝播し、または、搬送することができる任意の媒体または手段であり得る。
【０１３５】
関連する場合、「コンピュータ可読記憶媒体」、「コンピュータプログラム製品」、「明確に具現化されたコンピュータプログラム」など、または「プロセッサ」または「処理回路」などへの言及は、シングル／マルチプロセッサアーキテクチャおよびシーケンサ／並列アーキテクチャなどの異なるアーキテクチャを有するコンピュータだけでなく、フィールドプログラマブルゲートアレイＦＰＧＡ、アプリケーション指定回路ＡＳＩＣ、信号処理デバイス、および他のデバイスなどの特殊化された回路も包含することが理解されるべきである。コンピュータプログラム、命令、コードなどへの言及は、ハードウェア装置のプログラマブルコンテンツなどのプログラマブルプロセッサファームウェアのためのソフトウェアを、プロセッサのための命令として、または固定機能装置、ゲートアレイ、プログラマブル論理装置などのために構成または構成セットとして表現することが理解されるべきである。
【０１３６】
本出願で使用されるように、「回路」という用語は、（ａ）ハードウェアのみの回路実装（アナログおよび／またはデジタル回路のみの実装など）、および（ｂ）回路およびソフトウェア（および／またはファームウェア）の組み合わせ（適用可能なもの）、（ｉ）プロセッサ（複数可）または（ｉｉ）プロセッサ（複数可）／ソフトウェア（デジタル信号プロセッサ（複数可）を含む）の部分、ソフトウェア、およびメモリ（複数可）が協働して、携帯電話またはサーバなどの装置に様々な機能を実行させる）、ならびに（ｃ）ソフトウェアまたはファームウェアが物理的に存在しない場合であっても、動作のためにソフトウェアまたはファームウェアを必要とするマイクロプロセッサ（複数可）またはマイクロプロセッサ（複数可）の部分などの回路のすべてを指す。
【０１３７】
「回路」のこの定義は、任意の特許請求の範囲を含む、本出願におけるこの用語のすべての使用に適用される。さらなる例として、本出願で使用されるように、用語「回路」はまた、単にプロセッサ（または複数のプロセッサ）またはプロセッサの一部、およびそれに付随するソフトウェアおよび／またはファームウェアの実装を包含し、用語「回路」は例えば、特定の請求項要素、携帯電話またはサーバ内の類似の集積回路のためのベースバンド集積回路またはアプリケーションプロセッサ集積回路、セルラーネットワークデバイス、または他のネットワークデバイスに適用可能である場合にも包含する。
【０１３８】
望むならば、本明細書で説明される異なる機能は、異なる順序で、および／または互いに同時に実行されてもよい。さらに、望むならば、上述の機能のうちの１つ以上は、任意であってもよく、または組み合わせられてもよい。
【０１３９】
独立請求項には様々な態様が記載されているが、他の態様は記載された実施形態および／または従属請求項からの特徴と独立請求項の特徴との他の組み合わせを含み、特許請求の範囲に明示的に記載された組み合わせのみを含むものではない。また、本明細書では上記で様々な例を説明したが、これらの説明は限定的な意味で見られるべきではないことに留意する。むしろ、添付の特許請求の範囲に定義される本発明の範囲から逸脱することなくなされ得るいくつかの変形および修正が存在する。
【図１】
2021508197.tif 000005
【図２】
2021508197.tif 000006
【図３】
2021508197.tif 000007
【図４】
2021508197.tif 000008
【図５】
2021508197.tif 000009
【図６】
2021508197.tif 000010
【図７】
2021508197.tif 000011
【図８】
2021508197.tif 000012
【図９】
2021508197.tif 000013
【図１０（ａ）】
2021508197.tif 000014
【図１０（ｂ）】
2021508197.tif 000015
【図１１ａ】
2021508197.tif 000016
【図１１ｂ】
2021508197.tif 000017
【図１２】
2021508197.tif 000018
【図１３】
2021508197.tif 000019
【手続補正書】
【提出日】令和2年8月14日(2020.8.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１空間オーディオ・キャプチャ装置から、キャプチャ空間内の１つ以上の音源から導出された成分を含む第１コンポジット・オーディオ信号を受信するための手段と、
前記第１空間オーディオ・キャプチャ装置に関するユーザ・デバイスの位置を識別するための手段と、
前記第１空間オーディオ・キャプチャ装置の前記位置に関連する第１領域に対応する前記ユーザ・デバイスの前記位置に応答して、１つ以上の音源を表すオーディオをユーザ・デバイスにレンダリングするための手段であって、該レンダリングは、該１つ以上の音源のそれぞれからの個々のオーディオ信号を前記第１コンポジット・オーディオ信号からうまく分離することができるかどうかに依存して、異なるように実行される、手段と、
を備える装置。
【請求項２】
前記オーディオをレンダリングする手段は、前記識別された第１領域に関連付けられた前記第１空間オーディオ・キャプチャ装置の所定のレンジ内の全ての音源からの個々のオーディオ信号が、そのコンポジット・オーディオ信号からうまく分離されることができるかどうかに依存して、レンダリングが異なるように実行されるように構成される、請求項１に記載の装置。
【請求項３】
前記オーディオをレンダリングするための手段は前記分離の成功の尺度を個々のオーディオ信号ごとに計算し、それが所定の成功閾値を満たすかどうかを決定することによって、うまく分離が決定されるように構成される、請求項１または２に記載の装置。
【請求項４】
前記オーディオをレンダリングするための手段は、前記成功の尺度が、コンポジット・オーディオ信号の残りと少なくとも１つの基準オーディオ信号との間の相関関係、前記コンポジット・オーディオ信号の残りに関連する周波数スペクトラムと、リファレンスオーディオ信号に関連する周波数スペクトラムとの間の相関関係、および、コンポジット・オーディオ信号の残りの部分と、前記コンポジット・オーディオ信号に対応するビデオ信号の成分との間の相関関係、のうちの１つ以上を使用して計算されるように構成される、請求項３に記載の装置。
【請求項５】
第２空間オーディオ・キャプチャ装置から、前記キャプチャ空間内の前記１つ以上の音源から導出された成分を含む第２コンポジット・オーディオ信号を受信するための手段と、
前記第２空間オーディオ・キャプチャ装置に関連する前記第１領域または第２領域に対応するものとして前記ユーザ・デバイスの前記位置を識別するための手段と
をさらに含み、
オーディオをレンダリングするための前記手段は、前記１つ以上の音源が前記第１コンポジット・オーディオ信号からうまく分離され得るが、前記第２コンポジット・オーディオ信号からうまく分離され得ない場合に、前記レンダリングが前記第１および第２領域に対して異なるように実行されるように構成される、
請求項１ないし４のいずれか１項に記載の装置。
【請求項６】
前記オーディオをレンダリングするための手段は、前記第１領域内のユーザ・デバイス位置について、前記第１領域内のユーザ・デバイス位置の検出された変化がユーザ・デバイスの動きの効果を生成するために、前記音源のうちの１つ以上のための前記オーディオ信号の位置の変化をもたらすように、ボリュメトリック・オーディオ・レンダリングが実行されるように構成される、請求項５に記載の装置。
【請求項７】
オーディオをレンダリングするための前記手段は、ユーザ・デバイス位置の検出された並進および回転変化が、前記１つ以上の音源に対する前記オーディオ信号の位置の実質的に対応する並進および回転変化をもたらすように構成される、請求項６に記載の装置。
【請求項８】
オーディオをレンダリングする前記手段は、
（ｉ）前記個々のオーディオ信号が除去される前記第１コンポジット・オーディオ信号の修正バージョンと、
（ｉｉ）前記個々のオーディオ信号の各々の修正バージョンと
を含むミックスを使用して前記ボリュメトリック・レンダリングが実行されるように構成される、請求項６または７に記載の装置。
【請求項９】
オーディオをレンダリングするための前記手段は、前記個々のオーディオ信号の修正バージョンが、前記キャプチャ空間のインパルスレスポンスを前記個々のオーディオ信号に適用することによって生成された、前記個々のオーディオ信号のウェットバージョンを含むように構成される、請求項８に記載の装置。
【請求項１０】
オーディオをレンダリングする前記手段は、前記個々のオーディオ信号の前記ウェットバージョンが前記個々のオーディオ信号の乾いたバージョンとさらにミックスされるように構成される、請求項９に記載の装置。
【請求項１１】
オーディオをレンダリングするための前記手段は、前記第２領域内のユーザ・デバイス位置に対して、オーディオ・レンダリングが、
（ｉ）ユーザ・デバイスの位置の回転変化を反映するために、前記音源の位置が変化する、または、
（ｉｉ）前記第１空間オーディオ・キャプチャ装置からの信号に基づいて、ボリュメトリック・オーディオ・レンダリングを使用して、前記音源の位置が変化するように実行される
ように構成される、請求項５ないし１０のいずれか１項に記載の装置。
【請求項１２】
前記ユーザ・デバイスのディスプレイ・スクリーンにレンダリングするための、キャプチャされたビデオコンテンツを表すビデオデータを提供する手段をさらに含み、前記ユーザ・デバイスの位置が前記第１領域または別の領域に対応するかどうかの標示をさらに含む、請求項１ないし１１のいずれか１項に記載の装置。
【請求項１３】
前記ビデオデータを提供する前記手段は、前記ビデオデータが、前記第１領域と前記別の領域との境界に近づいていること、および、前記境界を横切ることからオーディオ・レンダリングにおける変化が生じることの標示を含むように構成される、請求項１２に記載の装置。
【請求項１４】
第１空間オーディオ・キャプチャ装置から、キャプチャ空間内の１つ以上の音源から導出された成分を含む第１コンポジット・オーディオ信号を受信するステップと、
前記１つ以上の音源の各々から導出された個々のオーディオ信号を受信するステップと、
前記第１空間オーディオ・キャプチャ装置に関連するユーザ・デバイスの位置を識別するステップと、
前記第１空間オーディオ・キャプチャ装置の前記位置に関連付けられた第１領域に対応する前記ユーザ・デバイスの前記位置に応答して、前記１つ以上の音源を表すオーディオを前記ユーザ・デバイスにレンダリングするステップであって、前記レンダリングは、前記個々のオーディオ信号を前記第１コンポジット・オーディオ信号からうまく分離することができるかどうかに応じて異なるように実行されるステップと、
を含む方法。
【請求項１５】
コンピューティング装置によって実行されると、該コンピューティング装置に、請求項１４に記載の方法の実行をさせる、コンピュータ可読命令。
【国際調査報告】
2021508197.tif 000020
2021508197.tif 000021
2021508197.tif 000022