(57)【要約】【課題】クロストークキャンセル処理の全体的な知覚される効果を改善すること。【解決手段】第１のスピーカ及び第２のスピーカによって出力される音響信号に対するクロストーク処理の方法であって、プロセッサ回路により、第１のスピーカ及び第２のスピーカに対する１つ又は複数のスピーカパラメータを決定するステップであって、１つ又は複数のスピーカパラメータは、第１のスピーカ及び第２のスピーカの間の聴取角度を含む、ステップと、音響信号にフィルタを適用することであって、フィルタは、１つ又は複数のスピーカパラメータに基づいて決定される設定を含む、ことに基づいて、音響信号に適用されるクロストーク処理のスペクトル欠陥を除去するステップと、音響信号にクロストーク処理を適用するステップと、を含む、方法が提供される。【選択図】図３
2019083570.tif 000002
【特許請求の範囲】
【請求項１】
第１のスピーカ及び第２のスピーカによって出力される音響信号に対するクロストーク処理の方法であって、プロセッサ回路により、
前記第１のスピーカ及び前記第２のスピーカに対する１つ又は複数のスピーカパラメータを決定するステップであって、前記１つ又は複数のスピーカパラメータは、前記第１のスピーカ及び前記第２のスピーカの間の聴取角度を含む、ステップと、
前記音響信号にフィルタを適用することであって、前記フィルタは、前記１つ又は複数のスピーカパラメータに基づいて決定される設定を含む、ことに基づいて、前記音響信号に適用される前記クロストーク処理のスペクトル欠陥を除去するステップと、
前記音響信号に前記クロストーク処理を適用するステップと、
を含む、方法。
【請求項２】
前記音響信号に適用される前記クロストーク処理の前記スペクトル欠陥を除去するステップは、前記１つ又は複数のスピーカパラメータに基づいて決定される利得を前記音響信号に適用することを含む
請求項１に記載の方法。
【請求項３】
前記音響信号に適用される前記クロストーク処理の前記スペクトル欠陥を除去するステップは、前記１つ又は複数のスピーカパラメータに基づいて遅延を前記音響信号に適用することを含む
請求項１に記載の方法。
【請求項４】
前記フィルタの前記設定は、中心周波数、遮断周波数、フィルタ利得、及び品質（Ｑ）因子の少なくとも１つを含む
請求項１に記載の方法。
【請求項５】
前記フィルタを前記音響信号に適用することは、前記フィルタを前記音響信号の中央成分に適用することを含む
請求項１に記載の方法。
【請求項６】
前記音響信号に前記クロストーク処理を適用することは、フィルタ、利得、及び遅延を前記音響信号に適用することを含む
請求項１に記載の方法。
【請求項７】
前記フィルタ、利得、及び遅延は、前記１つ又は複数のスピーカパラメータに基づいて決定される
請求項６に記載の方法。
【請求項８】
前記１つ又は複数のスピーカパラメータは、
前記第１のスピーカとリスナーとの間の第１の距離、
前記第２のスピーカと前記リスナーとの間の距離、及び
前記第１のスピーカ及び前記第２のスピーカの少なくとも１つの出力周波数範囲
のうち少なくとも１つを含む
請求項１に記載の方法。
【請求項９】
プログラムコードを格納するように構成された非一時的なコンピュータ可読媒体であって、前記プログラムコードは、プロセッサによって実行されたときに、前記プロセッサに、
第１のスピーカ及び第２のスピーカに対する１つ又は複数のスピーカパラメータを決定するステップであって、前記１つ又は複数のスピーカパラメータは、前記第１のスピーカ及び前記第２のスピーカの間の聴取角度を含む、ステップを行わせ、
音響信号にフィルタを適用することであって、前記フィルタは、前記１つ又は複数のスピーカパラメータに基づいて決定される設定を含む、ことに基づいて、前記音響信号に適用されるクロストーク処理のスペクトル欠陥を除去するステップを行わせ、
前記音響信号に前記クロストーク処理を適用するステップを行わせる
命令を含む、コンピュータ可読媒体。
【請求項１０】
前記プロセッサに、前記音響信号に適用される前記クロストーク処理の前記スペクトル欠陥を除去するステップを行わせる前記命令は、前記プロセッサに、前記１つ又は複数のスピーカパラメータに基づいて決定される利得を前記音響信号に適用することを行わせる前記命令を含む
請求項９に記載のコンピュータ可読媒体。
【請求項１１】
前記プロセッサに、前記音響信号に適用される前記クロストーク処理の前記スペクトル欠陥を除去するステップを行わせる前記命令は、前記プロセッサに、前記１つ又は複数のスピーカパラメータに基づいて遅延を前記音響信号に適用することを行わせる前記命令を含む
請求項９に記載のコンピュータ可読媒体。
【請求項１２】
前記フィルタの前記設定は、中心周波数、遮断周波数、フィルタ利得、及び品質（Ｑ）因子の少なくとも１つを含む
請求項９に記載のコンピュータ可読媒体。
【請求項１３】
前記プロセッサに、前記フィルタを前記音響信号に適用することを行わせる前記命令は、前記プロセッサに、前記フィルタを前記音響信号の中央成分に適用することを行わせる前記命令を含む
請求項９に記載のコンピュータ可読媒体。
【請求項１４】
前記プロセッサに、前記音響信号に前記クロストーク処理を適用することを行わせる前記命令は、前記プロセッサに、フィルタ、利得、及び遅延を前記音響信号に適用することを行わせる前記命令を含む
請求項９に記載のコンピュータ可読媒体。
【請求項１５】
前記フィルタ、利得、及び遅延は、前記１つ又は複数のスピーカパラメータに基づいて決定される
請求項１４に記載のコンピュータ可読媒体。
【請求項１６】
前記１つ又は複数のスピーカパラメータは、
前記第１のスピーカとリスナーとの間の第１の距離、
前記第２のスピーカと前記リスナーとの間の距離、及び
前記第１のスピーカ及び前記第２のスピーカの少なくとも１つの出力周波数範囲
のうち少なくとも１つを含む
請求項９に記載のコンピュータ可読媒体。
【請求項１７】
第１のスピーカ及び第２のスピーカに対する１つ又は複数のスピーカパラメータを決定するステップであって、前記１つ又は複数のスピーカパラメータは、前記第１のスピーカ及び前記第２のスピーカの間の聴取角度を含む、ステップを行い、
音響信号にフィルタを適用することであって、前記フィルタは、前記１つ又は複数のスピーカパラメータに基づいて決定される設定を含む、ことに基づいて、前記音響信号に適用されるクロストーク処理のスペクトル欠陥を除去するステップを行い、
前記音響信号に前記クロストーク処理を適用するステップを行う
ように構成されるプロセッサ回路を含む、システム。
【請求項１８】
前記プロセッサ回路が、前記音響信号に適用される前記クロストーク処理の前記スペクトル欠陥を除去するステップを行うように構成されることは、前記プロセッサ回路が、前記１つ又は複数のスピーカパラメータに基づいて決定される利得を前記音響信号に適用することを行うように構成されることを含む
請求項１７に記載のシステム。
【請求項１９】
前記プロセッサ回路が、前記音響信号に適用される前記クロストーク処理の前記スペクトル欠陥を除去するステップを行うように構成されることは、前記１つ又は複数のスピーカパラメータに基づいて遅延を前記音響信号に適用することを行うように構成されることを含む
請求項１７に記載のシステム。
【請求項２０】
前記フィルタの前記設定は、中心周波数、遮断周波数、フィルタ利得、及び品質（Ｑ）因子の少なくとも１つを含む
請求項１７に記載のシステム。
【請求項２１】
前記プロセッサ回路が、前記フィルタを前記音響信号に適用することを行うように構成されることは、前記プロセッサ回路が、前記フィルタを前記音響信号の中央成分に適用することを行うように構成されることを含む
請求項１７に記載のシステム。
【請求項２２】
前記プロセッサ回路が、前記音響信号に前記クロストーク処理を適用することを行うように構成されることは、フィルタ、利得、及び遅延を前記音響信号に適用することを行うように構成されることを含む
請求項１７に記載のシステム。
【請求項２３】
前記フィルタ、利得、及び遅延は、前記１つ又は複数のスピーカパラメータに基づいて決定される
請求項２２に記載のシステム。
【請求項２４】
前記１つ又は複数のスピーカパラメータは、
前記第１のスピーカとリスナーとの間の第１の距離、
前記第２のスピーカと前記リスナーとの間の距離、及び
前記第１のスピーカ及び前記第２のスピーカの少なくとも１つの出力周波数範囲
のうち少なくとも１つを含む
請求項１７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の実施形態は、概して、オーディオ信号処理の分野に関し、より詳細にはクロストーク干渉低減及び空間拡張に関する。
【背景技術】
【０００２】
関連出願の相互参照
本出願は、参照によりそれらの全体が本明細書に組み込まれている、２０１６年１月１８日に出願した「Ｓｕｂ−Ｂａｎｄ  Ｓｐａｔｉａｌ  ａｎｄ  Ｃｒｏｓｓ−Ｔａｌｋ  Ｃａｎｃｅｌｌａｔｉｏｎ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  Ａｕｄｉｏ  Ｒｅｐｒｏｄｕｃｔｉｏｎ」という名称の同時係属の米国特許仮出願第６２／２８０，１１９号、及び２０１６年１月２９日に出願した「Ｓｕｂ−Ｂａｎｄ  Ｓｐａｔｉａｌ  ａｎｄ  Ｃｒｏｓｓ−Ｔａｌｋ  Ｃａｎｃｅｌｌａｔｉｏｎ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  Ａｕｄｉｏ  Ｒｅｐｒｏｄｕｃｔｉｏｎ」という名称の同時係属の米国特許仮出願第６２／３８８，３６６号からの優先権を、米国特許法第１１９条（ｅ）の下に主張するものである。
【０００３】
ステレオ音響再生は、音響場の空間特性を包含している信号を符号化すること、及び再生することを必要とする。ステレオ音響は、聴取者が音響場における空間感覚を知覚することを可能にする。
【０００４】
例えば、図１において、固定位置に配置された２つのラウドスピーカ（loudspeakers）１１０Ａ及び１１０Ｂは、ステレオ信号を、聴取者１２０の方へ向けられる音波に変換して、様々な方向から聞こえる音響の印象をもたらす。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
図１に示されたものなど、従来の近接音響場スピーカ機構では、ラウドスピーカ１１０の両方によって生成された音波は、左耳１２５Ｌと右耳１２５Ｒの間のわずかな遅延と、聴取者１２０の頭部によってもたらされたフィルタリングとを伴って、聴取者１２０の左耳１２５Ｌと右耳１２５Ｒの両方で受け取られる。両方のスピーカによって生成された音波がクロストーク干渉をもたらし、これは、聴取者１２０が想像上の音源１６０の知覚された空間位置を決定するのを妨害する可能性がある。
【課題を解決するための手段】
【０００６】
オーディオ処理システムは、スピーカのパラメータと、スピーカに対する聴取者の位置とに基づいて、拡張空間の検知能及びクロストーク干渉の低減を伴う再生のための２つ以上の出力チャネルを適応的に生成する。オーディオ処理システムは、スピーカの物理的境界を超えて与えられるオーディオ信号の拡張音響場の範囲と、拡張音響場の範囲内の音響成分の位置及び強度とを、聴取者が知覚する具合に適応的に制御する複数のオーディオ処理パイプラインに対して、２チャネル入力オーディオ信号を印加する。オーディオ処理パイプラインは、２チャネル入力オーディオ信号（例えば、左チャネルスピーカ向けオーディオ信号及び右チャネルスピーカ向けオーディオ信号）を処理するための音響場拡張処理パイプライン及びクロストークキャンセル処理パイプラインを含む。
【０００７】
一実施形態では、音響場拡張処理パイプラインは、クロストークキャンセル処理を実行する前に、入力オーディオ信号を前処理して空間成分及び非空間成分を抽出する。前処理は、入力オーディオ信号の空間成分及び非空間成分におけるエネルギーの強度及びバランスを調節する。空間成分は、２つのチャネル間の非相関部分（「側方成分」）に対応し、非空間成分は、２つのチャネル間の相関部分（「中央成分」）に対応する。音響場拡張処理パイプラインは、入力オーディオ信号の空間成分及び非空間成分の音質及びスペクトル特性の制御も可能にする。
【０００８】
開示された実施形態の一態様では、音響場拡張処理パイプラインは、入力オーディオ信号の各チャネルを異なる周波数サブバンドに分割して各周波数サブバンドにおける空間成分及び非空間成分を抽出することにより、入力オーディオ信号に対するサブバンド空間拡張を実行する。次いで、音響場拡張処理パイプラインは、各周波数サブバンドにおける空間成分又は非空間成分のうち１つ又は複数のエネルギーを別個に調節し、空間成分及び非空間成分のうち１つ又は複数のスペクトルの特性を調節する。異なる周波数サブバンドに応じて入力オーディオ信号を分割して、各周波数サブバンドについて非空間成分に対する空間成分のエネルギーを調節することにより、サブバンド空間拡張オーディオ信号は、スピーカによって再生されたとき、より良好な空間位置認識を達成する。非空間成分に対して空間成分のエネルギーを調節することは、第１の利得係数によって空間成分を調節すること、第２の利得係数によって非空間成分を調節すること、又は両方によって実現され得る。
【０００９】
開示された実施形態の一態様では、クロストークキャンセル処理パイプラインは、音響場処理パイプラインからのサブバンド空間拡張オーディオ信号出力に対するクロストークキャンセルを実行する。聴取者の頭部の同じ側のスピーカによって出力されて聴取者のその側の耳によって受け取られた信号成分（例えば、１１８Ｌ、１１８Ｒ）は、本明細書では「同側音響成分」（例えば、左耳で受け取られる左チャネル信号成分、及び右耳で受け取られる右チャネル信号成分）と称され、聴取者の頭部の対側（opposite side）のスピーカによって出力された信号成分（例えば、１１２Ｌ、１１２Ｒ）は、本明細書では「対側音響成分」（例えば、右耳で受け取られる左チャネル信号成分、及び左耳で受け取られる右チャネル信号成分）と称される。対側音響成分がクロストーク干渉に寄与して、空間性の知覚を低下させる。クロストークキャンセル処理パイプラインは、対側音響成分を予測して、対側音響成分に寄与する入力オーディオ信号の信号成分を特定する。次いで、クロストークキャンセル処理パイプラインは、サブバンド空間拡張オーディオ信号の他のチャネルに対してチャネルの特定された信号成分の反転したものを加算することにより、サブバンド空間拡張オーディオ信号の各チャネルを修正して、音響を再生するための出力オーディオ信号を生成する。その結果、開示されたシステムは、クロストーク干渉に寄与する対側音響成分を低減して、音響出力の知覚される空間性を改善することができる。
【００１０】
開示された実施形態の一態様では、出力オーディオ信号は、入力オーディオ信号を、音響場拡張処理パイプラインによって適応的に処理し、次に、クロストークキャンセル処理パイプラインによって、聴取者に対するスピーカの位置に関するパラメータに従って処理することにより取得される。スピーカのパラメータの例は、聴取者とスピーカとの間の距離と、２つのスピーカによって聴取者に対して形成される角度とを含む。付加パラメータは、スピーカの周波数応答を含み、パイプライン処理以前に、又はパイプライン処理中にリアルタイムで測定され得る他のパラメータを含むことができる。クロストークキャンセルプロセスは、これらのパラメータを使用して実行される。例えば、クロストークキャンセルに関連する遮断周波数、遅延、及び利得は、スピーカのパラメータの関数として決定され得る。さらに、スピーカのパラメータに関連する、対応するクロストークキャンセルによる何らかのスペクトルの欠陥も推定され得る。その上、推定されたスペクトルの欠陥を補償するための、対応するクロストーク補償は、音響場拡張処理パイプラインによって１つ又は複数のサブバンドに対して実行され得る。
【発明の効果】
【００１１】
それゆえに、サブバンド空間拡張処理及びクロストーク補償などの音響場拡張処理は、後続のクロストークキャンセル処理の全体的な知覚される効果を改善する。その結果、聴取者は、音響がスピーカの位置に相当する空間の特定個所からではなく広い範囲から聴取者に向けられ、それによって聴取者に対してより実体験のように感じるリスニング体験を生成していることを、知覚することができる。
【図面の簡単な説明】
【００１２】
【図１】関連技術のステレオオーディオ再生システムを示す図である。
【図２Ａ】一実施形態による、低減されたクロストーク干渉で拡張音響場を再生するためのオーディオ処理システムの例を示す図である。
【図２Ｂ】一実施形態による、図２Ａに示されたオーディオ処理システムの詳細な実装形態を示す図である。
【図３】一実施形態による、オーディオ信号を処理してクロストーク干渉を低減するための例示の信号処理アルゴリズムを示す図である。
【図４】一実施形態によるサブバンド空間オーディオプロセッサの例示の図である。
【図５】一実施形態によるサブバンド空間拡張を実行するための例示のアルゴリズムを示す図である。
【図６】一実施形態によるクロストーク補償プロセッサの例示の図である。
【図７】一実施形態による、クロストークキャンセルのための補償を実行する例示の方法を示す図である。
【図８】一実施形態によるクロストークキャンセルプロセッサの例示の図である。
【図９】一実施形態による、クロストークキャンセルを実行する例示の方法を示す図である。
【図１０】クロストークキャンセルによるスペクトルのアーチファクトを明示するための例示の周波数応答グラフである。
【図１１】クロストークキャンセルによるスペクトルのアーチファクトを明示するための例示の周波数応答グラフである。
【図１２】クロストーク補償の効果を明示するための例示の周波数応答グラフである。
【図１３】クロストーク補償の効果を明示するための例示の周波数応答グラフである。
【図１４】図８に示された周波数バンド分割器の折点周波数（changing corner frequencies）を変化させる効果を明示するための例示の周波数応答を示す図である。
【図１５】図８に示された周波数バンド分割器の効果を明示するための例示の周波数応答を示す図である。
【図１６】図８に示された周波数バンド分割器の効果を明示するための例示の周波数応答を示す図である。
【発明を実施するための形態】
【００１３】
本明細書で説明される特徴及び利点は全てを包括するものではなく、詳細には、多くの追加の特徴及び利点が、当業者には、図面、明細書、及び特許請求の範囲を考慮すれば明らかになるはずである。その上、本明細書で使用される言語は、主に読みやすさ及び教育の目的のために選択されており、本発明の主題を輪郭づけるか又は限定するために選択されたものではないことに留意されたい。
【００１４】
図及び以下の説明は、解説のためにのみ、好ましい実施形態に関連するものである。以下の議論から、本明細書で開示された構造及び方法の代替的実施形態は、本発明の原理から逸脱することなく採用され得る実現可能な代替形態として容易に認識されるはずであることに留意されたい。
【００１５】
以下、本発明のいくつかの実施形態が詳細に参照され、それらの例が添付の図に示される。図において、実用的な場合はいつでも、同様又は類似の参照番号が使用されることがあり、同様又は類似の機能を指示し得ることが留意される。図は、実施形態を、解説のみのために表すものである。当業者なら、以下の説明から、本明細書で示された構造及び方法の代替的実施形態が、本明細書で説明された原理から逸脱することなく採用され得ることを容易に認識するはずである。
【００１６】
（例示のオーディオ処理システム）
図２Ａは、一実施形態による、低減されたクロストーク干渉で拡張空間場を再生するためのオーディオ処理システム２２０の例を示す。オーディオ処理システム２２０は、２つの入力チャネルＸL、ＸRを含む入力オーディオ信号Ｘを受信する。オーディオ処理システム２２０は、各入力チャネルにおいて、対側の信号成分をもたらすであろう信号成分を予測する。一態様では、オーディオ処理システム２２０は、スピーカのパラメータ２８０L、２８０Rを表す情報を取得し、スピーカのパラメータを表す情報に従って、対側の信号成分をもたらすであろう信号成分を推定する。オーディオ処理システム２２０は、推定された対側の信号成分を各入力チャネルから除去するために、他のチャネルに対して対側の信号成分をもたらすであろう信号成分の反転したものを各チャネルに加算することにより、２つの出力チャネルＯL、ＯRを含む出力オーディオ信号Ｏを生成する。その上、オーディオ処理システム２２０は、出力チャネルＯL、ＯRをラウドスピーカ２８０L、２８０Rなどの出力デバイスに結合してよい。
【００１７】
一実施形態では、オーディオ処理システム２２０は、音響場拡張処理パイプライン２１０、クロストークキャンセル処理パイプライン２７０、及びスピーカ設定検出器２０２を含む。オーディオ処理システム２２０の構成要素は電子回路で実現され得る。例えば、ハードウェア構成要素は、（例えばデジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ）などの専用プロセッサとして）本明細書で開示された特定の動作を実行するように構成された専用回路又は論理回路を含み得る。
【００１８】
スピーカ設定検出器２０２は、スピーカ２８０のパラメータ２０４を決定する。スピーカのパラメータの例は、スピーカの数、聴取者とスピーカの間の距離、２つのスピーカによって聴取者に対して形成される、境界を定められた聴取角度（「スピーカ角度」）、スピーカの出力周波数、遮断周波数、及び、予め定められ得る、若しくはリアルタイムで測定され得る他の量を含む。スピーカ設定検出器２０２は、ユーザ入力又はシステム入力（例えば、ヘッドホンジャック検知イベント）から種類（例えば、電話の内蔵スピーカ、パーソナルコンピュータの内蔵スピーカ、携帯用スピーカ、大型の携帯用ステレオなど）を表す情報を取得して、スピーカ２８０のタイプ又はモデルに従ってスピーカのパラメータを決定してよい。或いは、スピーカ設定検出器２０２は、スピーカ２８０の各々に対して試験信号を出力して、内蔵マイクロフォン（図示せず）を使用してスピーカ出力をサンプリングすることができる。スピーカ設定検出器２０２は、それぞれのサンプリングされた出力から、スピーカ距離及び応答特性を決定することができる。スピーカ角度は、ユーザ（例えば、聴取者１２０又は別の人）によって角度量を選択することにより、又はスピーカタイプに基づいて提供され得る。その代わりに、又はそれに加えて、スピーカ角度は、マイクロフォン信号解析、スピーカの得られた画像のコンピュータビジョン解析（例えば、焦点距離を使用してスピーカ間の距離を推定し、次いでスピーカ間の距離の２分の１の焦点距離に対する比率の逆正接を使用してスピーカ角度の半分を取得する）、システムに組み込まれたジャイロスコープ又は加速度計のデータなど、ユーザ又はシステムによって生成されたセンサデータの、取り込まれて解釈されたものによって決定され得る。音響場拡張処理パイプライン２１０は、入力オーディオ信号Ｘを受信し、入力オーディオ信号Ｘに対して音響場拡張を実行して、チャネルＴL及びＴRを含む予め補償された信号を生成する。音響場拡張処理パイプライン２１０は、サブバンド空間拡張を使用して、また、スピーカ２８０のパラメータ２０４を使用し得て、音響場拡張を実行する。詳細には、音響場拡張処理パイプライン２１０は、適応的に、（ｉ）１つ又は複数の周波数サブバンドについて、入力オーディオ信号Ｘに対するサブバンド空間拡張を実行して、入力オーディオ信号Ｘの空間情報を拡張し、（ｉｉ）スピーカ２８０のパラメータに従ってクロストーク補償を実行して、クロストークキャンセル処理パイプライン２７０による後続のクロストークキャンセルに起因する何らかのスペクトルの欠陥を補償する。音響場拡張処理パイプライン２１０の詳細な実装形態及び動作は、以下の図２Ｂ、図３〜図７を参照しながら提供される。
【００１９】
クロストークキャンセル処理パイプライン２７０は、予め補償された信号Ｔを受信し、予め補償された信号Ｔに対するクロストークキャンセルを実行して、出力信号Ｏを生成する。クロストークキャンセル処理パイプライン２７０は、パラメータ２０４に従ってクロストークキャンセルを適応的に実行してよい。クロストークキャンセル処理パイプライン２７０の詳細な実装形態及び動作は、以下の図３、及び図８〜図９を参照しながら提供される。
【００２０】
一実施形態では、音響場拡張処理パイプライン２１０及びクロストークキャンセル処理パイプライン２７０の設定（例えば、中心周波数又は遮断周波数、品質因子（Ｑ）、利得、遅延など）は、スピーカ２８０のパラメータ２０４に従って決定される。一態様では、音響場拡張処理パイプライン２１０及びクロストークキャンセル処理パイプライン２７０の異なる設定は、１つ又は複数のルックアップテーブルとして記憶されてよく、スピーカパラメータ２０４に従ってアクセスされ得る。スピーカパラメータ２０４に基づく設定は、１つ又は複数のルックアップテーブルによって特定され得て、音響場拡張及びクロストークキャンセルを実行するために適用され得る。
【００２１】
一実施形態では、音響場拡張処理パイプライン２１０の設定は、スピーカパラメータ２０４と音響場拡張処理パイプライン２１０の対応する設定との間の関連性を表す第１のルックアップテーブルによって特定され得る。例えば、スピーカパラメータ２０４が聴取角度（又は範囲）を指定し、スピーカのタイプ（又は周波数応答範囲（例えば、携帯用スピーカについては３５０Ｈｚと１２ｋＨｚ）をさらに指定する場合、音響場拡張処理パイプライン２１０の設定は、第１のルックアップテーブルによって決定され得る。第１のルックアップテーブルは、対応するスペクトルのアーチファクト（artifacts）を補償するために、様々な設定下で（例えば、クロストークキャンセルを実行するための遮断周波数、利得又は遅延を変化させて）クロストークキャンセルのスペクトルのアーチファクトをシミュレートして、音響場拡張の設定を事前に決めることによって生成され得る。その上、スピーカパラメータ２０４は、クロストークキャンセルに従って、音響場拡張処理パイプライン２１０の設定に対してマッピングされ得る。例えば、特定のクロストークキャンセルのスペクトルのアーチファクトを修正するための音響場拡張処理パイプライン２１０の設定は、クロストークキャンセルに関連したスピーカ２８０用の第１のルックアップテーブルに記憶されてよい。
【００２２】
一実施形態では、クロストークキャンセル処理パイプライン２７０の設定は、様々なスピーカパラメータ２０４と、クロストークキャンセル処理パイプライン２７０の対応する設定（例えば、遮断周波数、中心周波数、Ｑ、利得及び遅延）との間の関連性を表す第２のルックアップテーブルによって特定される。例えば、特定タイプのスピーカ２８０（例えば、携帯用スピーカ）が特定の角度に配置されていれば、スピーカ２８０のクロストークキャンセルを実行するためのクロストークキャンセル処理パイプライン２７０の設定は、第２のルックアップテーブルによって決定され得る。第２のルックアップテーブルは、様々なスピーカ２８０の様々な設定（例えば、距離、角度など）下で生成された音響を試験することにより、経験的実験によって生成されてよい。
【００２３】
図２Ｂは、一実施形態による、図２Ａに示されたオーディオ処理システム２２０の詳細な実装形態を示す。一実施形態では、音響場拡張処理パイプライン２１０は、サブバンド空間（ＳＢＳ）オーディオプロセッサ２３０、クロストーク補償プロセッサ２４０、及び合成器２５０を含み、クロストークキャンセル処理パイプライン２７０は、クロストークキャンセル（ＣＴＣ）プロセッサ２６０を含む（この図にはスピーカ設定検出器２０２は示されていない）。いくつかの実施形態では、クロストーク補償プロセッサ２４０及び合成器２５０は、省略されるか又はＳＢＳオーディオプロセッサ２３０に統合されてよい。ＳＢＳオーディオプロセッサ２３０は、左チャネルＹL及び右チャネルＹRなど２つのチャネルを含む空間拡張オーディオ信号Ｙを生成する。
【００２４】
図３は、オーディオ処理システム２２０によって実行されるであろう、オーディオ信号を処理してクロストーク干渉を低減するための、一実施形態による例示の信号処理アルゴリズムを示す。いくつかの実施形態では、オーディオ処理システム２２０は、ステップを並行して実行してよく、ステップを異なる順序で実行してよく、又は異なるステップを実行してもよい。
【００２５】
サブバンド空間オーディオプロセッサ２３０は、３７０で左チャネルＸL及び右チャネルＸRなど２つのチャネルを含む入力オーディオ信号Ｘを受信し、３７２で入力オーディオ信号Ｘに対してサブバンド空間拡張を実行して、左チャネルＹL及び右チャネルＹRなど２つのチャネルを含む空間拡張オーディオ信号Ｙを生成する。一実施形態ではサブバンド空間拡張は、入力オーディオ信号Ｘの各チャネルを異なる入力サブバンド信号Ｘ（ｋ）に分割する分割回路に対して左チャネルＹL及び右チャネルＹRを印加するステップを含む。分割回路は、図４に示された周波数バンド分割器４１０に関連して論じられるような様々な回路トポロジに配置された複数のフィルタを含む。分割回路の出力は、中央成分及び側方成分にマトリクス化される。中央成分及び側方成分に対して利得が適用され、各サブバンドの中央成分と側方成分の間のバランス又は比率を調節する。中央サブバンド成分及び側方サブバンド成分に対して適用されるそれぞれの利得及び遅延は、第１のルックアップテーブル又は関数に従って決定され得る。従って、入力サブバンド信号Ｘ（ｋ）における各空間サブバンド成分Ｘs（ｋ）のエネルギーが、入力サブバンド信号Ｘ（ｋ）における各非空間サブバンド成分Ｘn（ｋ）のエネルギーに対して調節されて、サブバンドｋ向けの拡張空間サブバンド成分Ｙ（ｋ）及び拡張非空間サブバンド成分Ｙn（ｋ）を生成するサブバンド空間オーディオプロセッサ２３０は、拡張サブバンド成分Ｙs（ｋ）、Ｙn（ｋ）に基づいて非マトリクス化演算を実行して、サブバンドｋ向けの空間拡張サブバンドオーディオ信号Ｙ（ｋ）の２つのチャネル（例えば左チャネルＹL（ｋ）及び右チャネルＹR（ｋ））を生成するサブバンド空間オーディオプロセッサは、２つの非マトリクス化されたチャネルに対して空間利得を適用してエネルギーを調節する。さらに、サブバンド空間オーディオプロセッサ２３０は、各チャネルの空間拡張サブバンドオーディオ信号Ｙ（ｋ）を合成して、空間拡張オーディオ信号Ｙの対応するチャネルＹL及びＹRを生成する。周波数分割及びサブバンド空間拡張の詳細は、図４を参照しながら以下で説明される。
【００２６】
クロストーク補償プロセッサ２４０は、３７４でクロストーク補償を実行して、クロストークキャンセルに由来するアーチファクトを補償する。クロストークキャンセルプロセッサ２６０において、遅延して反転された対側音響成分に対してそれらの対応する同側音響成分を加算することに主として由来するこれらのアーチファクトは、最終的に与えられる結果に対して櫛形フィルタに似た周波数応答を導入する。クロストークキャンセルプロセッサ２６０において適用される特定の遅延、増幅、又はフィルタリングに基づいて、サブナイキスト櫛形フィルタのピーク及びトラフ（troughs）の量及び特性（例えば、中心周波数、利得、及びＱ値）が周波数応答において上下にシフトし、スペクトルの特定領域におけるエネルギーの可変の増幅及び／又は減衰をもたらす。クロストーク補償は、クロストークキャンセルプロセッサ２６０によって実行されるクロストークキャンセルに先立って、スピーカ２８０の所与のパラメータに関して、特定の周波数バンドについて入力オーディオ信号Ｘを遅延させるか又は増幅することによる前処理ステップとして実行され得る。一実装形態では、サブバンド空間オーディオプロセッサ２３０によって実行されるサブバンド空間拡張と並行して、入力オーディオ信号Ｘに対してクロストーク補償が実行されてクロストーク補償信号Ｚを生成する。この実装形態では、合成器２５０は、３７６でクロストーク補償信号Ｚに２つのチャネルＹL及びＹRの各々を合成して、２つの予め補償されたチャネルＴL及びＴRを含む予め補償された信号Ｔを生成する。或いは、クロストーク補償は、サブバンド空間拡張の後、クロストークキャンセルの後に順次に実行されるか、又はサブバンド空間拡張に統合される。クロストーク補償の詳細は、図６を参照しながら以下で説明される。
【００２７】
クロストークキャンセルプロセッサ２６０は、３７８でクロストークキャンセルを実行して、出力チャネルＯL及びＯRを生成する。より詳細には、クロストークキャンセルプロセッサ２６０は、合成器２５０から予め補償されたチャネルＴL及びＴRを受信し、予め補償されたチャネルＴL及びＴRに対するクロストークキャンセルを実行して、出力チャネルＯL及びＯRを生成する。チャネル（Ｌ／Ｒ）について、クロストークキャンセルプロセッサ２６０は、予め補償されたチャネルＴ(L/R)による対側音響成分を推定して、スピーカパラメータ２０４に従って対側音響成分に寄与する予め補償されたチャネルＴ(L/R)の部分を特定する。クロストークキャンセルプロセッサ２６０は、予め補償されたチャネルＴ(L/R)の特定された部分の反転したものを他の予め補償されたチャネルＴ(R/L)に加算して、出力チャネルＯ(R/L)を生成する。この設定では、耳１２５(R/L)に到達した出力チャネルＯ(R/L)に従ってスピーカ２８０(R/L)によって出力される同側音響成分の波頭（wavefront）は、他のスピーカ２８０(L/R)による対側音響成分出力の波頭を出力チャネルＯ(L/R)に従ってキャンセルすることができ、それによって出力チャネルＯ(L/R)による対側音響成分を効果的に除去する。或いは、クロストークキャンセルプロセッサ２６０は、サブバンド空間オーディオプロセッサ２３０からの空間拡張オーディオ信号Ｙに対して、又は代わりに入力オーディオ信号Ｘに対して、クロストークキャンセルを実行してよい。クロストークキャンセルの詳細は、図８を参照しながら以下で説明される。
【００２８】
図４は、中央／側方処理手法を採用する、一実施形態によるサブバンド空間オーディオプロセッサ２３０の例示の図を示すサブバンド空間オーディオプロセッサ２３０は、チャネルＸL、ＸRを含む入力オーディオ信号を受信し、入力オーディオ信号に対してサブバンド空間拡張を実行して、チャネルＹL、ＹRを含む空間拡張オーディオ信号を生成する。一実施形態では、サブバンド空間オーディオプロセッサ２３０は、周波数バンド分割器４１０、左側／右側オーディオから中央／側方オーディオへのコンバータ４２０（ｋ）（「Ｌ／Ｒ  Ｔｏ  Ｍ／Ｓコンバータ４２０（ｋ）」）、中央／側方オーディオプロセッサ４３０（ｋ）（「Ｍｉｄ／Ｓｉｄｅプロセッサ４３０」（ｋ）又は「サブバンドプロセッサ４３０」（ｋ））、周波数サブバンドｋのグループ用の中央／側方オーディオから左側／右側オーディオへのコンバータ４４０（ｋ）（「Ｍ／Ｓ  Ｔｏ  Ｌ／Ｒコンバータ４４０（ｋ）」又は「反転コンバータ４４０」（ｋ））、及び周波数バンド合成器４５０を含む。いくつかの実施形態では、図４に示されたサブバンド空間オーディオプロセッサ２３０の構成要素は、異なる順序で配置されてよい。いくつかの実施形態ではサブバンド空間オーディオプロセッサ２３０は、図４に示されたのとは異なる構成要素、追加の構成要素又はより少ない構成要素を含む。
【００２９】
１つの構成では、周波数バンド分割器４１０すなわちフィルタバンクは、直列、並列、又は派生（derived）など、様々な回路トポロジのうち任意のものに配置された複数のフィルタを含む分割回路である。分割回路に含まれる例示のフィルタタイプは、無限インパルス応答（ＩＩＲ）又は有限インパルス応答（ＦＩＲ）のバンドパスフィルタ、ＩＩＲピーキング及びシェルビングフィルタ、Ｌｉｎｋｗｉｔｚ−Ｒｉｌｅｙ、又はオーディオ信号処理技術の当業者に既知の他のフィルタタイプを含む。これらのフィルタは、各周波数サブバンドｋについて、左側入力チャネルＸLを左側サブバンド成分ＸL（ｋ）に分割し、右側入力チャネルＸRを右側サブバンド成分ＸR（ｋ）に分割する。１つの手法では、人間の耳の臨界帯域を近似するために、４つのバンドパスフィルタ、或いは、ローパスフィルタと、バンドパスフィルタと、ハイパスフィルタとの任意の組合せが採用される。臨界帯域は、第２のトーンが既存の第１のトーンをマスクすることができる範囲の帯域幅に対応するものである。例えば、周波数サブバンドの各々が、人間の聴覚の臨界帯域を模倣するように、統合されたバーク尺度に対応してよい。例えば、周波数バンド分割器４１０は、対応する周波数バンドについて、左側入力チャネルＸLを、それぞれ０から３００Ｈｚ、３００から５１０Ｈｚ、５１０から２７００Ｈｚ、及び２７００Ｈｚからナイキスト周波数に対応する４つの左側サブバンド成分ＸL（ｋ）に分割し、同様に、右側入力チャネルＸRを右側サブバンド成分ＸR（ｋ）に分割する。臨界帯域の統合された組を決定するプロセスは、多種多様な音楽ジャンルからのオーディオサンプルのコーパスを使用して、サンプルから、２４のバーク尺度臨界帯域（Bark scale critical bands）にわたって、中央成分と側方成分との長期平均エネルギーの比率を決定するステップを含む。次いで、同様の長期平均比率を伴う連続した周波数バンドがグループ化されて、臨界帯域の組を形成する。他の実装形態では、フィルタは、左側入力チャネル及び右側入力チャネルを、４つよりも少数又は多数のサブバンドに分離する。周波数バンドの範囲は調節可能でよい。周波数バンド分割器４１０は、左側サブバンド成分ＸL（ｋ）と右側サブバンド成分ＸR（ｋ）の対を、対応するＬ／Ｒ  Ｔｏ  Ｍ／Ｓコンバータ４２０（ｋ）に出力する。
【００３０】
各周波数サブバンドｋにおけるＬ／Ｒ  Ｔｏ  Ｍ／Ｓコンバータ４２０（ｋ）、中央／側方プロセッサ４３０（ｋ）、及びＭ／Ｓ  Ｔｏ  Ｌ／Ｒコンバータ４４０（ｋ）は、一緒に動作して、空間サブバンド成分Ｘs（ｋ）（「側方サブバンド成分」とも称される）を、そのそれぞれの周波数サブバンドｋにおける非空間サブバンド成分Ｘn（ｋ）（「中央サブバンド成分」とも称される）に対して拡張する。具体的には、それぞれのＬ／Ｒ  Ｔｏ  Ｍ／Ｓコンバータ４２０（ｋ）は、所与の周波数サブバンドｋについて、サブバンド成分ＸL（ｋ）とＸR（ｋ）の対を受信し、これらの入力を中央サブバンド成分及び側方サブバンド成分に変換する。一実施形態では、非空間サブバンド成分Ｘn（ｋ）は、左側サブバンド成分ＸL（ｋ）と右側サブバンド成分ＸR（ｋ）の間の相関部分に対応し、故に非空間情報を含む。その上、空間サブバンド成分Ｘs（ｋ）は、左側サブバンド成分ＸL（ｋ）と右側サブバンド成分ＸR（ｋ）との間の非相関部分に対応し、故に空間情報を含む。非空間サブバンド成分Ｘn（ｋ）は、左側サブバンド成分ＸL（ｋ）と右側サブバンド成分ＸR（ｋ）の和として計算されてよく、空間サブバンド成分Ｘs（ｋ）は、左側サブバンド成分ＸL（ｋ）と右側サブバンド成分ＸR（ｋ）との間の差として計算されてよい。一例では、Ｌ／Ｒ  Ｔｏ  Ｍ／Ｓコンバータ４２０は、周波数バンドの空間サブバンド成分Ｘs（ｋ）及び非空間サブバンド成分Ｘn（ｋ）を以下の式に従って取得する。
サブバンドｋについて、Ｘs（ｋ）＝ＸL（ｋ）−ＸR（ｋ）  …式（１）
サブバンドｋについて、Ｘn（ｋ）＝ＸL（ｋ）＋ＸR（ｋ）  …式（２）
【００３１】
それぞれの中央／側方プロセッサ４３０（ｋ）は、サブバンドｋについて、受信した空間サブバンド成分Ｘs（ｋ）を、受信した非空間サブバンド成分Ｘn（ｋ）に対して拡張して、拡張空間サブバンド成分Ｙs（ｋ）及び拡張非空間サブバンド成分Ｙn（ｋ）を生成する。一実施形態では、中央／側方プロセッサ４３０（ｋ）は、非空間サブバンド成分Ｘn（ｋ）を対応する利得係数Ｇn（ｋ）だけ調節し、増幅された非空間サブバンド成分Ｇn（ｋ）＊Ｘn（ｋ）を対応する遅延関数Ｄ［］によって遅延させて、拡張非空間サブバンド成分Ｙn（ｋ）を生成する。同様に、中央／側方プロセッサ４３０（ｋ）は、受信した空間サブバンド成分Ｘs（ｋ）を対応する利得係数Ｇs（ｋ）だけ調節し、増幅された空間サブバンド成分Ｇs（ｋ）＊Ｘs（ｋ）を対応する遅延関数Ｄによって遅延させて、拡張空間サブバンド成分Ｙ（ｋ）を生成する。利得係数及び遅延量は調節可能であり得る。利得係数及び遅延量は、スピーカパラメータ２０４に従って決定されてよく、又はパラメータ値の想定される組用に固定されてよい。それぞれの中央／側方プロセッサ４３０（ｋ）は、非空間サブバンド成分Ｘn（ｋ）及び空間サブバンド成分Ｘs（ｋ）を、対応するそれぞれの周波数サブバンドｋのＭ／Ｓ  Ｔｏ  Ｌ／Ｒコンバータ４４０（ｋ）に出力する。周波数サブバンドｋの中央／側方プロセッサ４３０（ｋ）は、拡張非空間サブバンド成分Ｙn（ｋ）及び拡張空間サブバンド成分Ｙs（ｋ）を以下の式に従って生成する。
サブバンドｋについて、Ｙn（ｋ）＝Ｇn（ｋ）＊Ｄ［Ｘn（ｋ），ｋ］  …式（３）
サブバンドｋについて、Ｙs（ｋ）＝Ｇs（ｋ）＊Ｄ［Ｘs（ｋ），ｋ］  …式（４）
利得係数及び遅延係数の例は、次の表１に列挙される。
【００３２】
【表１】
2019083570.tif 000003
【００３３】
それぞれのＭ／Ｓ  Ｔｏ  Ｌ／Ｒコンバータ４４０（ｋ）は、拡張非空間成分Ｙn（ｋ）及び拡張空間成分Ｙs（ｋ）を受信して、それらを拡張左側サブバンド成分ＹL（ｋ）及び拡張右側サブバンド成分ＹR（ｋ）に変換する。Ｌ／Ｒ  Ｔｏ  Ｍ／Ｓコンバータ４２０（ｋ）が上記の式（１）及び式（２）に従って非空間サブバンド成分Ｘn（ｋ）及び空間サブバンド成分Ｘs（ｋ）を生成すると想定して、Ｍ／Ｓ  Ｔｏ  Ｌ／Ｒコンバータ４４０（ｋ）は、周波数サブバンドｋの拡張左側サブバンド成分ＹL（ｋ）及び拡張右側サブバンド成分ＹR（ｋ）を以下の式に従って生成する。
サブバンドｋについて、ＹL（ｋ）＝（Ｙn（ｋ）＋Ｙs（ｋ））／２  …式（５）
サブバンドｋについて、ＹR（ｋ）＝（Ｙn（ｋ）−Ｙs（ｋ））／２  …式（６）
【００３４】
一実施形態では、式（１）及び式（２）におけるＸL（ｋ）とＸR（ｋ）は交換されてよく、その場合、式（５）及び式（６）におけるＹL（ｋ）とＹR（ｋ）も同様に交換される。
【００３５】
周波数バンド合成器４５０は、以下の式に従って、Ｍ／Ｓ  Ｔｏ  Ｌ／Ｒコンバータ４４０からの異なる周波数バンドにおける拡張左側サブバンド成分を合成して空間拡張左側オーディオチャネルＹLを生成し、Ｍ／Ｓ  Ｔｏ  Ｌ／Ｒコンバータ４４０からの異なる周波数バンドにおける拡張右側サブバンド成分を合成して空間拡張右側オーディオチャネルＹRを生成する。
ＹL＝ΣＹL（ｋ）  …式（７）
ＹR＝ΣＹR（ｋ）  …式（８）
【００３６】
図４の実施形態では入力チャネルＸL、ＸRは４つの周波数サブバンドに分割されているが、他の実施形態では、入力チャネルＸL、ＸRは、上記で説明されたように、別の数の周波数サブバンドに分割され得る。
【００３７】
図５は、一実施形態によりサブバンド空間オーディオプロセッサ２３０によって実行されるであろうサブバンド空間拡張を実行するための例示のアルゴリズムを示す。いくつかの実施形態ではサブバンド空間オーディオプロセッサ２３０は、ステップを並行して実行してよく、ステップを異なる順序で実行してよく、又は異なるステップを実行してもよい。
【００３８】
サブバンド空間オーディオプロセッサ２３０は、入力チャネルＸL、ＸRを含む入力信号を受信する。サブバンド空間オーディオプロセッサ２３０は、５１０で、ｋ個（例えば、ｋ＝４）の周波数サブバンドに従って、入力チャネルＸLを、サブバンド成分ＸL（ｋ）、例えば、ＸL（１）、ＸL（２）、ＸL（３）、ＸL（４）に分割し、入力チャネルＸRを、サブバンド成分ＸR（ｋ）、例えば、ＸR（１）、ＸR（２）、ＸR（３）、ＸR（４）に分割し、例えば、サブバンドは、それぞれ０から３００Ｈｚ、３００から５１０Ｈｚ、５１０から２７００Ｈｚ、及び２７００Ｈｚからナイキスト周波数をＸL包含する。
【００３９】
サブバンド空間オーディオプロセッサ２３０は、各周波数サブバンドｋについて、サブバンド成分に対するサブバンド空間拡張を実行する。具体的にはサブバンド空間オーディオプロセッサ２３０は、５１５で、それぞれのサブバンドｋについて、例えば、上記の式（１）及び式（２）に従って、空間サブバンド成分Ｘs（ｋ）及び非空間サブバンド成分Ｘn（ｋ）に基づいてサブバンド成分ＸL（ｋ）、ＸR（ｋ）を生成する。加えてサブバンド空間オーディオプロセッサ２３０は、５２０で、サブバンドｋについて、例えば、上記の式（３）及び式（４）に従って、空間サブバンド成分Ｘs（ｋ）及び非空間サブバンド成分Ｘn（ｋ）に基づいて、拡張空間成分Ｙs（ｋ）及び拡張非空間成分Ｙn（ｋ）を生成する。その上、サブバンド空間オーディオプロセッサ２３０は、５２５で、サブバンドｋについて、例えば、上記の式（５）及び式（６）に従って、拡張空間成分Ｙs（ｋ）及び拡張非空間成分Ｙn（ｋ）に基づいて、拡張サブバンド成分ＹL（ｋ）、ＹR（ｋ）を生成する。
【００４０】
サブバンド空間オーディオプロセッサ２３０は、５３０で、全ての拡張サブバンド成分ＹL（ｋ）を合成することにより、空間拡張チャネルＹLを生成し、全ての拡張サブバンド成分ＹR（ｋ）を合成することにより、空間拡張チャネルＹRを生成する。
【００４１】
図６は、一実施形態によるクロストーク補償プロセッサ２４０の例示の図を示す。クロストーク補償プロセッサ２４０は、入力チャネルＸL及びＸRを受信し、クロストークキャンセルプロセッサ２６０によって実行される後続のクロストークキャンセルにおける何らかのアーチファクトを予め補償するための前処理を実行する。一実施形態では、クロストーク補償プロセッサ２４０は、左側信号及び右側信号の合成器６１０（「Ｌ＆Ｒ合成器６１０」とも称される）、及び非空間成分プロセッサ６２０を含む。
【００４２】
Ｌ＆Ｒ合成器６１０は、左側入力オーディオチンネルＸL及び右側入力オーディオチャネルＸRを受信して、入力チャネルＸL、ＸRの非空間成分Ｘnを生成する。開示された実施形態の一態様では、非空間成分Ｘnは、左側入力チャネルＸLと右側入力チャネルＸRとの間の相関部分に対応する。Ｌ＆Ｒ合成器６１０は、左側入力チャネルＸLと右側入力チャネルＸRとを加算して、次式で示されるように入力オーディオチャネルＸL、ＸRの非空間成分Ｘnに対応する相関部分を生成してよい。
Ｘn＝ＸL＋ＸR  …式（９）
【００４３】
非空間成分プロセッサ６２０は、非空間成分Ｘnを受信し、非空間成分Ｘnに対して非空間拡張を実行してクロストーク補償信号Ｚを生成する。開示された実施形態の一態様では、非空間成分プロセッサ６２０は、入力チャネルＸL、ＸRの非空間成分Ｘnに対する前処理を実行して、後続のクロストークキャンセルにおける何らかのアーチファクトを補償する。後続のクロストークキャンセルの非空間信号成分の周波数応答グラフは、シミュレーションによって取得され得る。加えて、周波数応答グラフを解析することにより、クロストークキャンセルのアーチファクトとして生じる、周波数応答グラフにおいて所定の閾値（例えば、１０ｄＢ）を上回るピーク又はトラフなどの何らかのスペクトルの欠陥が推定され得る。クロストークキャンセルプロセッサ２６０において、遅延して反転された対側の信号に対してそれらの対応する同側の信号を加算することに主として由来するこれらのアーチファクトは、それによって、最終的に与えられる結果に対して櫛形フィルタに似た周波数応答を効果的に導入する。クロストーク補償信号Ｚは、推定されたピーク又はトラフを補償するために非空間成分プロセッサ６２０によって生成され得る。具体的には、クロストークキャンセルプロセッサ２６０において適用される特定の遅延、フィルタリング周波数、及び利得に基づいて、ピーク及びトラフは周波数応答において上下にシフトし、スペクトルの特定領域においてエネルギーの可変の増幅及び／又は減衰をもたらす。
【００４４】
一実装形態では、非空間成分プロセッサ６２０は、クロストークキャンセルの推定されるスペクトルの欠陥を補償するために、クロストーク補償信号Ｚを生成するための増幅器６６０、フィルタ６７０及び遅延器６８０を含む。１つの例示的実装形態では、増幅器６６０は、非空間成分Ｘnを利得係数Ｇnだけ増幅し、フィルタ６７０は、増幅された非空間成分Ｇn＊Ｘnに対して２次のピーキングＥＱフィルタＦ［］を実行する。フィルタ６７０の出力は、遅延器６８０により、遅延機能Ｄによって遅延され得る。フィルタ、増幅器、及び遅延器は、任意の順番でカスケードに配置されてよい。フィルタ、増幅器、及び遅延器は、調節可能な構成（例えば、中心周波数、遮断周波数、利得係数、遅延量など）を伴って実施されてよい。一例では、非空間成分プロセッサ６２０は次式に従ってクロストーク補償信号Ｚを生成する。
Ｚ＝Ｄ［Ｆ［Ｇn＊Ｘn］］  …式（１０）
上記の図２Ａを参照しながら上記で説明されたように、クロストークキャンセルを補償する構成は、例えば第１のルックアップテーブルとして以下の表２及び表３に従って、スピーカパラメータ２０４によって決定され得る。
【００４５】
【表２】
2019083570.tif 000004
【００４６】
【表３】
2019083570.tif 000005
【００４７】
一例では、スピーカの特定タイプ（小さい／携帯用のスピーカ又は大きなスピーカ）について、フィルタ６７０のフィルタ中心周波数、フィルタ利得及び品質因子は、２つのスピーカ２８０の間で聴取者に対して形成された角度に従って決定され得る。いくつかの実施形態では、スピーカ角度の間の値が、他の値を補間するために使用される。
【００４８】
いくつかの実施形態では、非空間成分プロセッサ６２０はサブバンド空間オーディオプロセッサ２３０（例えば、中央／側方プロセッサ４３０）に統合されてよく、１つ又は複数の周波数サブバンドについて、後続のクロストークキャンセルのスペクトルのアーチファクトを補償する。
【００４９】
図７は、一実施形態による、クロストーク補償プロセッサ２４０によって実行されるであろうクロストークキャンセルのための補償を実行する例示の方法を示す。いくつかの実施形態では、クロストーク補償プロセッサ２４０は、ステップを並行して実行してよく、ステップを異なる順序で実行してよく、又は異なるステップを実行してもよい。
【００５０】
クロストーク補償プロセッサ２４０は、入力チャネルＸL及びＸRを含む入力オーディオ信号を受信する。クロストーク補償プロセッサ２４０は、７１０で、例えば、上記の式（９）に従って、入力チャネルＸLとＸRとの間の非空間成分Ｘnを生成する。
【００５１】
クロストーク補償プロセッサ２４０は、７２０で、上記の図６を参照しながら上記で説明されたように、クロストーク補償を実行するための設定（例えば、フィルタパラメータ）を決定する。クロストーク補償プロセッサ２４０は、７３０で、クロストーク補償信号Ｚを生成して、入力信号ＸL及びＸRに適用される後続のクロストークキャンセルの周波数応答において推定されるスペクトルの欠陥を補償する。
【００５２】
図８は、一実施形態によるクロストークキャンセルプロセッサ２６０の例示の図を示す。クロストークキャンセルプロセッサ２６０は、入力チャネルＴL、ＴRを含む入力オーディオ信号Ｔを受信し、チャネルＴL、ＴRに対するクロストークキャンセルを実行して、出力チャネルＯL、ＯR（例えば、左チャネル及び右チャネル）を含む出力オーディオ信号Ｏを生成する。入力オーディオ信号Ｔは、図２Ｂの合成器２５０から出力されてよい。或いは、入力オーディオ信号Ｔは、サブバンド空間オーディオプロセッサ２３０からの空間拡張オーディオ信号Ｙでよい。一実施形態では、クロストークキャンセルプロセッサ２６０は、周波数バンド分割器８１０、インバータ８２０Ａ、８２０Ｂ、対側推定器８２５Ａ、８２５Ｂ、及び周波数バンド合成器８４０を含む。１つの手法では、これらの構成要素は一緒に動作して、入力チャネルＴL、ＴRをバンド内成分とバンド外成分に分割し、バンド内成分に対してクロストークキャンセルを実行して出力チャネルＯL、ＯRを生成する。
【００５３】
入力オーディオ信号Ｔを別々の周波数バンド成分に分割して、選択的成分（例えば、バンド内成分）に対してクロストークキャンセルを実行することにより、他の周波数バンドにおける劣化を回避しながら特定の周波数バンドに対してクロストークキャンセルが実行され得る。入力オーディオ信号Ｔを別々の周波数バンドに分割せずにクロストークキャンセルが実行されると、そのようなクロストークキャンセルの後のオーディオ信号は、低周波数（例えば３５０Ｈｚ未満）、高周波数（例えば１２０００Ｈｚ超）、又は両方の、非空間成分及び空間成分における、著しい減衰又は増幅を示す可能性がある。影響力の強い空間キュー（spatial cues）の大部分が存在するバンド内（例えば、２５０Ｈｚと１４０００Ｈｚの間）に対してクロストークキャンセルを選択的に実行することにより、バランスのとれた全体的なエネルギーが、特に非空間成分において混合のスペクトルにわたって保持され得る。
【００５４】
１つの構成では、周波数バンド分割器８１０すなわちフィルタバンクは、入力チャネルＴL、ＴRを、それぞれバンド内チャネルＴL,In、ＴR,Inとバンド外チャネルＴL,Out、ＴR,Outとに分割する。詳細には、周波数バンド分割器８１０は、左側入力チャネルＴLを、左側バンド内チャネルＴL,Inと左側バンド外チャネルＴL,Outとに分割する。同様に、周波数バンド分割器８１０は、右側入力チャネルＴRを、右側バンド内チャネルＴR,Inと右側バンド外チャネルＴR,Outとに分割する。それぞれのバンド内チャネルは、例えば２５０Ｈｚから１４ｋＨｚを含む周波数範囲に対応するそれぞれの入力チャネルの部分を包含し得る。周波数バンドの範囲は、例えば、スピーカパラメータ２０４に従って調節可能であり得る。
【００５５】
インバータ８２０Ａ及び対側推定器８２５Ａは、左側バンド内チャネルＴL,Inによる対側音響成分を補償するために、一緒に動作して対側のキャンセル成分ＳLを生成する。同様に、インバータ８２０Ｂ及び対側推定器８２５Ｂは、右側バンド内チャネルＴR,Inによる対側音響成分を補償するために、一緒に動作して対側のキャンセル成分ＳRを生成する。
【００５６】
１つの手法では、インバータ８２０Ａは、バンド内チャネルＴL,Inを受信し、受信されたバンド内チャネルＴL,Inの極性を反転して、反転したバンド内チャネルＴL,In’を生成する。対側推定器８２５Ａは、反転したバンド内チャネルを受信してフィルタリングすることにより、対側音響成分に対応する、反転したバンド内チャネルＴL,In’の部分を抽出する。反転したバンド内チャネルに対してフィルタリングが実行されるため、対側推定器８２５Ａによって抽出される部分は、対側音響成分に起因するバンド内チャネルＴL,Inの部分を反転したものになる。それゆえに、対側推定器８２５Ａによって抽出される部分は対側のキャンセル成分ＳLになり、これが対応部分のバンド内チャネルＴR,Inに加算され得て、バンド内チャネルＴL,Inによる対側音響成分を低減する。いくつかの実施形態では、インバータ８２０Ａ及び対側推定器８２５Ａは異なるシーケンスにおいて実装される。
【００５７】
インバータ８２０Ｂ及び対側推定器８２５Ｂは、バンド内チャネルＴR,Inに対して同様の動作を実行して、対側のキャンセル成分ＳRを生成する。従って、その詳細な説明は、本明細書では簡潔さのために省略される。
【００５８】
１つの例示的実装形態では、対側推定器８２５Ａは、フィルタ８５２Ａ、増幅器８５４Ａ、及び遅延器８５６Ａを含む。フィルタ８５２Ａは、反転した入力チャネルＴL,In’を受信し、フィルタリング関数Ｆによって、対側音響成分に対応する、反転したバンド内チャネルＴL,In’の部分を抽出する。例示のフィルタ実装形態は、５０００Ｈｚと１００００Ｈｚの間で選択された中心周波数及び０．５と１．０との間で選択されたＱ値を有するノッチフィルタ又はハイシェルフフィルタ（Highshelf filter）である。デシベルで表された利得（ＧdB）は次式から導出され得る。
ＧdB＝−３．０−ｌｏｇ1.333（Ｄ）  …式（１１）
ここで、Ｄは、例えば４８ｋＨｚのサンプリングレートにおける遅延器８５６Ａ／Ｂによるサンプルの遅延量である。代替的実装形態は、５０００Ｈｚと１００００Ｈｚとの間で選択された折点周波数及び０．５と１．０との間で選択されたＱ値を有するローパスフィルタである。その上、増幅器８５４Ａが、抽出された部分を、対応する利得係数ＧL,Inだけ増幅し、遅延器８５６Ａが増幅器８５４Ａからの増幅出力を遅延関数Ｄに従って遅延させて、対側のキャンセル成分ＳLを生成する。対側推定器８２５Ｂが、反転したバンド内チャネルＴR,In’に対して同様の動作を実行して、対側のキャンセル成分ＳRを生成する。一例では、対側推定器８２５Ａ、８２５Ｂは、以下の式に従って対側のキャンセル成分ＳL、ＳRを生成する。
ＳL＝Ｄ［ＧL,In＊Ｆ［ＴL,In’］］  …式（１２）
ＳR＝Ｄ［ＧL,In＊Ｆ［ＴR,In’］］  …式（１３）
上記の図２Ａを参照しながら上記で説明されたように、クロストークキャンセルの構成は、例えば第２のルックアップテーブルとして以下の表４に従って、スピーカパラメータ２０４によって決定され得る。
【００５９】
【表４】
2019083570.tif 000006
【００６０】
一例では、フィルタ中心周波数、遅延量、増幅器利得、及びフィルタ利得は、２つのスピーカ２８０の間で聴取者に対して形成された角度に従って決定され得る。いくつかの実施形態では、スピーカ角度の間の値が、他の値を補間するために使用される。
【００６１】
合成器８３０Ａが対側のキャンセル成分ＳRを左側バンド内チャネルＴL,Inと合成して左側バンド内の補償されたチャネルＣLを生成し、合成器８３０Ｂが対側のキャンセル成分ＳLを右側バンド内チャネルＴR,Inと合成して右側バンド内の補償されたチャネルＣRを生成する。周波数バンド合成器８４０が、バンド内の補償されたチャネルＣL、ＣRを、それぞれバンド外チャネルＴL,Out、ＴR,Outと合成して、オーディオチャネルＯL、ＯRを生成する。
【００６２】
それゆえに、出力オーディオチャネルＯLは、対側の音響に起因するバンド内チャネルＴR,Inの部分の反転したものに対応する対側のキャンセル成分ＳRを含み、出力オーディオチャネルＯRは、対側の音響に起因するバンド内チャネルＴL,Inの部分の反転したものに対応する対側のキャンセル成分ＳLを含む。この構成では、右耳に到達した出力チャネルＯRに従ってスピーカ２８０Rによって出力された同側音響成分の波頭は、出力チャネルＯLに従ってスピーカ２８０Lによって出力された対側音響成分の波頭をキャンセルすることができる。同様に、左耳に到達した出力チャネルＯLに従ってスピーカ２８０Lによって出力された同側音響成分の波頭は、出力チャネルＯRに従ってスピーカ２８０Rによって出力された対側音響成分の波頭をキャンセルすることができる。従って、空間検知能を強化するために、対側音響成分が低減され得る。
【００６３】
図９は、一実施形態による、クロストークキャンセルプロセッサ２６０によって実行されるであろうクロストークキャンセルを実行する例示の方法を示す。いくつかの実施形態では、クロストークキャンセルプロセッサ２６０は、ステップを並行して実行してよく、ステップを異なる順序で実行してよく、又は異なるステップを実行してもよい。
【００６４】
クロストークキャンセルプロセッサ２６０は、入力チャネルＴL、ＴRを含む入力信号を受信する。入力信号は合成器２５０からの出力ＴL、ＴRでよい。クロストークキャンセルプロセッサ２６０は、９１０で、入力チャネルＴLをバンド内チャネルＴL,Inとバンド外チャネルＴL,Outに分割する。同様に、クロストークキャンセルプロセッサ２６０は、９１５で、入力チャネルＴRをバンド内チャネルＴR,Inとバンド外チャネルＴR,Outに分割する。入力チャネルＴL、ＴRは、上記の図８を参照しながら上記で説明されたように、周波数バンド分割器８１０によってバンド内チャネルとバンド外チャネルとに分割され得る。
【００６５】
クロストークキャンセルプロセッサ２６０は、９２５で、表４及び上記の式（１２）に従って、例えば対側音響成分に寄与するバンド内チャネルＴL,Inの部分に基づいて、クロストークキャンセル成分ＳLを生成する。同様に、クロストークキャンセルプロセッサ２６０は、９３５で、表４及び式（１３）に従って、例えば、対側音響成分に寄与するバンド内チャネルＴR,Inの特定された部分に基づいて、クロストークキャンセル成分ＳRを生成する。
【００６６】
クロストークキャンセルプロセッサ２６０は、９４０で、バンド内チャネルＴL,Inと、クロストークキャンセル成分ＳRと、バンド外チャネルＴL,Outとを合成することにより、出力オーディオチャネルＯLを生成する。同様に、クロストークキャンセルプロセッサ２６０は、９４５で、バンド内チャネルＴR,Inと、クロストークキャンセル成分ＳLと、バンド外チャネルＴR,Outとを合成することにより、出力オーディオチャネルＯRを生成する。
【００６７】
出力チャネルＯL、ＯRは、それぞれのスピーカに提供され得て、低減されたクロストーク及び改善された空間検知能を伴ってステレオ音を再生する。
【００６８】
図１０及び図１１は、クロストークキャンセルによるスペクトルのアーチファクトを明示するための例示の周波数応答グラフを示す。一態様では、クロストークキャンセルの周波数応答は、櫛形フィルタアーチファクトを示す。これらの櫛形フィルタアーチファクトは、信号の空間成分と非空間成分において反転した応答を示す。図１０は、４８ｋＨｚのサンプリングレートにおいて１つのサンプル遅延を採用するクロストークキャンセルに由来するアーチファクトを示し、図１１は、４８ｋＨｚのサンプリングレートにおいて６つのサンプル遅延を採用するクロストークキャンセルに由来するアーチファクトを示す。グラフ１０１０は、ホワイトノイズ入力信号の周波数応答であり、グラフ１０２０は、１つのサンプル遅延を採用するクロストークキャンセルの非空間（相関）成分の周波数応答であり、グラフ１０３０は、１つのサンプル遅延を採用するクロストークキャンセルの空間（非相関）成分の周波数応答である。グラフ１１１０はホワイトノイズ入力信号の周波数応答であり、グラフ１１２０は、６つのサンプル遅延を採用するクロストークキャンセルの非空間（相関）成分の周波数応答であり、グラフ１１３０は、６つのサンプル遅延を採用するクロストークキャンセルの空間（非相関）成分の周波数応答である。クロストーク補償の遅延を変化させることにより、ナイキスト周波数未満で生じるピーク及びトラフの、数及び中心周波数を変化させることができる。
【００６９】
図１２及び図１３は、クロストーク補償の効果を明示するための例示の周波数応答グラフを示す。グラフ１２１０は、ホワイトノイズ入力信号の周波数応答であり、グラフ１２２０は、１つのサンプル遅延を採用するクロストークキャンセルの、クロストーク補償無しの非空間（相関）成分の周波数応答であり、グラフ１２３０は、１つのサンプル遅延を採用するクロストークキャンセルの、クロストーク補償有りの非空間（相関）成分の周波数応答である。グラフ１３１０は、ホワイトノイズ入力信号の周波数応答であり、グラフ１３２０は、６つのサンプル遅延を採用するクロストークキャンセルの、クロストーク補償無しの非空間（相関）成分の周波数応答であり、グラフ１３３０は、６つのサンプル遅延を採用するクロストークキャンセルの、クロストーク補償有りの非空間（相関）成分の周波数応答である。一例では、クロストーク補償プロセッサ２４０は、トラフを伴う周波数範囲にわたって非空間成分に対してピーキングフィルタを適用し、別の周波数範囲のピークを伴う周波数範囲にわたって非空間成分に対してノッチフィルタを適用して、グラフ１２３０及び１３３０に示されるように周波数応答を平坦化する。その結果、中央にパンした（center-panned）音楽的要素のより安定した知覚プレゼンスが創造され得る。クロストークキャンセルの中心周波数、利得、及びＱ値など他のパラメータは、スピーカパラメータ２０４に従って第２のルックアップテーブル（例えば、上記の表４）によって決定されてよい。
【００７０】
図１４は、図８に示された周波数バンド分割器の折点周波数を変化させる効果を明示するための例示の周波数応答を示す。グラフ１４１０は、ホワイトノイズ入力信号の周波数応答であり、グラフ１４２０は、３５０〜１２０００Ｈｚのバンド内折点周波数を採用するクロストークキャンセルの非空間（相関）成分の周波数応答であり、グラフ１４３０は、２００〜１４０００Ｈｚのバンド内折点周波数を採用するクロストークキャンセルの非空間（相関）成分の周波数応答である。図１４に示されるように、図８の周波数バンド分割器８１０の遮断周波数を変化させるとクロストークキャンセルの周波数応答に影響を及ぼす。
【００７１】
図１５及び図１６は、図８に示された周波数バンド分割器８１０の効果を明示するための例示の周波数応答を示す。グラフ１５１０はホワイトノイズ入力信号の周波数応答であり、グラフ１５２０は、４８ｋＨｚのサンプリングレートにおける１つのサンプル遅延と３５０から１２０００Ｈｚのバンド内周波数範囲とを採用するクロストークキャンセルの非空間（相関）成分の周波数応答であり、グラフ１５３０は、周波数バンド分割器８１０無しで、全体の周波数について４８ｋＨｚのサンプリングレートにおける１つのサンプル遅延を採用するクロストークキャンセルの非空間（相関）成分の周波数応答である。グラフ１６１０はホワイトノイズ入力信号の周波数応答であり、グラフ１６２０は、４８ｋＨｚのサンプリングレートにおける６つのサンプル遅延と２５０から１４０００Ｈｚのバンド内周波数範囲とを採用するクロストークキャンセルの非空間（相関）成分の周波数応答であり、グラフ１６３０は、周波数バンド分割器８１０無しで、全体の周波数について４８ｋＨｚのサンプリングレートにおける６つのサンプル遅延を採用するクロストークキャンセルの非空間（相関）成分の周波数応答である。周波数バンド分割器８１０無しでクロストークキャンセルを適用することにより、グラフ１５３０は、１０００Ｈｚ未満の大幅な抑制と、１００００Ｈｚの上のリップルとを示す。同様に、グラフ１６３０は、４００Ｈｚ未満の大幅な抑制と、１０００Ｈｚの上のリップル（ripples）とを示す。周波数バンド分割器８１０を実施し、選択された周波数バンドに対してクロストークキャンセルを選択的に行うことにより、グラフ１５２０及び１６２０に示されるように、低周波数領域（例えば１０００Ｈｚ未満）における抑制と高周波領域（例えば、１００００Ｈｚ超）におけるリップルとが低減され得る。
【００７２】
当業者なら、この開示を読み取れば、本明細書で開示された原理を通じてさらに追加の代替的実施形態を理解するはずである。従って、特定の実施形態及び用途が示されて説明されてきたが、開示された実施形態は、本明細書で開示された正確な構造や構成要素に限定されるものではないことを理解されたい。本明細書で説明された範囲から逸脱することなく、当業者には明らかなはずの様々な修正形態、変更形態及び変形形態が、本明細書で開示された方法及び装置の配置、動作及び詳細において作製され得る。
【００７３】
本明細書で説明されたステップ、動作、又はプロセスのうちいかなるものも、１つ又は複数のハードウェアモジュール又はソフトウェアモジュールを、単独で用いて、又は他のデバイスと合成して用いて、実行され得、又は実施され得る。一実施形態では、ソフトウェアモジュールは、説明されたステップ、動作、若しくはプロセスのいずれか又は全てを実行するためにコンピュータプロセッサによって実行され得るコンピュータプログラムコードを包含しているコンピュータ可読媒体（例えば非一時的コンピュータ可読媒体）を含むコンピュータプログラム製品を用いて実施される。
【符号の説明】
【００７４】
２１０  音響場拡張処理パイプライン
２２０  オーディオ処理システム
２３０  サブバンド空間オーディオプロセッサ
２４０  クロストーク補償プロセッサ
２５０  合成器
２６０  クロストークキャンセルプロセッサ
２７０  クロストークキャンセル処理パイプライン
【図１】
2019083570.tif 000007
【図２Ａ】
2019083570.tif 000008
【図２Ｂ】
2019083570.tif 000009
【図３】
2019083570.tif 000010
【図４】
2019083570.tif 000011
【図５】
2019083570.tif 000012
【図６】
2019083570.tif 000013
【図７】
2019083570.tif 000014
【図８】
2019083570.tif 000015
【図９】
2019083570.tif 000016
【図１０】
2019083570.tif 000017
【図１１】
2019083570.tif 000018
【図１２】
2019083570.tif 000019
【図１３】
2019083570.tif 000020
【図１４】
2019083570.tif 000021
【図１５】
2019083570.tif 000022
【図１６】
2019083570.tif 000023