(57)【要約】実施形態は、空間化されたオーディオを使用してクライアントデバイスにカンファレンスを提供することに関連する。入力オーディオストリームはクライアントデバイスから受信される。各クライアントデバイスについて、サウンドフィールド内の他のクライアントデバイスの空間的な位置を定義する配置データが決定される。クライアントデバイスの左混合チャネルと右混合チャネルを含む混合ストリームは、配置データに従って他のクライアントデバイスの入力オーディオストリームを混合およびパンすることによって生成される。左スピーカー用の左強調チャネルや右スピーカー用の右強調チャネルを含む空間強調ストリームは、左混合チャネルと混合ストリームの右混合チャネルにサブバンド空間処理とクロストーク処理を適用することによって生成される。
2021507284.tif 000002
【特許請求の範囲】
【請求項１】
複数のクライアントデバイスのうちの一クライアントデバイスに会議を提供する方法であって、
前記複数のクライアントデバイスから入力オーディオストリームを受信すること、
前記複数のクライアントデバイスの前記クライアントデバイスについて、サウンドフィールド内の前記複数のクライアントデバイスの他のクライアントデバイスの空間位置を定義する配置データを決定すること、
前記配置データに従って前記他のクライアントデバイスの入力オーディオストリームを混合およびパンすることにより、左混合チャネルおよび右混合チャネルを含む前記クライアントデバイス用の混合ストリームを生成すること、
前記混合ストリームの前記左混合チャネルと前記右混合チャネルにサブバンド空間処理とクロストーク処理を適用することによって左強調チャネルと右強調チャネルを含む空間強調ストリームを生成すること、および
前記クライアントデバイスの左スピーカーへ前記空間強調ストリームの左強調チャネルを提供し、前記クライアントデバイスの右スピーカーへ前記空間強調ストリームの右強調チャネルを提供すること
を備えた方法。
【請求項２】
前記配置データを決定することは、ネットワークを介して前記クライアントデバイスから
前記配置データを受信することを含む、請求項１に記載の方法。
【請求項３】
前記クライアントデバイスからの前記各入力オーディオストリームは、１つまたは複数のオーディオチャネルを含む、請求項１に記載の方法。
【請求項４】
配置データに従って前記他のクライアントデバイスの前記入力オーディオストリームを混合およびパンすることによって、前記左混合チャネルおよび前記右混合チャネルを含むクライアントデバイス用の混合ストリームを生成することは、
前記サウンドフィールド内の前記他のクライアントデバイスの前記空間位置に従って、前記他のクライアントデバイスの前記入力オーディオストリームのそれぞれから左チャネルおよび右チャネルを生成すること、
前記左混合チャネルを生成するために前記他のクライアントデバイスの入力オーディオストリームから左チャネルを生成すること、および
前記右混合チャネルを生成するために前記他のクライアントデバイスの入力オーディオストリームから右チャネルを結合すること
を含む、請求項１に記載の方法。
【請求項５】
前記複数のクライアントデバイスに接続されたサーバーは、前記混合ストリームを生成し、前記混合ストリームを前記クライアントデバイスに提供し、および
前記クライアントデバイスは、前記混合ストリームから前記空間強調ストリームを生成する、請求項１に記載の方法。
【請求項６】
前記複数のクライアントデバイスに接続されたサーバーが、前記混合ストリームおよび前記空間強調ストリームを生成し、前記空間強調ストリームを前記クライアントデバイスに提供する、請求項１に記載の方法。
【請求項７】
前記サーバーは、前記クライアントデバイスからデバイスの説明を受信し、前記デバイスの説明に基づいて、前記サブバンド空間処理を適用するためのパラメータを決定する、請求項６に記載の方法。
【請求項８】
前記クライアントデバイスは、前記混合ストリームおよび前記空間強調ストリームを生成する、請求項１に記載の方法。
【請求項９】
前記クロストーク処理は、クロストークキャンセルまたはクロストークシミュレーションを含み、前記空間的強調トリームを生成することは、前記混合ストリームに前記クロストーク処理を適用することによって引き起こされるスペクトル欠陥を調整するクロストーク補正を前記混合ストリームに適用することを含む、請求項１に記載の方法。
【請求項１０】
プロセッサによって実行されると、
複数のクライアントデバイスから入力オーディオストリームを受信し、
前記複数のクライアントデバイスの前記クライアントデバイスについて、サウンドフィールド内の前記複数のクライアントデバイスの他のクライアントデバイスの空間位置を定義する配置データを決定し、
前記配置データに従って前記他のクライアントデバイスの入力オーディオストリームを混合およびパンすることにより、左混合チャネルおよび右混合チャネルを含む前記クライアントデバイス用の混合ストリームを生成するように
前記プロセッサを構成するプログラムコードを格納する非一時的なコンピュータ可読媒体。
【請求項１１】
実行されると、前記混合ストリームの前記左混合チャネルと前記右混合チャネルにサブバンド空間処理とクロストーク処理を適用することによって左強調チャネルと右強調チャネルを含む空間強調ストリームを生成し、
前記クライアントデバイスの左スピーカーへ前記空間強調ストリームの左強調チャネル、および前記クライアントデバイスの右スピーカーへ前記空間強調ストリームの右強調チャネルを提供するように、
前記プロセッサを構成するプログラムコードをさらに備えることを特徴とする請求項１０に記載のシステム。
【請求項１２】
実行されると、前記クライアントデバイスからデバイスの説明を受信し、前記デバイスの説明に基づいて前記サブバンド空間処理を適用するためのパラメータを決定するように前記プロセッサをさらに構成するプログラムコードをさらに備える、請求項１１に記載のコンピュータ可読媒体。
【請求項１３】
前記クロストーク処理はクロストークキャンセルまたはクロストークシミュレーションを含み、前記空間強調ストリームが生成されるように前記プロセッサを構成するプログラムコードは、実行されると、前記混合ストリームに前記クロストーク処理を適用することによって引き起こされるスペクトル障害を調整する、前記混合ストリームへのクロストーク補正を適用するように前記プロセッサを構成するプログラムコードを含む、請求項１１に記載のコンピュータ可読媒体。
【請求項１４】
実行されると、前記左混合チャネルおよび前記右混合チャネルを含む混合ストリームを前記クライアントデバイスに提供するように前記プロセッサを構成するプログラムコードをさらに備える、請求項１０に記載のコンピュータ可読媒体。
【請求項１５】
実行されると、ネットワークを介して前記クライアントデバイスから前記配置データを受信するように前記プロセッサを構成する命令を含む前記配置データを決定するように前記プロセッサをさらに構成するプログラムコードをさらに備える、請求項１０に記載のコンピュータ可読媒体。
【請求項１６】
前記複数のクライアントデバイスからの前記入力オーディオストリームのそれぞれが、１つまたは複数のオーディオチャネルを含む、請求項１０に記載のコンピュータ可読媒体。
【請求項１７】
前記配置データに従って前記他のクライアントデバイスの前記入力オーディオストリームを混合およびパンすることにより、前記左混合チャネルと前記右混合チャネルを含む前記クライアントデバイスの前記混合ストリームを生成するように前記プロセッサを構成する前記プログラムコードは、
前記サウンドフィールド内の前記他のクライアントデバイスの前記空間位置に従って、前記他のクライアントデバイスの前記入力オーディオストリームのそれぞれから左チャネルおよび右チャネルを生成し、
前記左混合チャネルを生成するために前記他のクライアントデバイスの入力オーディオストリームから左チャネルを結合し、
前記右混合チャネルを生成するために前記他のクライアントデバイスの入力オーディオストリームから右チャネルを結合するように前記プロセッサをさらに構成するプログラムコードを含む、請求項１０に記載のコンピュータ可読媒体。
【請求項１８】
複数のクライアントデバイスのうちの一つのクライアントデバイスにカンファレンスを提供するためのシステムであって、
前記複数のクライアントデバイスから入力オーディオストリームを受信し、
前記複数のクライアントデバイスのうちの前記一つクライアントデバイスに対してサウンドフィールド内の前記複数のクライアントデバイスのうちの他のクライアントデバイスの空間位置を定義する配置データを決定し、
前記複数のクライアントデバイスのうちの前記一つクライアントデバイスに対して、前記配置データに従って前記複数のクライアントデバイスのうちの前記他のクライアントデバイスの入力オーディオストリームを混合およびパンすることによって左混合チャネルおよび右混合チャネルを含む混合ストリームを生成する
ように構成される処理回路を備えたシステム。
【請求項１９】
前記処理回路は、
サブバンド空間処理とクロストーク処理を混合ストリームの左混合チャネルと右混合チャネルとに適用することによって左強調チャネルと右強調チャネルを含む空間強調ストリームを生成し、
前記クライアントデバイスの左スピーカーへ前記空間強調ストリームの左強調チャネル、および前記クライアントデバイスの右スピーカーへ前記空間強調ストリームの右強調チャネルを提供する
ようにさらに構成される請求項１８に記載のシステム。
【請求項２０】
前記複数のクライアントデバイスからのそれぞれの前記入力オーディオストリームは一つまたは複数のオーディオチャネルを含む、請求項１８に記載のシステム。
【請求項２１】
前記処理回路は、前記左混合チャネルおよび前記右混合チャネルを含む前記混合ストリームを前記複数のクライアントデバイスのうちの前記一つのクライアントデバイスに提供するようにさらに構成される、請求項１７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で説明される主題は、オーディオ処理、特にカンファレンスクライアントデバイスの空間的オーディオ処理に関する。
【背景技術】
【０００２】
電子デバイスは、複数のユーザー間のリモートカンファレンスを提供するために使用される。通常、ユーザーのオーディオストリームはユーザーのオーディオをキャプチャするために生成され、他のユーザーのオーディオストリームはユーザーが聞くためのオーディオを提供するために組み合わされる。例えば、合成されたストリームは、スピーカーのモノラルストリームであり得る。ステレオスピーカーの場合、モノラルストリームは左右のスピーカーで再生される。対面カンファレンスとは異なり、モノラルストリームの参加者ごとにサウンドフィールド（音場）の空間的な感覚がないため、オーディオの区別と明瞭性が低下する。
【発明の概要】
【０００３】
実施形態は、空間的オーディオを使用してクライアントデバイスにカンファレンスを提供することに関連する。いくつかの実施形態では、入力オーディオストリームはクライアントデバイスから受信される。クライアントデバイスの場合、サウンドフィールド内の他のクライアントデバイスの空間的な位置を定義する配置データが決定される。クライアントデバイスの左混合チャネルと右混合チャネルを含む混合ストリームは、配置データに従って他のクライアントデバイスの入力オーディオストリームを混合およびパンすることによって生成される。左強調チャネルと右強調チャネルを含む空間強調ストリームは、サブバンド空間処理とクロストーク処理を混合ストリームの左混合チャネルと右混合チャネルに適用することによって生成される。空間的に強調されたストリームがクライアントデバイスに提供される。
【０００４】
いくつかの実施形態では、プロセッサによって実行されると命令を格納する非一時的なコンピュータ可読媒体はクライアントデバイスから入力オーディオストリームを受信するように構成される、クライアントデバイスの場合、サウンドフィールド内の他のクライアントデバイスの空間位置を定義する配置データを決定する。そして、配置データに従って他のクライアントデバイスの入力オーディオストリームを混合およびパンすることにより、左混合チャネルおよび右混合チャネルを含むクライアントデバイス用の混合ストリームを生成する。
【０００５】
いくつかの実施形態では、システムはクライアントデバイスのためのカンファレンスを提供する。システムは、以下のように構成された処理回路を含む。クライアントデバイスから入力オーディオストリームを受信する。クライアントデバイスの場合、サウンドフィールド内の他のクライアントデバイスの空間位置を定義する配置データを決定する。そして、配置データに従って他のクライアントデバイスの入力オーディオストリームを混合およびパンすることにより、左混合チャネルおよび右混合チャネルを含むクライアントデバイス用の混合ストリームを生成する。
【０００６】
その他の側面として、要素、デバイス、システム、改善、方法、プロセス、アプリケーション、コンピュータ可読媒体、および上記のいずれかに関連するその他の技術が含まれる。
【図面の簡単な説明】
【０００７】
【図１】いくつかの実施形態による、オーディオ処理システムの概略ブロック図である。
【図２】いくつかの実施形態による、空間混合プロセッサの概略ブロック図である。
【図３】いくつかの実施形態による、クロストークキャンセルを備えた空間強調プロセッサの概略ブロック図である
【図４】いくつかの実施形態によるサブバンド空間プロセッサの概略ブロック図である。
【図５】いくつかの実施形態によるクロストーク補正プロセッサの概略ブロック図である。
【図６】いくつかの実施形態によるクロストークキャンセルプロセッサのブロック図である。
【図７】いくつかの実施形態による、クロストークシミュレーションによる空間強調プロセッサのブロック図である。
【図８】いくつかの実施形態によるクロストークシミュレーションプロセッサのブロック図である。
【図９】いくつかの実施形態によるクライアントデバイス間のカンファレンスのための処理のフローチャートである。
【図１０】いくつかの実施形態によるオーディオ処理システムの図である。
【図１１】いくつかの実施形態によるオーディオ処理システムの図である。
【図１２】いくつかの実施形態によるオーディオ処理システムの図である。
【図１３】いくつかの実施形態によるコンピュータシステムの概略ブロック図である。
【０００８】
図面は、および詳細な説明は、例示のみの目的のための様々な非限定的な実施形態を描写する。
【発明を実施するための形態】
【０００９】
ここで、実施形態を詳細に参照し、その例を添付図面に示す。以下の説明は、ある特定の具体的詳細を、様々な実施形態の徹底した理解を提供するために示す。ただし、これらの具体的な詳細なしに、記載されている実施形態を実施することができる。その他の事例では、明確な方法、手順、構成要素、回路、およびネットワークについては、実施形態の態様を不必要に曖昧にしないように詳細に説明されていない。
【００１０】
実施形態は、クライアントデバイスごとに空間的オーディオ出力を使用して、クライアントデバイスにカンファレンスを提供することに関連している。例えば、オーディオ処理システムは、リアルタイム空間混合と空間強調の組み合わせを使用して、各クライアントデバイスのレンダリングデバイスタイプに適応的に最適化して、各クライアントデバイスに空間化されたオーディオを配信する。クライアントデバイスの出力ストリームを生成するために、他のクライアントデバイスからのオーディオストリームはそれぞれ、クライアントデバイスのサウンドフィールド内の空間的な位置に関連付けられる。空間的な場所に応じてオーディオストリームが混合およびパンされて、空間化されたオーディオを含む混合ストリームが生成される。次に、空間強調を空間的なオーディオ混合ストリームに適用して、サウンドフィールドの空間感覚を強調する。空間強調には、サブバンド空間処理やクロストーク処理が含まれる場合がある。クロストーク処理には、クロストークキャンセル（スピーカーなど）やクロストークシミュレーション（ヘッドフォンなど）が含まれる。特に、リモート参加者の声が異なるサウンドフィールドの空間的な感覚によって、リモートカンファレンスの声の区別と明瞭さが向上する。
【００１１】
カンファレンスパイプラインには、サーバー（または「ブリッジ」）とおよび２台以上のクライアントデバイスが含まれ得る。クライアントデバイスには、さまざまなサウンドレンダリングハードウェアが搭載されている場合がある。サーバーは、さまざまなタイプのハードウェアに対応し、デバイスに最適化された空間強調オーディオを提供する。
【００１２】
いくつかの実施形態では、着信オーディオストリームの１つまたは複数のチャネルがステレオオーディオストリームにミックスダウンされる。次に、各クライアントデバイスのレンダリングシステム（内蔵のラップトップスピーカー、Ｂｌｕｅｔｏｏｔｈスピーカー、ヘッドフォンなど）に基づいて、デバイス固有の空間オーディオ強調機能が適応的に適用される。いくつかの実施形態では、各クライアントデバイスはサーバーから混合ストリームを受信し、適切な空間拡張を適用される。いくつかの実施形態では、クライアントデバイスは、空間強調のためのパラメータをサーバーに提供することができ、サーバーは、空間強調を実行して、クライアントデバイスのための空間強調ストリームを生成する。いくつかの実施形態では、クライアントデバイスは、１つまたは複数のクライアントオーディオストリームを受信し、ミックスダウンとそれに続く適切な空間強調の両方を混合ステレオストリームに適用することができる。
【００１３】
（オーディオ処理システムの例）
図１は、いくつかの実施形態による、オーディオ処理システム１００の概略ブロック図である。オーディオ処理システム１００は、サーバー１０２およびクライアントデバイス１３０を含む。単一のクライアントデバイス１３０が示されているが、サーバー１０２は、複数のクライアントデバイス１３０間のカンファレンスを提供する。サーバー１０２は、インターネットを含むネットワークを介してクライアントデバイスに接続されてもよい。各クライアントデバイス１３０は、オーディオキャプチャデバイス１５６（例えば、マイクロフォン）と、左スピーカー１５２および右スピーカー１５４とを含み得る。
【００１４】
サーバー１０２は、空間混合プロセッサ１１０および空間強調プロセッサ１２０を含む。複数のクライアントデバイス１３０間のカンファレンスを容易にするために、空間混合プロセッサ１１０は、それぞれクライアントデバイス１３０から複数の入力オーディオストリーム１４０を受け取り、入力オーディオストリーム１４０のパンおよびミックスダウンをステレオオーディオストリームに適用する。ステレオオーディオストリームは、左混合チャネル１４２および右混合チャネル１４４を含む。入力オーディオストリーム１４０のそれぞれは、クライアントデバイス１３０のオーディオキャプチャデバイス１５６によって生成された、１つまたは複数のチャネルを有するオーディオストリームであり得る。いくつかの実施形態では、オーディオストリーム１４０は、モノラルオーディオストリームを含み得る。
【００１５】
カンファレンスの各参加者は、クライアントデバイス１３０に関連付けられる。各クライアントデバイス１３０は、空間混合プロセッサ１１０に送信されるオーディオストリーム１４０を生成することができる。オーディオストリーム１４０に関連して、各クライアントデバイス１３０は、デバイス識別データまたは配置データを含む様々なタイプのメタデータを空間混合プロセッサ１１０に提供することができる。デバイス識別データは、クライアントデバイス１３０を識別する一意の識別子である。配置データは、クライアントデバイス１３０のための他のクライアントデバイス１３０の他のオーディオストリーム１４０の空間位置を定義する。空間混合プロセッサ１１０は、他のクライアントデバイス１３０からのオーディオ信号１４０が配置データに従ってステレオサウンドフィールドにわたって分散される（例えば、パンされる）各クライアントデバイス１３０のための固有のステレオオーディオストリームを生成する。
【００１６】
いくつかの実施形態では、オーディオストリーム１４０のパンニングは、オーディオストリーム１４０の空間分布を定義する所定の配置データに基づく。配置技術は、リモートクライアントデバイス１３０の等しい空間分布、または参加者メタデータ（例えば、ユーザーの役割、エンティティ／会社名、グループメンバーシップ、部屋の場所、地理的な場所、ＩＰアドレスなど）に基づくソースのグループ化およびパンニングを含み得る。いくつかの実施形態では、各クライアントデバイス１３０のパンニングは、クライアントデバイス１３０からの制御に基づいてもよい。例えば、クライアントデバイス１３０のユーザーは、各遠隔参加者の所望のパン位置を指定する配置データを定義することができる。
【００１７】
空間混合プロセッサ１１０は、各クライアントデバイス１３０について、左混合チャネル１４２および右混合チャネル１４４を含む固有のステレオオーディオストリームを生成する。オーディオ信号１４０の空間分布を定義する配置データがプログラムで定義されるか、またはユーザー定義であるかにかかわらず、他のクライアントデバイス１３０のオーディオ信号１４０は、ステレオミックスダウンにパンされる。パンニングは、振幅パンニング、遅延パンニング、バイノーラルパンニングなどのパンニング技法を含み、クライアントデバイス１３０のステレオストリームを生成することができる。いくつかの実施形態では、パンニングは、ゲインに応じて、最終的な混合における各要素の存在を調整することを含むことができる。距離手がかりのために空気吸収シミュレーションや室内音響シミュレーションなど、知覚的に動機づけられるその他のキューも適用され得る。
【００１８】
いくつかの実施形態では、クライアントデバイス１３０の空間混合プロセッサ１１０の出力は、クライアントデバイス１３０またはリスニングコンテキストが１チャネル再生を使用するときなどに、単一チャネルへのモノラル低減を含み得る。
【００１９】
空間強調プロセッサ１２０は、左混合チャネル１４２および右混合チャネル１４４に空間処理を適用して、左強調チャネル１４６および右強調チャネル１４８を生成する。空間強調は、サブバンド空間処理およびクロストーク処理を含み得る。クロストーク処理には、クロストークキャンセルやクロストークシミュレーションが含まれ得る。クライアントデバイス１３０のスピーカー１５２、１５４がラウドスピーカーであり、ラウドスピーカーが原因のクロストークを除去する場合に、クロストークキャンセレーションが使用され得る。スピーカー１５２、１５４がヘッドフォンでスピーカーの効果をシミュレートする場合、クロストークシミュレーションを使用することができる。左混合チャネル１４２および右混合チャネル１４４に適用されるクロストーク処理がある場合、空間強調処理は、クロストーク処理の適用によって引き起こされるスペクトル欠陥を補正するクロストーク補正をさらに含み得る。空間強調プロセッサ１２０は、クライアントデバイス１３０の左スピーカー１５２に左強調チャネル１４６を提供し、クライアントデバイス１３０の右スピーカー１５４に右強調チャネル１４８を提供する。スピーカー１５２、１５４は、それぞれの出力チャネルＯLおよびＯRをサウンドに変換する。
【００２０】
いくつかの実施形態では、空間強調プロセッサ１２０は、サーバー１０２に配置される。サーバー１０２は、各クライアントデバイス１３０に対して空間強調処理の別個の過程を実行することができる。他の実施形態では、空間強調プロセッサ１２０は、各クライアントデバイス１３０に配置される。クライアントデバイス１３０ごとに、サーバー１０２は、左混合チャネル１４２および右混合チャネル１４４を含む混合ストリームをクライアントデバイス１３０の空間強調プロセッサ１２０に提供する。各クライアントデバイス１３０の空間強調プロセッサ１２０は、サーバー１０２から受信された混合チャネルを処理して、左出力チャネル１４６および右出力チャネル１４８を生成する。いくつかの実施形態では、空間混合プロセッサ１１０は、システム１００のピアツーピアカンファレンス構成などのクライアントデバイス１３０内に、またはサーバーがミックスダウンを実行しない場合にも配置される。
【００２１】
システム１００は、いくつかのまたは追加の構成要素を含み得る。例えば、オーディオストリームを使用したカンファレンスをビデオストリームと統合することができる。いくつかの実施形態では、システム１００は人工現実システムであり、各クライアントデバイス１３０はヘッドマウントディスプレイを含み得る。ヘッドマウントディスプレイは、他のユーザーまたはユーザーのアバターをビデオでレンダリングすることができ、ユーザーは、サウンドフィールド内の混合ストリームのクライアントデバイス１３０の空間位置に対応するように配置される。これにより、人工現実環境のイマーシブ品質が向上する。
【００２２】
（空間混合プロセッサの例）
図２はいくつかの実施形態による空間混合プロセッサ１１０の概略ブロック図である。空間混合プロセッサ１１０は、空間ミキサー２０５、バイノーラルフィルタ２１０および２１５、左チャネル結合器２２０、右チャネル結合器２２５、および知覚シミュレータ２３０を含む。空間ミキサー２０５は、入ってくるオーディオストリーム内のエネルギーが最終的なステレオミックスダウン全体にどのように分配されるか、また関連して、最終的なミックスダウン内の要素がサウンドステージのコンテキスト内でどのように知覚されるかに関して制御を適用する。例えば、モノラルオーディオストリームの空間混合は、定出力またはリニアステレオパンニング技術を使用して実現することができる。いくつかの実施形態では、空間ミキサー２０５は、各混合信号１４０に空間混合を適用して左および右チャネルを生成し、左チャネルを結合して左チャネル２２０を生成し、右チャネルを結合して右チャネル２２２を生成する。
【００２３】
オーディオストリームは、バイノーラルフィルタリングを使用して実現できるように、リスナーの頭部の周囲の３Ｄ空間にオーディオを知覚的に配置するように処理することもできる。バイノーラルフィルタ２１０と２１５のそれぞれは、リスナーが入力チャネルの音を知覚する必要があるターゲットソースの場所を記述する頭部伝達関数（ＨＲＴＦ）を適用する。バイノーラルフィルタ２１０は、左チャネル２２０を受信し、右チャネル２５０に関連付けられた角度位置を調整するＨＲＴＦを適用することにより、左および右の出力チャネルを生成する。バイノーラルフィルタ２１５は、右チャネル２５２を受信し、右チャネル２５２に関連付けられた角度位置を調整するＨＲＴＦを適用することにより、左および右の出力チャネルを生成する。左チャネル結合器２２０は、バイノーラルフィルタ２１０および２１５から左チャネルを受け取り、これらのチャネルを結合して左チャネル２５４を生成する。右チャネル結合器２２５は、バイノーラルフィルタ２１０および２１５から右チャネルを受け取り、これらのチャネルを結合して、右チャネル２５６を生成する。
【００２４】
また、処理を適用して、他の現実世界の知覚的手がかりをシミュレートすることもできる。知覚シミュレータ２３０は、左チャネル２５４および右チャネル２５６を受け取り、知覚的手がかりを１つまたは複数のチャネルに適用して、左混合チャネル１４２および右混合チャネル１４４を生成する。チャネルチャネルは、例えば自由野逆距離法則（the free-field inverse distance law）を使用して、混合内の可変距離と空気吸収の知覚を提供するようにスケーリングおよびフィルタリングできる。この場合、音圧レベルは、基準距離と比較して距離の２倍ごとに６デシベル減少する（例えば、リスナーの仮想位置からの定義された距離）。高周波エネルギーが基準距離に対する距離の増加に反比例して減衰する場合、空気吸収をシミュレートすることができる。残響は、距離の認識をさらに高め、室内の音響と環境の感覚を作り出すために使用できる。
【００２５】
いくつかの実施形態では、オーディオ信号１４０は、複数（例えば、左および右）のチャネルを含む。空間ミキサー２０５は、オーディオ信号のチャネルをモノラルチャネルに結合することによりミックスダウンを適用し、モノラルチャネルに定電力またはリニアステレオパンニングを適用する。別の例では、モノラル信号への組み合わせはなく、ミックスダウンはオーディオ信号１４０の各チャネルを使用して適用される。例えば、空間ミキサー２０５は、リスナーの周りの空間におけるその理想的な位置に基づいて、各チャネルに異なるバイノーラルフィルタリングを適用し、結果をステレオ左および右チャネルに混合してもよい。
【００２６】
空間混合プロセッサ１１０には、いくつかのまたは追加の構成要素を含み得る。例えば、知覚シミュレータ２３０またはバイノーラルフィルタ２１０および２１５は省略できる。空間混合プロセッサ１１０は、振幅パンニング、遅延パンニング、バイノーラルパンニングなどを含む、オーディオ信号１４０の様々なタイプのミックスダウンを実行することができる。
【００２７】
（空間強調プロセッサの例）
図３は、一実施形態による空間強調プロセッサ３００の概略ブロック図である。空間強調プロセッサ３００は、クロストーク処理が、スピーカー１５２、１５４がラウドスピーカーであるクライアントデバイス１３０のクロストークキャンセルである空間強調プロセッサ１２０の例である。空間強調プロセッサ３００は、左入力チャネルＸLおよび右入力チャネルＸRを含む入力オーディオ信号Ｘを受信する。左入力チャネルＸLは、空間混合プロセッサ１１０からの左出力チャネル１４２であり得、右入力チャネルＸRは、空間混合プロセッサ１１０からの右出力チャネル１４４であり得る。
【００２８】
空間強調プロセッサ３００は、入力チャネルＸLおよびＸRを処理することにより、左強調チャネルＬおよび右強調チャネルＯRを含む出力オーディオ信号Ｏを生成する。左強調チャネルＯLは左強調チャネル１４６に対応し、右強調チャネルＯRは右強調チャネル１４８に対応する。オーディオ出力信号Ｏは、クロストーク補正およびクロストークキャンセルを備えた入力オーディオ信号Ｘの空間的に強調されたオーディオ信号である。
【００２９】
空間強調プロセッサ３００は、サブバンド空間プロセッサ３１０、クロストーク補正プロセッサ３２０、結合器結合器３６０、およびクロストークキャンセルプロセッサ３７０を含む。空間強調プロセッサ３００は、入力オーディオ入力チャネルＸL、ＸRのクロストーク補正およびサブバンド空間処理を実行し、サブバンド空間処理の結果をクロストーク補正の結果と結合し、その後、結合された信号に対してクロストークキャンセルを実行する。
【００３０】
サブバンド空間プロセッサ３１０は空間周波数帯域ディバイダ３４０、空間周波数帯域プロセッサ３４５、および空間周波数帯域結合器３５０を含む。空間周波数帯域ディバインダ３４０は、入力チャネルＸLおよびＸRならびに空間周波数帯域プロセッサ３４５に結合される。空間周波数帯域ディバインダ３４０は、左入力チャネルＸLおよび右入力チャネルＸRを受け取り、入力チャネルを空間（または「サイド」）成分ＹSおよび非空間（または「ミッド」）成分Ｙmに処理する。例えば、左入力チャネルＸLと右入力チャネルＸRの差に基づいて空間成分ＹSを生成できる。非空間成分Ｙmは、左入力チャネルＸLと右入力チャネルＸRの合計に基づいて生成できる。空間周波数帯域ディバイダ３４０は、空間成分ＹSと非空間成分Ｙmを空間周波数帯域プロセッサ３４５に提供する。
【００３１】
空間周波数帯域プロセッサ３４５は、空間周波数帯域ディバイダ３４０および空間周波数帯域結合器３５０に結合される。空間周波数帯域プロセッサ３４５は、空間周波数帯域ディバイダ３４０から空間成分ＹSと非空間成分Ｙmを受信し、受信信号を強調する。特に、空間周波数帯域プロセッサ３４５は、空間成分ＹSから空間強調成分ＥSを生成し、非空間成分Ｙmから非空間強調成分Ｅmを生成する。
【００３２】
例えば、空間周波数帯域プロセッサ３４５は、空間成分ＹSにサブバンドゲインを適用して、空間強調成分ＥSを生成する。また、非空間成分Ｙmにサブバンドゲインを適用して、非空間強調成分Ｅmを生成する。いくつかの実施形態では、空間周波数帯域プロセッサ３４５は、空間成分ＹSにサブバンド遅延を追加のまたは代替として提供して、空間強調成分ＥSを生成しまた、非空間成分Ｙmへのサブバンド遅延を提供して、非空間強調成分Ｅmを生成する。サブバンドのゲインおよび／または遅延は、空間成分ＹSと非空間成分Ｙmのサブバンド（ｎなど）によって異なる場合がある。また、同じ場合もある（２つ以上のサブバンドの場合など）。空間周波数帯域プロセッサ３４５は、空間成分ＹSと非空間成分Ｙmの異なるサブバンドのゲインおよび／または遅延を相互に調整して、空間強調成分ＥSと非空間強調成分Ｅmを生成する。次に、空間周波数帯域プロセッサ３４５は、空間強調成分ＥSと非空間強調成分Ｅmを空間周波数帯域結合器３５０に提供する。
【００３３】
空間周波数帯域ディバインダ３５０は、空間周波数帯域プロセッサ３４５に結合され、さらに結合器３６０に結合される。空間周波数帯域結合器３５０は、空間周波数帯域プロセッサ３４５から空間強調成分ＥSおよび非空間強調成分Ｅmを受け取り、空間強調成分ＥSおよび非空間強調成分Ｅmを左空間強調チャネルＥLおよび右空間強調チャネルにＥR結合する。例えば、左空間強調チャネルＥLは、空間強調成分ＥSと非空間強調成分Ｅmの合計に基づいて生成できる。また、非空間強調成分Ｅmと拡張強調成分ＥSの差に基づいて、右空間強調チャネルＥRを生成できる。空間周波数帯域結合器３５０は、左空間強調チャネルＥLまたは右空間強調チャネルＥRを結合器３６０に提供する。サブバンド空間プロセッサ３１０の追加の詳細は図４に関連して以下で説明される。
【００３４】
クロストーク補正プロセッサ３２０は、クロストーク補正を実行して、クロストークキャンセルのスペクトル欠陥やアーチファクトを補正する。クロストーク補正プロセッサ３２０は、入力チャネルＸLおよびＸRを受け取り、クロストークキャンセルプロセッサ３７０によって実行される非空間強調成分Ｅmおよび空間強調成分ＥSの後続のクロストークキャンセルにおけるアーチファクトを補正する処理を実行する。いくつかの実施形態では、クロストーク補正プロセッサ３２０は、フィルタを適用して、左クロストーク補正チャネルＺLおよび右クロストーク補正チャネルＺRを含むクロストーク補正信号Ｚを生成することにより、非空間成分Ｘmおよび空間成分ＸSに対して強調を実行し得る。他の実施形態では、クロストーク補正プロセッサ３２０は、非空間成分Ｘmのみに対して強調を実行することができる。クロストーク補正プロセッサ３２０に関する追加の詳細は図４に関連して以下で説明される。
【００３５】
結合器３６０は、左空間強調チャネルＥLを左クロストーク補正チャネルＺLと結合して左強調補正チャネルＴLを生成し、右空間強調チャネルＥRを右クロストーク補正チャネルＺRと結合して右補正チャネルＴRを生成する。結合器３６０はクロストークキャンセルプロセッサ３７０に結合され、クロストークキャンセルプロセッサ３７０に左強調補正チャネルＴLと右強調補正チャネルＴRを提供する。
【００３６】
クロストークキャンセルプロセッサ３７０は、左強調補正チャネルＴLおよび右強調補正チャネルＴRを受け取り、チャネルＴL、ＴRに対してクロストークキャンセルを実行して、左出力チャネルＯLおよび右出力チャネルＯRを含む出力オーディオ信号Ｏを生成する。クロストークキャンセルプロセッサ３７０に関する追加の詳細は、図５に関連して以下で説明される。
【００３７】
図４は、いくつかの実施形態による、サブバンド空間プロセッサの概略ブロック図である。空間周波数帯域ディバイダ３４０には、左入力チャネルＸLおよび右入力チャネルＸRを受信するＬ／Ｒ／Ｍ／Ｓコンバータ４０２を含み、これらの入力を空間成分ＹmおよびＹS変換する。
【００３８】
空間周波数帯域プロセッサ３４５は、非空間成分Ｙmを受信し、サブバンドフィルタのセットを適用して、非空間強調サブバンド成分Ｅmを生成する。空間周波数帯域プロセッサ３４５は空間サブバンド成分ＹSも受信し、サブバンドフィルタのセットを適用して非空間強調サブバンド成分Ｅmを生成する。サブバンドフィルタには、ピークフィルタ、ノッチフィルタ、ローパスフィルタ、ハイパスフィルタ、ローシェルフフィルタ、ハイシェルフフィルタ、バンドパスフィルタ、バンドストップフィルタ、およびすべてのパスフィルタのさまざまな結合を含み得る。
【００３９】
より具体的には、空間周波数帯域プロセッサ３４５は、非空間成分Ｙmのｎ個の周波数サブバンドのそれぞれに対するサブバンドフィルタと、空間成分ＹSのｎ個のサブバンドのそれぞれに対するサブバンドフィルタとを含む。ｎ＝４サブバンドの場合、例えば、空間周波数帯域プロセッサ３４５には、非空間成分Ｙm用の一連のサブバンドフィルタが含まれている。これには、サブバンド（１）用のミッドイコライゼーション（ＥＱ）フィルタ４０４（１）、サブバンド（２）用のミッドＥＱフィルタ４０４（２）、サブバンド（３）用のミッドＥＱフィルタ４０４（３）、サブバンド（４）用のミッドＥＱフィルタ４０４（４）が含まれている。各ミッドＥＱフィルタ４０４は、非空間成分Ｙmの周波数サブバンド部分にフィルタを適用して、非空間強調成分Ｅmを生成する。
【００４０】
空間周波数帯域プロセッサ３４５には、空間成分ＹSの周波数サブバンド用の一連のサブバンドフィルタが含まれている。これには、サブバンド（１）用のサイドイコライゼーション（ＥＱ）フィルタ４０６（１）、サブバンド（２）用のサイドＥＱフィルタ４０６（２）、サブバンド（３）用のサイドＥＱフィルタ４０６（３）、サブバンド（４）用のサイドＥＱフィルタ４０６（４）が含まれている。各サイドＥＱフィルタ４０６は、空間成分ＹSの周波数サブバンド部分にフィルタを適用して、空間強調成分ＥSを生成する。
【００４１】
非空間成分Ｙmおよび空間成分ＹSのｎ個の周波数サブバンドは、それぞれ周波数の範囲に対応し得る。例えば、周波数サブバンド（１）は０〜３００Ｈｚに対応し、周波数サブバンド（２）は３００〜５１０Ｈｚに対応し、周波数サブバンド（３）は５１０〜２７００Ｈｚに対応し、周波数サブバンド（４）は２７００Ｈｚ〜ナイキスト周波数に対応する。いくつかの実施形態では、ｎ周波数サブバンドは重要なバンドの統合セットである。重要なバンドは色々な音楽的なジャンルからの可聴周波サンプルのコーパスを使用して定められ得る。２４バーク尺度の臨界帯域におけるミッド成分とサイド成分の長期平均エネルギー比は、サンプルから決定される。次に、同様の長期平均比を持つ連続周波数帯域をグループ化して、重要な帯域のセットを形成する。周波数サブバンドの範囲と周波数サブバンドの数は調整することができる。
【００４２】
空間周波数帯域結合器３５０は、ミッドとサイドの成分を受け取り、各成分にゲインを適用し、ミッドとサイドの成分を左右のチャネルに変換する。例えば、空間周波数帯域結合器３５０は、非空間強調成分Ｅmおよび空間強調成分ＥSを受信する。また空間周波数帯域結合器３５０は非空間強調成分Ｅmおよび空間強調成分ＥSを左空間強調チャネルＥLおよび右空間強調チャネルＥRに変換する前に、全体的なミッドおよびサイドゲインを実行する。
【００４３】
具体的には、空間周波数帯域結合器３５０には、グローバルミッドゲイン４０８、グローバルサイドゲイン４１０、およびグローバルミッドゲイン４０８およびグローバルサイドゲイン４１０に結合されたＭ／Ｓ／Ｌ／Ｒコンバータ４１２が含まれる。グローバルミッドゲイン４０８は非空間強調成分Ｅmを受信してゲインを適用し、グローバルサイドゲイン４１０は非空間強調成分ＥSを受信してゲインを適用する。Ｍ／Ｓ／Ｌ／Ｒコンバータ４１２はグローバルミッドゲイン４０８から非空間強調成分Ｅm、グローバルサイドゲイン４１０から空間強調成分ＥSを受信する。そして、これらの入力を左空間強調チャネルＥLおよび右空間強調チャネルＥRに変換する。
【００４４】
（クロストークキャンセルプロセッサの例）
図５はいくつかの実施形態によるクロストーク補正プロセッサ３２０の概略ブロック図である。クロストーク補正プロセッサ３２０には、Ｌ／Ｒ／Ｍ／Ｓコンバータ５０２ミッド成分プロセッサ５２０、サイド成分プロセッサ５３０、Ｍ／Ｓ／Ｌ／Ｒコンバータ５１４が含まれる。
【００４５】
クロストーク補正プロセッサ３２０は、左右の入力チャネルＸL、ＸRを受信し、クロストーク補正処理を実行して、左クロストーク補正チャネルＺLおよび右クロストーク補正チャネルＺRを生成する。チャネルＺL、ＺRは、クロストークキャンセルやクロストークシミュレーションなど、クロストーク処理におけるアーチファクトやスペクトル障害を補正するために使用できる。Ｌ／Ｒ／Ｍ／Ｓコンバータ５０２は、左入力チャネルＸLと右入力チャネルＸRを受信するし、入力チャネルＸL、ＸRの非空間成分Ｘmと空間成分ＸSを生成する。左右のチャネルを合計して左右のチャネルの非空間成分を生成し、サブトラクションして左右のチャネルの空間成分を生成することができる。
【００４６】
ミッド成分プロセッサ５２０には、ｍミッドフィルタ５４０（ａ）、５４０（ｂ）〜５４０（ｍ）などの複数のフィルタ５４０が搭載されている。ここでは、各ｍミッドフィルタ５４０は、非空間成分Ｘmのｍ周波数バンドの１つを処理する。ミッド成分プロセッサ５２０は、非空間成分Ｘmを処理することによって、ミッドクロストーク補正チャネルＺｍを生成する。いくつかの実施形態によると、ミッドフィルタ５４０は、シミュレーションによるクロストーク処理を使用した非空間Ｘmの周波数応答プロットを使用して構成されている。また、周波数応答プロットを解析することにより、クロストーク処理のアーチファクトとして発生する周波数応答プロットのピークやトラフなどのスペクトル障害を、あらかじめ設定されたしきい値（１０ｄＢなど）を超えて推定することができる。これらのアーチファクトは、主にクロストーク処理における遅延し、おそらく反転した逆測信号と、対応する同側信号との和に起因し、最終的なレンダリング結果にくし形フィルタのような周波数応答を効果的にもたらす。ミッドクロストーク補正チャネルＺmは、ミッド成分プロセッサ５２０によって生成され、各ｍ周波数帯域がピークまたはトラフに対応する推定ピークまたはトラフを補正できる。具体的には、クロストーク処理で適用される特定の遅延、フィルタリング周波数、およびゲインに基づいて、周波数応答でピークとトラフが上下に移動し、スペクトルの特定の領域におけるエネルギーの増幅および／または減衰を引き起こす。各ミッドフィルタ５４０は、１つまたは複数のピークとトラフに合わせて調整するように設定できる。
【００４７】
サイド成分プロセッサ５３０には、ｍサイドフィルタ５５０（ａ）、５５０（ｂ）〜５５０（ｍ）などの複数のフィルタ５５０が含まれる。サイド成分プロセッサ５３０は、空間成分ＸSを処理することにより、サイドクロストーク補正チャネルＺSを生成する。いくつかの実施形態によると、シミュレーションによって空間Ｘの周波数応答プロットとクロストーク処理を得ることができる。周波数応答プロットを解析することにより、クロストーク処理のアーチファクトとして発生する周波数応答プロットのピークやトラフなどのスペクトル障害を、あらかじめ設定されたしきい値（１０ｄＢなど）を超えて推定できる。サイドクロストーク補正チャネルＺSは、サイド成分プロセッサ５３０によって生成され、推定ピークまたはトラフを補正することができる。具体的には、クロストーク処理で適用される特定の遅延、フィルタリング周波数、およびゲインに基づいて、周波数応答でピークとトラフが上下に移動し、スペクトルの特定の領域におけるエネルギーの増幅および／または減衰を引き起こす。各サイドフィルタ５５０は、１つまたは複数のピークおよびトラフに合わせて調整するように設定できる。いくつかの実施形態では、ミッド成分プロセッサ５２０とサイド成分プロセッサ５３０に異なる数のフィルタが含まれている場合がある。
【００４８】
いくつかの実施形態では、ミッドフィルタ５４０とサイドフィルタ５５０には、式１で定義された転送機能を持つ複二次フィルタが含むことができる。
【００４９】
【数１】
2021507284.tif 000003
【００５０】
ｚは複素変数で、ａ0、ａ1、ａ2、ｂ0、ｂ1、およびｂ2はデジタルフィルタ係数である。このようなフィルタを実装する１つの方法は、式２で定義されたダイレクトフォームＩトポロジーである。
【００５１】
【数２】
2021507284.tif 000004
【００５２】
ここで、Ｘは入力ベクトル、Ｙは出力である。ほかのトポロジーは最大ワード長および飽和動作に応じて、使用される。
【００５３】
その後、複二次を使用して、実値の入出力を持つ２次フィルタが実装できる。離散時間フィルタを設計するために、連続時間フィルタが設計され、双一次変換によって離散時間に変換される。さらに、中心周波数と帯域幅のシフトは、周波数歪みを使用して補正できる。
【００５４】
例えば、ピークフィルタは、式３で定義され複素平面転送機能がある。
【００５５】
【数３】
2021507284.tif 000005
【００５６】
ここで、Ｓは複素変数、Ａはピークの振幅、Ｑはフィルタ「品質」、そしてデジタルフィルタ係数は次のように定義される。
【００５７】
【数４】
2021507284.tif 000006
【００５８】
ここで、ω０は、フィルタの中心周波数をラジアンおよび
【００５９】
【数５】
2021507284.tif 000007
【００６０】
で表したものである。
【００６１】
さらに、フィルタ品質Ｑは式４で定義できる。
【００６２】
【数６】
2021507284.tif 000008
【００６３】
ここで
【００６４】
【数７】
2021507284.tif 000009
【００６５】
、は帯域幅、ｆcは中心周波数である。
【００６６】
ミッドフィルタ５４０は連続にあるものとして示され、そしてサイドフィルタ５５０も連続にあるものとして示されているいくつかの実施形態では、ミッドフィルタ５４０がミッド成分Ｘmと平行に適用され、サイドフィルタがサイド成分ＸSと平行に適用される。
【００６７】
Ｍ／Ｓ／Ｌ／Ｒコンバータ５１４は、ミッドクロストーク補正チャネルＺｍとサイドクロストーク補正チャネルＺSを受信し、左クロストーク補正チャネルＺLと右クロストーク補正チャネルＺRを生成する。ミッドとサイドの成分を合計して、ミッドとサイドの成分の左チャネルを生成できる。ミッドとサイドの成分を減算して、ミッドとサイドの成分の右チャネルを生成できる。
【００６８】
（クロストークキャンセルプロセッサの例）
図６は、いくつかの実施形態によるクロストークキャンセルプロセッサ３７０の概略ブロック図である。クロストークキャンセレーションプロセッサ３７０は、左強調補正チャネルＴLと右強調補正チャネルＴRを受信する。また、チャネルＴL、ＴRでクロストークキャンセルを実行して、左出力チャネルＯL、右出力チャネルＯRを生成する。
【００６９】
クロストークキャンセルプロセッサ３７０には、インアウトバンドディバイダ６１０、インバーター６２０および６２２逆測推定器６３０および６４０、結合器６５０および６５２、インアウトバンド結合器６６０が含まれる。これらの構成要素は、入力チャネルＴL、ＴRをインバンド成分およびアウトオブバンド成分に分割し、インバンド成分でクロストークキャンセレーションを実行して出力チャネルＯL、ＯRを生成する。
【００７０】
入力オーディオ信号Ｔを異なる周波数帯域成分に分割し、選択的成分（インバンド成分など）でクロストークキャンセルを実行することで、他の周波数帯域での劣化をなくしながら、特定の周波数帯域でクロストークキャンセルを実行できる。入力オーディオ信号Ｔを異なる周波数帯域に分割せずにクロストークキャンセルを実行すると、クロストークキャンセル後のオーディオ信号は、低周波数（３５０Ｈｚ未満など）、高周波数（１２０００Ｈｚ以上など）、または両方での非空間成分および空間成分で大きな減衰または増幅を示す場合がある。影響の大きい空間的手がかりの大部分が存在するインバンド（２５０Ｈｚ〜１４０００Ｈｚなど）のクロストークキャンセルを選択的に実行することで、混合内のスペクトル全体にわたって、特に非空間的な成分でバランスのとれた全体的なエネルギーを維持できる。
【００７１】
インアウトバンドディバイダ６１０は、入力チャネルＴL、ＴRをインバンドチャネルＴL,In、ＴR,INおよびアウトバンドチャネルＴL,OUT、ＴR,OUTにそれぞれ分離する。特に、インアウトバンドディバイダ６１０は、左強調補正チャネルＴLを左インバンドチャネルＴL,In、左アウトオブバンドチャネルＴL,OUTに分割する。同様に、インアウトバンドディバイダ６１０は、右強調補正チャネルＴRを右インバンドチャネルＴR,IN、および右アウトオブバンドチャネルＴR,OUTに分離する。各インバンドチャネルは、例えば２５０Ｈｚ〜１４ｋＨｚなど、周波数範囲に対応する各入力チャネルの一部を包含し得る。周波数帯域の範囲は、スピーカーのパラメータなどに応じて調整することができる。
【００７２】
インバーター６２０と逆測推定器６３０は、左インバンドチャネルＴL,Inによる逆測サウンド成分を補正するために、左逆測キャンセル成分ＳLを生成するように一緒に動作する。同様に、インバーター６２２と逆測推定器６４０は、右インバンドチャネルＴRのために逆測サウンド成分を補正するために、右逆測キャンセル成分ＳRを生成するように一緒に動作する。
【００７３】
１つの手法では、インバーター６２０は、インバンドチャネルＴL,Inを受け取り、受け取ったインバンドチャネルＴL,Inの極性を反転して、反転されたインバンドチャネルＴL,In’を生成する。逆測推定器６３０は、反転されたインバンドチャネルＴL,In’を受け取り、フィルタリングを通じて、逆測音成分に対応する反転されたインバンドチャネルＴL,In’の一部を抽出する。フィルタリングは、反転されたインバンドチャネルＴL,In’で実行されるので、反逆測推定器６３０によって抽出された部分は、逆測のサウンド成分に起因するインバンドチャネルＴLの一部の逆になる。したがって、反逆測の推定器６３０によって抽出された部分は、左の反逆測のキャンセル成分ＳLとなり、これを対応するインバンドチャネルＴR,INに追加することができ、インバンドチャネルＴL,Inによる反逆測の音成分を低減する。いくつかの実施形態では、インバーター６２０と逆測推定器６３０は、異なる順序で実装される。
【００７４】
インバーター６２２と逆測推定器６４０は、インバンドチャネルＴRに関して同様の操作を行い、右側逆測キャンセル成分ＳRを生成する。従って、その詳細な説明は、本明細書では簡潔さのために省略される。
【００７５】
１つの例示的実装形態では、逆測推定器８２５Ａは、フィルタ８５２Ａ、アンプ８５４Ａ、及び遅延ユニット８５６Ａを含む。フィルタ６３２は反転入力チャネルＴL,In’を受け取り、フィルタリング機能を介して反逆測のサウンド成分に対応する反転インバンドチャネルＴL,In’の一部を抽出する。フィルタ実装の例としては、中心周波数が５０００〜１００００Ｈｚで選択され、Ｑが０．５〜１．０の範囲で選択されたＮｏｔｃｈまたはハイシェルフフィルタがある。デシベル（ＧｄＢ）単位のゲインは、式５から算出できる。
ＧdB＝−３．０−ｌｏｇ1.333（Ｄ）          式（５）
ここで、Ｄは、サンプル中の遅延ユニット６３６および６４６による遅延量である。例えば、サンプリングレートは４８ＫＨｚである。別の実装方法としては、ローパスフィルタがあり、コーナー周波数は５０００〜１００００Ｈｚの範囲で選択され、Ｑは０．５〜１．０の範囲で選択される。さらに、アンプ６３４は、対応するゲイン係数ＧL,INによって抽出部分を増幅し、遅延ユニット６３６は遅延機能Ｄに従ってアンプ６３４からの増幅出力を遅延させ、左側逆測キャンセル成分ＳLを生成する。逆測推定器６４０には、フィルタ６４２、アンプ６４４、および遅延ユニット６４６が含まれている。このユニットは、反転されたインバンドチャネルＴR,IN’で同様の操作を実行して、右側逆測キャンセル成分ＳRを生成する。一例として、反逆測の推定６３０、６４０では、次の式に従って、左右の逆測キャンセル成分ＳL、ＳRが生成される。
ＳL＝Ｄ［ＧL、IN＊Ｆ［ＴL,IN’］］          式（６）
ＳR＝Ｄ［ＧR、IN＊Ｆ［ＴR,IN’］］          式（７）
ここで、Ｆ［］はフィルタ関数、Ｄ［］は遅延関数である。
【００７６】
クロストークキャンセルの設定は、スピーカーのパラメータによって決定できる。例えば、２つのスピーカー２８０間のリスナーに対する角度に応じて、フィルタの中心周波数、遅延量、アンプゲイン、およびフィルタゲインを決定できる。いくつかの実施形態では、スピーカー角度間の値を使用して他の値を補間する。
【００７７】
結合器６５０は、右側逆測キャンセル成分ＳRと左側インバンドチャネルＴL,INを結合して、左側インバンドクロストークチャネルＵLを生成する。また、結合器６５２は、左側逆測キャンセル成分ＳLを右側インバンドチャネルＴR,INに結合して、右側インバンドクロストークチャネルＵRを生成する。インアウトバンド結合器６６０は、左インバンドクロストークチャネルＵLとアウトバンドチャネルＴL,OUTを結合して、左出力チャネルＯLを生成する。また、右インバンドクロストークチャネルＵRとアウトバンドチャネルＴR,OUTを結合して、右出力チャネルＯRを生成する。
【００７８】
したがって、左の出力チャネルＯLには逆測の音に関連してインバンドチャネルＴR,INの一部の反転に対応する逆測キャンセル成分ＳRが含まれる。また、右出力チャネルＯRには、逆測の音に関連して、インバンドチャネルＴR,INの一部の逆に対応する左逆測キャンセ成分ＳLが含まれる。この構成では、右耳に到達した右出力チャネルＯRに応じて右スピーカーから出力した同側サウンド成分の波面は、左出力チャネルＯLに応じて左スピーカーから出力された逆測サウンド成分の波面をキャンセルすることができる。同様に、左耳に到達した左出力チャネルＯLに応じて左スピーカーから出力された同側サウンド成分の波面は、右出力チャネルＯRに応じて、右スピーカーから出力された逆測サウンド成分の波面をキャンセルすることができる。これにより、空間的検出性を高めるために逆測音を低減することができる。
【００７９】
（空間強調プロセッサの例）
図７は、いくつかの実施形態による空間強調プロセッサ７００の概略ブロック図である。空間強調プロセッサ７００は、クロストーク処理がヘッドフォンを使用するクライアントデバイス１３０のクロストークシミュレーションである空間強調プロセッサ１２０の一例である。空間強調プロセッサ７００は、入力オーディオ信号Ｘのクロストークシミュレーションを実行して、左ヘッドフォンの左出力チャネルＯLと右ヘッドフォンの右出力チャネルＯRを含む出力オーディオ信号Ｏを生成する。左の入力チャネルＸLは空間混合プロセッサ１１０からの左の出力チャネル１４２、右の入力チャネルＸRは空間混合プロセッサ１１０からの右の出力チャネル１４４となることがある。左強調チャネルのＯLは左強調チャネル１４６に対応し、右強調チャネルのＯRは右強調チャネル１４８に対応する。
【００８０】
空間強調プロセッサ７００には、サブバンド空間プロセッサ３１０、クロストーク補正プロセッサ７２０、クロストークシミュレーションプロセッサ７８０、および結合器７６０が含まれる。クロストーク補正プロセッサ７２０はチャネルＸLおよびＸRを受け取り、クロストークシミュレーションプロセッサ７８０により生成された左クロストークシミュレーション信号ＷLと右クロストークシミュレーション信号ＷRを含むクロストークシミュレーション信号Ｗと、サブバンド空間プロセッサ３１０により生成された左強調チャネルＥLと右強調チャネルＥRを含む強調信号Ｅの結合におけるアーチファクト補正処理を実行する。クロストーク補正プロセッサ７２０は、左クロストーク補正チャネルＺLおよび右クロストーク補正チャネルＺRを含むクロストーク補正信号Ｚを生成する。クロストークシミュレーションプロセッサ７８０は、左クロストークシミュレーションチャネルＷLおよび右クロストークシミュレーションチャネルＷRを生成する。サブバンド空間プロセッサ３１０は、左強調チャネルＥLと右強調チャネルＥRを生成する。クロストークシミュレーションプロセッサ７８０の詳細については、以下の図８で説明される。
【００８１】
結合器７６０は、左強調チャネルＥL、右強調チャネルＥR、左クロストークシミュレーションチャネルＷL、右クロストークシミュレーションチャネルＷR、左クロストーク補正チャネルＺL、および右クロストーク補正チャネルＺRを受信する。結合器７６０は、左強調チャネルＥL、右クロストークシミュレーションチャネルＷR、および左クロストーク補正チャネルＺLを結合し、左出力チャネルＯLを生成する。結合器７６０は、左強調チャネルＥL、右クロストークシミュレーションチャネルＷR、および左クロストーク補正チャネルＺLを結合することで、右出力チャネルＯRを生成する。
【００８２】
（クロストークシミュレーションプロセッサの例）
図８はいくつかの実施形態におけるクロストークシミュレーションプロセッサ７８０の概略ブロック図である。クロストークシミュレーションプロセッサ７８０は、ステレオヘッドフォンに出力する逆測サウンド成分を生成し、ヘッドフォンでスピーカーのようなリスニング体験を提供する。左入力チャネルＸLは、空間混合プロセッサ１１０からの左出力チャネル１４２であり得、右入力チャネルＸRは、空間混合プロセッサ１１０からの右出力チャネル１４４であり得る。
【００８３】
クロストークシミュレーションプロセッサ７８０には、左入力チャネルＸLを処理するために左ヘッドシャドウローパスフィルタ８０２、左ヘッドシャドウハイパスフィルタ８２４、左クロストーク遅延８０４、左ヘッドシャドウゲイン８１０が含まれている。クロストークシミュレーションプロセッサ７８０には、右入力チャネルＸRを処理するために右ヘッドシャドウローパスフィルタ８０６、右ヘッドシャドウハイパスフィルタ８２６、右クロストーク遅延８０８、右ヘッドシャドウゲイン８１２が含まれている。左ヘッドシャドウローパスフィルタ８０２および左ヘッドシャドウハイパスフィルタ８２４は、リスナーのヘッドを通過した後の信号の周波数応答をモデル化する左入力チャネルＸLに変調を適用する。左ヘッドシャドウハイパスフィルタ８２４の出力は、時間遅延を適用する左クロストーク遅延８０４に提供される。遅延時間は、同側サウンド成分に対して逆測サウンド成分によって横断される耳の距離を表す。左ヘッドシャドウゲイン８１０は、左クロストーク遅延８０４の出力にゲインを適用して、右左シミュレーションチャネルＷLを生成する。
【００８４】
同様に、右入力チャネルＸRの場合、右ヘッドシャドウローパスフィルタ８０６および右ヘッドシャドウハイパスフィルタ８２６は、リスナーのヘッドの周波数応答をモデル化する右入力チャネルＸRに変調を適する。右ヘッドシャドウハイパスフィルタ８２６の出力は、時間遅延を適用する右クロストーク遅延８０８に提供される。右ヘッドシャドウゲイン８１２は、右クロストーク遅延８０８の出力にゲインを適用して、右クロストークシミュレーションチャネルＷRを生成する。
【００８５】
左右の各チャネルのヘッドシャドウローパスフィルタ、ヘッドシャドウハイパスフィルタ、クロストーク遅延、およびヘッドシャドウゲインの適用は、異なる順序で実行できる。
【００８６】
（カンファレンス処理の例）
図９は、いくつかの実施形態におけるクライアントデバイス間でカンファレンスを行うためのプロセス９００のフローチャートである。プロセス９００は、クライアントデバイス１３０からの入力オーディオストリームを含む、空間強調ステレオフォニックオーディオストリームをクライアントデバイス１３０に提供するために実行される。プロセス９００は、いくつかのステップまたは追加のステップを含むことができ、ステップは異なる順序で実行することができる。プロセス９００は、いくつかの実施形態による、オーディオ処理システム１００の図をそれぞれが含む図９および１０を参照して説明される。
【００８７】
サーバー１０２（例えば、空間混合プロセッサ１１０を有する）は、複数のクライアントデバイス１３０から９０５の入力オーディオストリームを受信する。例えば、オーディオストリームには、モノラルオーディオストリームが含まれ得る。別の例では、１つまたは複数の入力オーディオストリームに複数のオーディオチャネル（ステレオ、５．１チャネルサラウンドサウンド、１次オーダーのアビソニックなど）が含まれる場合がある。入力オーディオストリームは、ネットワーク経由で複数のクライアントデバイス１３０から送信できる。いくつかの実施形態では、各クライアントデバイス１３０は、入力オーディオストリームに関連してメタデータを送信する。メタデータには、クライアントデバイスを識別するデバイス識別データ、他のクライアントデバイスの他のオーディオストリームの必要な空間的位置を定義する配置データが含まれる場合がある。
【００８８】
サーバー１０２（例えば空間混合プロセッサ１１０を有する）は、クライアントデバイス１３０では、サウンドフィールド内の他のクライアントデバイス１３０の空間的な位置を定義する配置データ９１０を決定する。配置データはさまざまな方法で定義できる。例えば、配置データは、クライアントデバイスからメタデータとして受信するか、サーバー１０２によって事前定義されている場合がある。いくつかの実施形態では、ユーザーパンコントロールがない場合、クライアントデバイス１３０が自動的にパンされる。ユーザーは、好みに応じてオーディオをパンすることもできる。
【００８９】
サーバー１０２（例えば、空間混合プロセッサ１１０を有する）は、入力オーディオストリームを配置データに従って混合およびパンすることで、９１５Ａ混合ストリームを生成する。混合ストリームは、左混合チャネルと右混合チャネルを含むステレオオーディオ信号であり得る。例えば、空間混合プロセッサ１１０は、サウンドフィールド内のオーディオストリーム１４０の空間位置を決定することができ、オーディオストリーム１４０に関連付けられた空間位置に応じて、オーディオストリーム１４０から左チャネルと右チャネルを生成し得る。左右のチャネルは、他のクライアントデバイス１３０のオーディオストリーム１４０ごとに生成さる。複数のオーディオストリーム１４０の左側のチャネルは左混合チャネル１４２に結合され、右側のチャネル１４０は右混合チャネル１４４に結合さる。
【００９０】
図１０を参照すると、複数のクライアントデバイス１３０Ａ、１３０ｂ、１３０Ｃ、および１４０Ｄがカンファレンスに参加し、サーバー１１０に接続されている。クライアントデバイス１３０Ａの場合、クライアントデバイス１３０Ａの周囲にサウンドフィールド１００２が定義される。配置データに従って、他のクライアントデバイス１３０ｂ、１３０Ｃ、および１３０ｄがサウンドフィールド１００２に配置される。サウンドフィールド１００２には、間隔をおいたクライアントデバイス１３０の均一な空間分布が示されているが、空間分布は必ずしも均一ではない。例えば、クライアントデバイス１３０は、ユーザーロール、エンティティ／会社名、グループメンバーシップ、カンファレンス室の場所、地理的な場所、ＩＰアドレスなどを定義する配置データに基づいて、サウンドフィールド１００２内に分散され得る。
【００９１】
サーバー１０２（空間強調プロセッサ１２０を搭載）は、サブバンド空間処理とクロストーク処理を混合ストリームに適用することで、空間的に強調されたストリーム９２０を生成する。空間的に強調されたストリームは、左強調チャネルと右強調チャネルを含むステレオオーディオ信号の場合がある。空間強調プロセッサ１２０は、さまざまなタイプの空間強調を実行できる。サブバンド空間処理の場合、空間強調プロセッサ１２０は、左混合チャネルのミッドおよびサイドサブバンド成分と混合ストリームの右混合チャネルをゲイン調整することによって、左チャネルと右チャネルを生成する。クロストーク処理には、クライアントデバイス１３０がスピーカーとヘッドフォンのどちらを使用しているかによって、クロストークキャンセルやクロストークのシミュレーションが含まれる場合がある。いくつかの実施形態では、クライアントデバイス１３０ごとに異なるタイプの空間強調が実行されることがある。
【００９２】
いくつかの実施形態では、クライアントデバイス１３０の混合ストリームに適用される空間強調処理は、クライアントデバイス１３０からのデバイス情報に基づく。デバイス情報には、スピーカーパラメータ（サイズ、周波数応答、位置、方向など）や、フィルタ値、ゲイン値、時間遅延値、空間強調効果の強度などの空間強調プロセッサの動作パラメータなど、空間強調プロセッサ１２０の成分のパラメータが含まれる場合がある。いくつかの実施形態では空間強調プロセッサ１２０の動作パラメータは、スピーカーパラメータから導出される。クライアントデバイス１３０のタイプごとに、異なるタイプの空間強調処理を使用できる。例えば、クライアントデバイス１３０は、スピーカーのタイプ（スピーカーやヘッドフォンなど）やスピーカーのパラメータ（周波数特性、相対サイズ、相対的な向きなど）によって異なる場合がある。
【００９３】
いくつかの実施形態では、サーバー１０２は、各クライアントデバイスからデバイスの説明を受信し、デバイスの説明に基づいて空間強調プロセッサ１２０のパラメータを決定する。デバイスの説明には、ラップトップ、サウンドバー、ヘッドフォン、スピーカー、デスクトップスピーカーなどのクライアントデバイスのタイプが表示される場合がある。さまざまなタイプのクライアントデバイスが異なるパラメータに関連付けられ、パラメータはデバイスのタイプに基づいて選択される。
【００９４】
サーバー１０２は、クライアントデバイス１３０に空間強調ストリーム９２５を提供する。例えば、サーバー１０２は、左強調チャネルと右強調チャネルを含む空間強調ストリームをネットワーク経由でクライアントデバイス１３０に送信する。左強調チャネルは左スピーカー１５２に、右強調チャネルは右スピーカー１５４に提供され、空間強調ストリームに応じてサウンドを再現する。
【００９５】
いくつかの実施形態では、サーバー１０２（空間混合プロセッサ１１０など）は、空間強調ストリーム（または混合ストリーム）に関連して、各クライアントデバイス１３０にパニングメタデータを提供する。パニングメタデータには、オーディオストリームの参加者を識別する情報が含まれ得る。参加者は、ユーザーロール、エンティティ／会社名、グループメンバーシップ、部屋の場所、地理的な場所、ＩＰアドレスによって識別できる。
【００９６】
いくつかの実施形態では、サーバー１０２は、クライアントデバイス１３０ごとに空間強調処理を行うために、クライアントデバイス１３０に混合ストリームを提供する。クライアントデバイス１３０には、混合ストリームを使用して左右の強調チャネルを生成する空間強調プロセッサ１２０を含む。図１１を参照すると、各クライアントデバイス１３０Ａ〜１３０ｄには、空間強調プロセッサ１２０が含まれており、空間混合プロセッサ１１０からの混合ストリームを処理する。クライアントデバイス１２０の空間強調プロセッサ１２０で使用される空間拡張プロセッサ１２０の成分のパラメータやデバイス情報はサーバー１０２に送信する必要はない。前述したように、さまざまなタイプの空間強調処理が、さまざまなタイプのクライアントデバイス１３０およびスピーカー構成に使用され得る。
【００９７】
いくつかの実施形態では、サーバー１０２はオーディオ信号１４０の混合されていないストリームをクライアントデバイス１３０に提供し、クライアントデバイス１３０は空間強調によりステレオミックスダウンされる。図１２を参照すると、各クライアントデバイス１３０Ａ〜１３０ｄには、ミックスダウンを実行して混合ストリームを生成する空間混合プロセッサ１１０と、空間混合プロセッサ１１０からの混合ストリームを処理する空間強調プロセッサ１２０が含まれている。サーバー１０２は、クライアントデバイス１３０Ａから１３０ｄへの接続と、他のクライアントデバイス１３０から各クライアントデバイス１３０への入力信号１４０の提供を仲介する。いくつかの実施形態では、ピアツーピア構成など、各クライアントデバイス１３０はサーバー１０２を使用せずに相互に接続される。ここでは、各クライアントデバイス１３０が他のクライアントデバイス１３０にオーディオストリーム１４０を提供する。
【００９８】
ステップ９１０−９２５は、カンファレンスに参加しているクライアントデバイス１３０ごとに並行して実行することができる。クライアントデバイス１３０ごとに、１つまたは複数の他のクライアントデバイス１３０の入力オーディオストリームから異なる混合ストリームを生成できる。サーバー１０２には、クライアントデバイスごとに空間強調プロセッサ１２０の複数のインスタンスが含まれ、それぞれ異なる混合ストリームを処理する。さらに、ステップ９１０−９２５を繰り返して、カンファレンスに参加している各クライアントデバイス１３０にオーディオストリームの入出力を提供できる。
【００９９】
（コンピュータの例）
図１３は、一実施形態によるコンピュータ１３００の概略ブロック図である。コンピュータ１３００は、オーディオシステムを実装する回路の一例である。図は、チップセット１３０４に１つ以上のプロセッサ１３０２を結合したものである。チップセット１３０４は、メモリコントローラハブ１３２０とＩ／Ｏコントローラハブ１３２２を搭載している。メモリ１３０６とグラフィックスアダプタ１３１２はメモリコントローラハブ１３２０に接続され、ディスプレイデバイス１３１８はグラフィックスアダプタ１３１２に接続されている。ストレージデバイス１３０８、キーボード１３１０、ポインティングデバイス１３１４、およびネットワークアダプタ１３１６は、Ｉ／Ｏコントローラハブ１３２２に接続されている。コンピュータ１３００には、さまざまなタイプの入出力デバイスが含まれ得る。コンピュータ１３００の他の実施形態には、異なるアーキテクチャがある。例えば、いくつかの実施形態によると、メモリ１３０６はプロセッサ１３０２に直接結合されている。
【０１００】
ストレージデバイス１３０８には、ハードドライブ、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、ＤＶＤ、ソリッドステートメモリデバイスなど、一時的にコンピュータで読み取り可能な１つ以上のストレージメディアが含まれている。メモリ１３０６は、プログラムコード（１つ以上の命令で構成される）とプロセッサ１３０２が使用するデータを保持する。プログラムコードは、図１から図１１で説明されている処理面に対応し得る。
【０１０１】
ポインティングデバイス１３１４をキーボード１３１０と組み合わせて使用し、コンピュータシステム１３００にデータを入力する。グラフィックスアダプタ１３１２は、ディスプレイデバイス１３１８に画像やその他の情報を表示する。いくつかの実施形態によると、ディスプレイ装置１３１８には、ユーザーの入力と選択を受信するためのタッチスクリーン機能が組み込まれている。ネットワークアダプタ１３１６は、コンピュータシステム１３００をネットワークに接続する。コンピュータ１３００のいくつかの実施形態は、図１３に示すものとは異なるものや、その他の成分を備えているものもある。
【０１０２】
本明細書で説明された範囲から逸脱することなく、当業者には明らかなはずの様々な修正形態、変更形態及び変形形態が、本明細書で開示された方法及び装置の配置、動作及び詳細において作製され得る。
【図１】
2021507284.tif 000010
【図２】
2021507284.tif 000011
【図３】
2021507284.tif 000012
【図４】
2021507284.tif 000013
【図５】
2021507284.tif 000014
【図６】
2021507284.tif 000015
【図７】
2021507284.tif 000016
【図８】
2021507284.tif 000017
【図９】
2021507284.tif 000018
【図１０】
2021507284.tif 000019
【図１１】
2021507284.tif 000020
【図１２】
2021507284.tif 000021
【図１３】
2021507284.tif 000022
【手続補正書】
【提出日】令和2年8月27日(2020.8.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のクライアントデバイスのうちの一クライアントデバイスに会議を提供する方法であって、
前記複数のクライアントデバイスから入力オーディオストリームを受信すること、
前記複数のクライアントデバイスの前記クライアントデバイスについて、サウンドフィールド内の前記複数のクライアントデバイスの他のクライアントデバイスの空間位置を定義する配置データを決定すること、
前記配置データに従って前記他のクライアントデバイスの入力オーディオストリームを混合およびパンすることにより、左混合チャネルおよび右混合チャネルを含む前記クライアントデバイスのための混合ストリームを生成すること、
サブバンド空間処理を前記混合ストリームの前記左混合チャネルと前記右混合チャネルに適用させることによって左強調チャネルと右強調チャネルを含む空間強調ストリームを生成することであり、前記サブバンド空間処理は
前記左混合チャネルと前記右混合チャネルのミッド成分のミッドサブバンド成分に第１のゲインを適用して、強調ミッド成分を生成し、
前記左混合チャネルと前記右混合チャネルのサイド成分のサイドサブバンド成分に第２のゲインを適用して、強調サイド成分を生成し、
前記強調ミッド成分と前記強調サイド成分を使用して、前記左強調チャネルと前記右強調チャネルを生成すること、
を含み、および
前記空間強調ストリームの前記左強調チャネルを前記クライアントデバイスの左スピーカに提供し、前記空間強調ストリームの前記右強調チャネルを前記クライアントデバイスの右スピーカに提供すること、
を備えた方法。
【請求項２】
前記配置データを決定することは、ネットワークを介して前記クライアントデバイスから前記配置データを受信することを含む、請求項１に記載の方法。
【請求項３】
前記クライアントデバイスからの前記各入力オーディオストリームは、１つまたは複数のオーディオチャネルを含む、請求項１に記載の方法。
【請求項４】
配置データに従って前記他のクライアントデバイスの前記入力オーディオストリームを混合およびパンすることによって、前記左混合チャネルおよび前記右混合チャネルを含む前記クライアントデバイスのための混合ストリームを生成することは、
前記サウンドフィールド内の前記他のクライアントデバイスの前記空間位置に従って、前記他のクライアントデバイスの前記入力オーディオストリームのそれぞれから左チャネルおよび右チャネルを生成すること、
前記左混合チャネルを生成するために前記他のクライアントデバイスの入力オーディオストリームから左チャネルを結合すること、および
前記右混合チャネルを生成するために前記他のクライアントデバイスの入力オーディオストリームから右チャネルを結合すること
を含む、請求項１に記載の方法。
【請求項５】
前記複数のクライアントデバイスに接続されたサーバーは、前記混合ストリームを生成し、前記混合ストリームを前記クライアントデバイスに提供し、および
前記クライアントデバイスは、前記混合ストリームから前記空間強調ストリームを生成する、請求項１に記載の方法。
【請求項６】
前記複数のクライアントデバイスに接続されたサーバーが、前記混合ストリームおよび前記空間強調ストリームを生成し、前記空間強調ストリームを前記クライアントデバイスに提供する、請求項１に記載の方法。
【請求項７】
前記サーバーは、前記クライアントデバイスからデバイスの説明を受信し、前記デバイスの説明に基づいて、前記サブバンド空間処理を適用するためのパラメータを決定する、請求項６に記載の方法。
【請求項８】
前記クライアントデバイスは、前記混合ストリームおよび前記空間強調ストリームを生成する、請求項１に記載の方法。
【請求項９】
プロセッサによって実行されると、
複数のクライアントデバイスから入力オーディオストリームを受信し、
前記複数のクライアントデバイスの前記クライアントデバイスについて、サウンドフィールド内の前記複数のクライアントデバイスの他のクライアントデバイスの空間位置を定義する配置データを決定し、
前記配置データに従って前記他のクライアントデバイスの入力オーディオストリームを混合およびパンすることにより、左混合チャネルおよび右混合チャネルを含む前記クライアントデバイスのための混合ストリームを生成し、
サブバンド空間処理を前記混合ストリームの前記左混合チャネルと前記右混合チャネルに適用させることによって左強調チャネルと右強調チャネルを含む空間強調ストリームを生成することであり、前記サブバンド空間処理は
前記左混合チャネルと前記右混合チャネルのミッド成分のミッドサブバンド成分に第１のゲインを適用して、強調ミッド成分を生成し、
前記左混合チャネルと前記右混合チャネルのサイド成分のサイドサブバンド成分に第２のゲインを適用して、強調サイド成分を生成し、
前記強調ミッド成分と前記強調サイド成分を使用して、前記左強調チャネルと前記右強調チャネルを生成すること、
を含み、および
前記空間強調ストリームの前記左強調チャネルを前記クライアントデバイスの左スピーカに提供し、前記空間強調ストリームの前記右強調チャネルを前記クライアントデバイスの右スピーカに提供するように
前記プロセッサを構成するプログラムコードを格納する非一時的なコンピュータ可読媒体。
【請求項１０】
前記プログラムコードは前記混合ストリームの前記左混合チャネルと前記右混合チャネルにクロストーク処理を適用するように前記プロセッサをさらに構成するプログラムコードを含む前記空間強調ストリームを生成するように前記プロセッサを構成することを特徴とする請求項９に記載のコンピュータ可読媒体。
【請求項１１】
実行されると、前記クライアントデバイスからデバイスの説明を受信し、前記デバイスの説明に基づいて前記サブバンド空間処理を適用するためのパラメータを決定するように前記プロセッサをさらに構成するプログラムコードをさらに備える、請求項９に記載のコンピュータ可読媒体。
【請求項１２】
前記クロストーク処理はクロストークキャンセルまたはクロストークシミュレーションを含み、前記空間強調ストリームが生成されるように前記プロセッサを構成するプログラムコードは、実行されると、前記混合ストリームに前記クロストーク処理を適用することによって引き起こされるスペクトル障害を調整する、前記混合ストリームへのクロストーク補正を適用するように前記プロセッサを構成するプログラムコードを含む、請求項１０に記載のコンピュータ可読媒体。
【請求項１３】
実行されると、前記左混合チャネルおよび前記右混合チャネルを含む混合ストリームを前記クライアントデバイスに提供するように前記プロセッサを構成するプログラムコードをさらに備える、請求項９に記載のコンピュータ可読媒体。
【請求項１４】
実行されると、ネットワークを介して前記クライアントデバイスから前記配置データを受信するように前記プロセッサを構成する命令を含む前記配置データを決定するように前記プロセッサをさらに構成するプログラムコードをさらに備える、請求項１０に記載のコンピュータ可読媒体。
【請求項１５】
前記複数のクライアントデバイスからの前記入力オーディオストリームのそれぞれが、１つまたは複数のオーディオチャネルを含む、請求項９に記載のコンピュータ可読媒体。
【請求項１６】
前記配置データに従って前記他のクライアントデバイスの前記入力オーディオストリームを混合およびパンすることにより、前記左混合チャネルと前記右混合チャネルを含む前記クライアントデバイスの前記混合ストリームを生成するように前記プロセッサを構成する前記プログラムコードは、
前記サウンドフィールド内の前記他のクライアントデバイスの前記空間位置に従って、前記他のクライアントデバイスの前記入力オーディオストリームのそれぞれから左チャネルおよび右チャネルを生成し、
前記左混合チャネルを生成するために前記他のクライアントデバイスの入力オーディオストリームから左チャネルを結合し、
前記右混合チャネルを生成するために前記他のクライアントデバイスの入力オーディオストリームから右チャネルを結合するように
前記プロセッサをさらに構成するプログラムコードを含む、請求項９に記載のコンピュータ可読媒体。
【請求項１７】
複数のクライアントデバイスのうちの一つのクライアントデバイスにカンファレンスを提供するためのシステムであって、
前記複数のクライアントデバイスから入力オーディオストリームを受信し、
前記複数のクライアントデバイスのうちの前記一つクライアントデバイスに対してサウンドフィールド内の前記複数のクライアントデバイスのうちの他のクライアントデバイスの空間位置を定義する配置データを決定し、
前記複数のクライアントデバイスのうちの前記一つクライアントデバイスに対して、前記配置データに従って前記複数のクライアントデバイスのうちの前記他のクライアントデバイスの入力オーディオストリームを混合およびパンすることによって左混合チャネルおよび右混合チャネルを含む混合ストリームを生成し
サブバンド空間処理を前記混合ストリームの前記左混合チャネルと前記右混合チャネルに適用させることによって左強調チャネルと右強調チャネルを含む空間強調ストリームを生成することであり、前記サブバンド空間処理は
前記左混合チャネルと前記右混合チャネルのミッド成分のミッドサブバンド成分に第１のゲインを適用して、強調ミッド成分を生成し、
前記左混合チャネルと前記右混合チャネルのサイド成分のサイドサブバンド成分に第２のゲインを適用して、強調サイド成分を生成し、
前記強調ミッド成分と前記強調サイド成分を使用して、前記左強調チャネルと前記右強調チャネルを生成すること、を含む
ように構成される処理回路を備えたシステム。
【請求項１８】
前記空間強調ストリームを生成するように構成された前記処理回路は前記混合ストリームの前記左混合チャネルと前記右混合チャネルにクロストーク処理を適用するようにさらに構成されている前記処理回路を含む請求項１７に記載のシステム。
【請求項１９】
前記複数のクライアントデバイスからのそれぞれの前記入力オーディオストリームは一つまたは複数のオーディオチャネルを含む、請求項１７に記載のシステム。
【請求項２０】
前記処理回路は、前記左混合チャネルおよび前記右混合チャネルを含む前記混合ストリームを前記複数のクライアントデバイスのうちの前記一つのクライアントデバイスに提供するようにさらに構成される、請求項１７に記載のシステム。
【請求項２１】
前記空間強調ストリームを生成することは、前記混合ストリームの前記左混合チャネルと前記右混合チャネルにクロストーク処理を適用することを含む請求項１に記載の方法。
【請求項２２】
前記クロストーク処理はクロストークキャンセレーションまたはクロストークシミュレーションを含み、前記空間強調ストリームは前記混合ストリームに前記クロストーク処理を適用させることによって引き起こされるスペクトル障害を調整する前記混合ストリームにクロストーク補正を適用することを含む請求項２１に記載の方法。
【国際調査報告】
2021507284.tif 000023
2021507284.tif 000024