(57)【特許請求の範囲】
【請求項１】
インプット信号を処理して３次元オーディオエフェクトを生成する処理システムであって、前記処理システムは、
インプット信号からバイノーラルキューのセットを抽出するように構成され、更に、バイノーラルキューの抽出されたセットの少なくとも一部を伝送のために少なくとも一つの指向性ラウドスピーカに送信するように構成されたキュー送信パスと、
アンビアンスサウンドを含むインプット信号の少なくとも一部を伝送のために少なくとも一つの従来のラウドスピーカに送信するように構成されたアンビアンス送信パスと
を含む処理システム。
【請求項２】
前記アンビアンス送信パスは、インプット信号から、バイノーラルキューの抽出されたセットの少なくとも一部を差し引いて、アンビアンスサウンドを含むインプット信号の一部を抽出する
請求項１に記載の処理システム。
【請求項３】
インプット信号から差し引かれた、バイノーラルキューの抽出されたセットの一部が、調整可能である請求項２に記載の処理システム。
【請求項４】
少なくとも一つの指向性ラウドスピーカに送信されるバイノーラルキューの抽出されたセットの一部が、調整可能である請求項１乃至請求項３のうちのいずれか一に記載の処理システム。
【請求項５】
キュー送信パスは、インプット信号からバイノーラルキューのセットを抽出するように構成されたキュー抽出モジュールを含む、請求項１乃至請求項４のうちのいずれか一に記載の処理システム。
【請求項６】
処理システムは、サラウンドラウドスピーカ及び非サラウンドラウドスピーカを含む複数の従来のラウドスピーカと結合し、
前記アンビアンス送信パスは、バイノーラルキューの抽出されたセットの少なくとも一部を伝送のためにサラウンドラウドスピーカに送信するように構成され、更に、アンビアンスサウンドを含むインプット信号の一部エフェクトオーディオ伝送のために非サラウンドラウドスピーカに送信するように構成されている
請求項５に記載の処理システム。
【請求項７】
前記アンビアンス送信パスは、
前記アンビアンス送信パスが、アンビアンスサウンドを含むインプット信号の一部を少なくとも一つの従来のラウドスピーカに送信する前に、アンビアンスサウンドを含むインプット信号の一部を再構成して、少なくとも一つの従来のラウドスピーカの構成と適合させるように動作する、再構成モードと、
前記アンビアンス送信パスが、アンビアンスサウンドを含むインプット信号の一部を少なくとも一つの従来のラウドスピーカに直接に送信するように構成された、ダイレクトスルーモードと
を含む複数のモードで動作する、請求項１乃至６のうちのいずれか一に記載の処理システム。
【請求項８】
前記アンビアンス送信パスは、アンビアンスサウンドを含むインプット信号の一部を再構成して少なくとも一つの従来のラウドスピーカの構成と適合させるように動作する、再構成モジュールを含む、請求項１乃至７のうちのいずれか一に記載の処理システム。
【請求項９】
前記キュー送信パスは更に、少なくとも一つの指向性ラウドスピーカに送信されるバイノーラルキューの抽出されたセットの一部を再構成して、少なくとも一つの指向性ラウドスピーカの構成と適合させるように動作する、更なる再構成モジュールを含む、請求項８に記載の処理システム。
【請求項１０】
前記キュー送信パスは更に、少なくとも一つの指向性ラウドスピーカに送信されるバイノーラルキューの抽出されたセットの一部を変調するように構成されたプレ処理モジュールを含み、
請求項１乃至９のうちのいずれか一に記載の処理システム。
【請求項１１】
インプット信号が複数のチャンネルを含み、キュー送信パスの少なくとも一部がインプット信号の個々のチャンネルを独立して処理するように構成されている
請求項１乃至１０のうちのいずれか一に記載の処理システム。
【請求項１２】
前記キュー送信パスが、インプット信号の一つ若しくはそれ以上のチャンネルの各々からバイノーラルキューのグループを抽出するように構成され、更に、バイノーラルキューの抽出されたグループの各々の少なくとも一部を少なくとも一つの指向性ラウドスピーカに送信するように構成されている
請求項１１に記載の処理システム。
【請求項１３】
少なくとも一つの指向性ラウドスピーカに送信されるバイノーラルキューの抽出されたグループの各々の一部が独立して調整可能である
請求項１２に記載の処理システム。
【請求項１４】
インプット信号が、複数のチャンネルを含み、前記アンビアンス送信パスの少なくとも一部が、インプット信号の個々のチャンネルを独立して処理するように構成された
請求項１乃至１３のうちのいずれか一に記載の処理システム。
【請求項１５】
前記アンビアンス送信パスが、インプット信号の一つ若しくはそれ以上のチャンネルの各々から、チャンネルから抽出されたバイノーラルキューのグループの少なくとも一部を差し引くように構成されている
請求項１４に記載の処理システム。
【請求項１６】
インプット信号の夫々のチャンネルから差し引かれるバイノーラルキューの個々のグループの一部は、独立して調整可能である
請求項１５に記載の処理システム。
【請求項１７】
インプット信号は、複数の周波数帯を含み、前記キュー送信パスと前記アンビアンス送信パスのうちの一つ若しくは両方のうちの少なくとも一部が、個々の周波数帯を独立して処理するように構成されている
請求項１乃至１６のうちのいずれか一に記載の処理システム。
【請求項１８】
インプット信号が複数のチャンネルを含み、個々のチャンネルが複数の周波数帯を含み、
前記キュー送信パスと前記アンビアンス送信パスのうちの一つ若しくは両方のうちの少なくとも一部が、個々のチャンネルの個々の周波数帯を独立して処理するように構成されている
請求項１乃至１７のうちのいずれか一に記載の処理システム。
【請求項１９】
ユーザの位置及びユーザの頭部の移動のうちの一つ若しくは両方を追跡するように構成されたビデオ追跡モジュールを更に含む、
請求項１乃至１８のうちのいずれか一に記載の処理システム。
【請求項２０】
オーディオシステムであって、
請求項１乃至１９のうちのいずれか一に記載の処理システムにより、３次元オーディオエフェクトを生成するように、インプット信号を処理する処理システムと、
伝送のためにバイノーラルキューの抽出されたセットの一部を受信するように構成された、少なくとも一つの指向性ラウドスピーカと、
伝送のためにアンビアンスサウンドを含むインプット信号の一部を受信するように構成された、少なくとも一つの従来のラウドスピーカと
を含む、オーディオシステム。
【請求項２１】
前記オーディオシステムが更に、
処理システムのビデオ追跡モジュールと協働し、ユーザの位置及びユーザの頭部の移動のうちの一つ若しくは両方に従って、少なくとも一つの指向性ラウドスピーカからのサウンドビームを操縦する、ステアリング機構を含む、
請求項１９を引用するときの請求項２０に係るオーディオシステム。
【請求項２２】
インプット信号を処理して３次元オーディオエフェクトを生成する方法であって、
前記方法は、
インプット信号からバイノーラルキューのセットを抽出して、バイノーラルキューの抽出したセットの少なくとも一部を伝送のために少なくとも一つの指向性ラウドスピーカに送信するステップと、
アンビアンスサウンドを含むインプット信号の少なくとも一部を伝送のために少なくとも一つの従来のラウドスピーカに送信するステップと
を含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元（３Ｄ）オーディオ効果を生成するためのインプット信号を処理するシステム及び方法に関する。処理システムは、複数のラウドスピーカと結合し３Ｄオーディオ効果を生成するオーディオシステムを形成する。
【背景技術】
【０００２】
３Ｄビジュアルコンテンツは、例えば、３Ｄゲーム、３Ｄムービー、及び３Ｄテレビジョン放送などで容易に利用可能である。迫真の３Ｄ環境を捜索するために、３Ｄビジュアルコンテンツの視聴者は、ある意味の広大さを体験し検知できることが好ましい（例えば、視聴者が仮想の森にいるときの典型的な森の広大さ）。例えば、視聴者が仮想の森の中を歩いている際、３Ｄビジュアルコンテンツと適合する３Ｄオーディオ効果が伴うことが好ましい。特に、視聴者は、オーディオコンテンツの様々な深さを体験できることが好ましい。
【０００３】
図１は、３Ｄのビジュアルとオーディオのコンテンツを一致させる例を示す。図１では、（３Ｄテレビショウ、３Ｄゲーム若しくは３Ｄムービーからのものである）３Ｄビジュアルコンテンツが、草原で視聴者の周りを蜂が飛ぶ画像を含む。オーディオコンテンツは、視聴者が草原の雰囲気を体験できるような（遠距離音の形態の）草原でのサウンドを含む。オーディオコンテンツは更に、視聴者が蜂の近傍を感じることができるような（バイノーラルキューを含む近距離音の形態の）蜂からのサウンドを含む。
【０００４】
３Ｄゲームは、それらが１人用シュータゲームであっても３人用シュータゲームであっても、アクションの中央にプレーヤのアバタを通常配置する。ゲーム体験のリアリズムを強化するため、３Ｄサウンドは、３Ｄゲーム内の３Ｄグラフィックスと共に、広範囲で用いられる。３Ｄゲーム内のオーディオコンテンツは、通常サウンドトラックを含み、該サウンドトラックは、ゲームのリアリズムを強化するために、オーディオ（若しくはバイノーラル）キューに埋め込まれた、アンビエンスサウンド及びサウンドエフェクトを含む。例えば、オーディオコンテンツは、プレーヤのアバタが仮想ルーム若しくは森の中にいるときに用いられ得る典型的なルーム若しくは森のアンビエンスサウンと、プレーヤのアバタに向かって飛んでくる弾丸のサウンドを反映する３Ｄオーディオキューとを、含み得る。３Ｄゲーム内のサウンドエフェクトは、Ｗｉｎｄｏｗｓ（登録商標）のＤｉｒｅｃｔ  Ｓｏｕｎｄなどの３Ｄオーディオ技術で通常処理され、これにより、ゲーム開発者は、プレーヤの周囲の仮想空間内の殆どどこでもサウンドエフェクトを配置して、ゲームの中に更なる規模のリアリズムを加えることができる。
【０００５】
ゲームアプリケーション以外に、ユーザ（リスナ）が自分が実際に特定の環境にいると実感できる聴覚体験を作成することが非常に望ましい、多数の他のアプリケーションが存在する。そのような没入型体験を形成することには、ユーザに与えられるオーディオサウンドが所与のレベルの広大さ及びエンベロップメントを提示することが要求される。広大さのレベルとは、ユーザに表現される空間のレベルであり、反射及び残響に対する直接サウンドの比率として、表現され得る。広大さは、２チャンネル（ステレオ）若しくはマルチチャンネル（２以上のチャンネル）システムを用いて達成され得る。但し、２チャンネルシステムに対しては、オーディオコンテンツの広大さ及び深さの次元は、システムで用いられる２つの従来のラウドスピーカの間の空間により抑制され得る。一方、エンベロップメント、即ち、サウンドに取り囲まれることの感覚は、マルチチャンネルシステムを用いてのみ通常達成可能である。エンベロップメントのレベルは、通常、システム内のスピーカの数、及び、これらのラウドスピーカの間のスペーシングに依存する。
【０００６】
上記例に示すように、ビジュアル及びオーディオキーの両方は、３Ｄテレビ放送、３Ｄゲーム及び３Ｄムービーなどの、３Ｄメディアで重要な役割を果たす。不幸なことに、従来のラウドスピーカの制約により、現下のオーディオシステムを用いる３Ｄメディアに対して、没入型サウンドを達成することは依然困難である。
【０００７】
マルチチャンネルシステム内でサラウンドスピーカを設定することにより３Ｄオーディオ効果を達成し得るが、空間に制約を伴う環境ではこれは問題がある。そのような環境では、２チャンネルシステムはより魅力的であるが、その利用は、より小さいサウンドフィールドを犠牲にする。更に、頭部伝達関数（ＨＲＴＦ）は、２チャンネルシステムを用いて所望のマルチチャンネルサウンドを概算するように要求されることが多い。個人的なＨＲＴＦが無ければ、頭部内位置特定及び前後混乱などの問題が生じ得る。更に、マルチチャンネルサウンドを概算するために２チャンネルシステムを用いることには、良好なクロストークキャンセルが要求される。このことは、このアプローチのパフォーマンスを制約する。というのは、クロストークキャンセルは、２つのサウンドフィールドの除去を要求するものであり、システム変動やエラーに非常に敏感となる傾向がある。更に、このようなアプローチはスイートスポットに依存するものである。ヘッドホンを用いることにより、このような問題（即ち、スイートスポット依存性及びクロストークキャンセルのための要求）を克服することは可能であるかもしれないが、この解決策は問題が無いというものではない。例えば、ヘッドホンを長く用いた後には、不快さ及び疲労が生じ得る。
【０００８】
仮想オーディオ／サウンド画像（即ち、オーディオ／サウンドエフェクト）を生成するための、３Ｄサウンド技術及び従来のラウドスピーカを用いる仮想サラウンドサウンドシステム（ＶＳＳＳ）も開発されてきた。しかしながら、そのような仮想システムを用いて生成されるオーディオエフェクト内には、通常、聴覚深さの欠如がある。更に、ＨＲＴＦの利用を要求するシステムと同様に、ＶＳＳＳは通常スイートスポットに依存する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】ＰＣＴ特許出願ＰＣＴ／ＳＧ２０１０／０００３１２
【特許文献２】米国特許出願第１１／５５８４８９号
【特許文献３】米国特許第６５８４２０５号
【特許文献４】米国特許第６２２９８９９号
【非特許文献】
【００１０】
【非特許文献１】Avendano, C. and Jot, J.-M. "Ambience extraction and synthesis from stereo signals for multi-channel audio up-mix", ICASSP, 2002
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明は、インプット信号を処理して３Ｄオーディオエフェクトを生成する、新規の有用な処理システム及び方法を提示することを目的とする。処理システムは、オーディオシステムを形成して３Ｄオーディオ効果を生成すべく、複数のラウドスピーカと統合されてもよい。処理システムは、オーディオ信号を生成する若しくはキャプチャするデバイスと、統合されてもよい。
【課題を解決するための手段】
【００１２】
一般的に、本発明は、インプット信号内の第１のグループの成分を少なくとも一つの指向性ラウドスピーカに伝送し、インプット信号の内の第２のグループの成分を少なくとも一つの従来のラウドスピーカに伝送するように構成された処理システムを提示する。本明細書では、従来のラウドスピーカは、サウンドの広拡散を行うように構成されたラウドスピーカとして定義されており（「広」により、従来のラウドスピーカからのサウンドの拡散の角度が３０°以上であることを意味する）、一方、本明細書では、指向性ラウドスピーカは、指向性のサウンドビームを行うように構成されたラウドスピーカとして定義されている（「指向性」により、指向性ラウドスピーカからのサウンドの拡散の角度が３０°以下であることを意味する）。更に、指向性ラウドスピーカは通常、変調した超音波を生成するパラメータラウドスピーカであり、一方、従来のラウドスピーカは通常、変調した超音波ビームを生成しない。
【００１３】
特に、本発明の第１の形態は、インプット信号を処理して３次元オーディオエフェクトを生成する処理システムであって、処理システムは、インプット信号からバイノーラルキューのセットを抽出するように構成され、更に、バイノーラルキューの抽出されたセットの少なくとも一部を伝送のために少なくとも一つの指向性ラウドスピーカに送信するように構成されたキュー送信パスと、アンビアンスサウンドを含むインプット信号の少なくとも一部を伝送のために少なくとも一つの従来のラウドスピーカに送信するように構成されたアンビアンス送信パスとを含む。
【００１４】
本発明の第２の形態は、インプット信号を処理して３次元オーディオエフェクトを生成する方法であって、方法は、インプット信号からバイノーラルキューのセットを抽出して、バイノーラルキューの抽出したセットの少なくとも一部を伝送のために少なくとも一つの指向性ラウドスピーカに送信するステップと、アンビアンスサウンドを含むインプット信号の少なくとも一部を伝送のために少なくとも一つの従来のラウドスピーカに送信するステップとを含む。
【発明の効果】
【００１５】
本発明は、指向性ラウドスピーカの指向性と従来のラウドスピーカの広拡散性を活用するので、有用である。従来のラウドスピーカの拡散性は、相当の程度の広大さを再現する助けとなるものであり、一方で、指向性ラウドスピーカは３Ｄサウンドプロジェクションに有用であるだけでなく、よりくっきりとしたより鮮明な聴覚による音像も達成できる。指向性ラウドスピーカは、これら聴覚による音像をユーザにより接近させてもたらすこともできる。よって、インプット信号から抽出されるバイノーラルキューのセットの一部を伝送するために少なくとも一つの指向性ラウドスピーカを用いることと、アンビアンスサウンドを含むインプット信号の一部を伝送するために少なくとも一つの従来のラウドスピーカを用いることとは、背景の音像をユーザに尚、発しつつも、ユーザに近接する鮮明な聴覚による音像を含む非常に集中的な音像を形成する助けとなる。
【図面の簡単な説明】
【００１６】
【図１】３Ｄビジュアル及びオーディオコンテンツを適合させる例を示す。
【図２】本発明の実施形態に係るオーディオシステムを示し、オーディオシステムは処理システムを含む。
【図３】図２の処理システムのキュー送信パス内でマルチチャンネルアプローチを用いる例を示すブロック図を示す。
【図４】図２の処理システムのアンビアンス送信パス内でマルチチャンネルアプローチを用いる例を示すブロック図を示し、ブロック図は更に、図２の処理システムのインプット信号の一部をダウンミキシングする例を示す。
【図５】第１の先行技術に係るパラメトリックラウドスピーカシステムを示す。
【図６】第２の先行技術に係るパラメトリックラウドスピーカシステムを示す。
【図７】図２の処理システム内で用いられるＭＡＭ技術を示すブロック図を示す。
【図８】図２の処理システムのキュー送信パス内でサブバンドアプローチを用いる例を示すブロック図を示す。
【図９】（ａ）−（ｄ）は、図２の処理システムが、異なるラウドスピーカ構成を有する異なるシステムとどのように統合されるかに関する異なる例を示す。
【図１０】ラウドスピーカが図２の処理システムと結合する、ビデオディスプレイ、従来のラウドスピーカ、及び指向性ラウドスピーカの例示のセットアップを示す。
【図１１】指向性ラウドスピーカを用いて仮想ラウドスピーカを作成しサラウンドラウドスピーカに置換する、先行技術のシステムを示す。
【図１２】（ａ）−（ｂ）異なる指向性を有するラウドスピーカにより生成されるオーディオ画像を示す。
【図１３】（ａ）−（ｂ）図２のオーディオシステムにより達成され得るサウンドスケープの例を示す。
【発明を実施するための形態】
【００１７】
図２は、本発明の実施形態に係るオーディオシステム２００（即ち、拡張オーディオシステム（ＡＡＳ））を示す。
【００１８】
オーディオシステム２００は、３Ｄオーディオエフェクトを生成するように機能する。図２に示すように、システム２００は、３Ｄオーディオエフェクトを生成するためのインプット信号２０２を処理する処理システム２０１を含む。インプット信号２０２は、オーディオ信号を含み得る。オーディオシステム２００は、また（２．０、２．１、４．０、５．１及び／又は７．１スピーカ構成に属するラウドスピーカである）複数の従来のラウドスピーカ２１２と、複数の指向性ラウドスピーカ２１４とを含む。図２では、システム２００は、全体でｍ個の従来のラウドスピーカ２１２とｋ個の指向性ラウドスピーカ２１４を含む。
【００１９】
オーディオシステムの様々な要素について以下詳しく説明する。
【００２０】
処理システム２０１は、キュー送信パスとアンビアンス送信パスを含む。これらのパスは、インプット信号２０２を処理するように機能するフロントエンドデジタルオーディオ処理ブロックを含む。
【００２１】
キュー送信パスは、バイノーラル（両耳）キュー抽出モジュール２０４の形態のキュー抽出モジュールを含み、このバイノーラルキュー抽出モジュールを用いてインプット信号２０２からバイノーラルキューのセットを抽出するように構成されている。バイノーラルキューの抽出されたセットは、単一のバイノーラルキューを含み、オーディオエフェクトを合成するのに用いられ得る。キュー送信パスは、更に、バイノーラルキューの抽出されたセットのうち、全体ではなくとも少なくとも一部、伝送のため少なくとも一つの指向性ラウドスピーカ２１４に送信するように構成されている。少なくとも一つの指向性ラウドスピーカ２１４に送信されるバイノーラルキューの抽出されたセットのこの部分は、図２に示す変数ｇｃを用いて調整され得る。ここで０＜ｇｃ≦１である。
【００２２】
図２に示すように、処理システム２０１内のキュー送信パスは、２つのモードで操作可能である。再構成モードとダイレクトスルーモードである。いずれのモードを用いるかの選択は、通常、インプット信号２０２の構成と、バイノーラルキューの抽出されたセットの一部を送信するのに用いられる指向性ラウドスピーカ２１４の構成とに、依存する。
【００２３】
ダイレクトスルーモードでは、キュー送信パスは、バイノーラルキューの抽出されたセットの一部を直接に指向性ラウドスピーカ２１４に送信するように構成されている。このモードは、インプット信号２０２（よって、バイノーラルキューの抽出されたセット）の構成が、用いられる指向性ラウドスピーカ２１４の構成と適合するときに、通常用いられる。
【００２４】
一方で、インプット信号２０２の構成が、用いられる指向性ラウドスピーカ２１４の構成と適合しないときに、再構成モードは通常用いられる。キュー送信パスは、オーディオ再構成（ＡＲ）モジュール２０７の形態の再構成モジュールを含む。このＡＲモジュール２０７は、指向性ラウドスピーカ２１４に送信されるバイノーラルキューの抽出されたセットの一部を再構成し、これにより指向性ラウドスピーカ２１４の構成に適合させるように機能する。例えば、バイノーラルキューの抽出されたセットの一部のチャンネル数が、バイノーラルキューを送信するのに用いられる指向性ラウドスピーカ２１４の数と同じでないならば、ＡＲモジュールは、アップミキシングすることで若しくはダウンミキシングすることで、バイノーラルキューの抽出されたセットのこの部分を再構成するように動作する。
【００２５】
インプット信号２０２が複数のチャンネルを含むならば、キュー送信パスの少なくとも一部は、インプット信号２０２の個々のチャンネルを独立して処理するように構成され得る。例えば、バイノーラルキュー抽出モジュール２０４は、インプット信号２０２内の個々のチャンネルからバイノーラルキューのグループを抽出するように構成されてもよい。一方で、バイノーラルキューは、インプット信号２０２内のチャンネルのサブセット（即ち、全部ではない）のみから、抽出されるのでもよく、この場合このことにより、バイノーラルキューのグループは、このサブセット内の個々のチャンネルから抽出される。キュー送信パスは更に、バイノーラルキューの個々の抽出されたグループの少なくとも一部を伝送のために指向性ラウドスピーカ２１４に送信するように構成されてもよい。指向性ラウドスピーカ２１４に送信されるバイノーラルキューの個々の抽出されたグループの一部は、独立して調整されてもよい（一つの例では、この部分は、ゼロから１まで（ゼロを含まず）の範囲となり得る）。
【００２６】
図３は、上述のマルチチャンネルアプローチの例を示す。図３では、インプット信号２０２は、４つのチャンネル（左、サラウンド左、右、サラウンド右）を含む。バイノーラルキューは全ての４つのチャンネルから抽出され、これらの抽出されたバイノーラルキューは、２つのアウトプットチャンネル（左及び右）にダウンミックスされる。図３に示すように、キュー送信パスは、バイノーラルキューの個々の抽出されたグループの一部を、再構成のためにＡＲモジュール２０７に、伝送のために指向性ラウドスピーカ２１４に、送信するように構成される。ｃ＝０は左チャンネルを意味し、ｃ＝１はサラウンド左チャンネルを意味し、ｃ＝２は、右チャンネルを意味し更にｃ＝３はサラウンド右チャンネルを意味する、夫々の変数ｇｃを用いて、これらグループの一部は独立して調整され得る。言い換えれば、ｇ０、ｇ１、ｇ２及びｇｃは、同じ値を取ってもよいし取らなくてもよい。ＡＲモジュール２０７は、（図３の「ダウンミックスされた抽出されたキュー（左）」として示すように）左及びサラウンド左チャンネルからバイノーラルキューをダウンミックスして左アウトプットチャンネルを形成し、（図３の「ダウンミックスされた抽出されたキュー（右）」として示すように）右及びサラウンド右チャンネルからバイノーラルキューをダウンミックスするように、構成されている。左及び右アウトプットチャンネルの各々は、個々の指向性ラウドスピーカ２１４に送信される。抽出されたバイノーラルキュー（ｎ＜ｋならば）ダウンミックスされ若しくは（ｎ＞ｋならば）アップミックスされて指向性ラウドスピーカ２１４の数と適合され得るので、バイノーラルキューが抽出され得るチャンネルの数は、用いられる指向性ラウドスピーカ２１４の数と同じである必要は無い（即ち、ｎ≠ｋでよい）ことに留意されたい。一方で、処理システム２０１は、バイノーラルキューが抽出されるチャンネルの数が、用いられる指向性ラウドスピーカ２１４の数と等しくなるように、構成され得る。この場合、抽出されたバイノーラルキューの再構成は要求されない。更にこの場合、バイノーラルキューの個々の抽出されたグループからの一部は、伝送のために個々の指向性ラウドスピーカ２１４に送信され得る。
【００２７】
システムのキュー送信パス２０１は、伝送のために指向性ラウドスピーカ２１４に送信する前に（異なるチャンネルから抽出されたバイノーラルキューの異なるグループの一部を含み得る）バイノーラルキューの抽出されたセットの一部を変調し増幅するように機能する、プレプロセッシングモジュール２０８及び増幅モジュール２１０を、更に含む。一つの例では、プレプロセッシングモジュール２０８は、モディファイドアンプリチュードモジュレーション（ＭＡＭ）技術を用いて、バイノーラルキューの抽出されたセットの一部を超音波キャリア信号に変調するように構成される。ＭＡＭ技術は、以下で、及び、ＰＣＴ特許出願ＰＣＴ／ＳＧ２０１０／０００３１２（特許文献１）でより詳細に説明するが、当該出願の内容は参照の上本明細書に組み込まれる。バイノーラルキューの抽出されたセットの一部は、伝送のために指向性ラウドスピーカ２１４に送信される前に、増幅モジュール２１０内で増幅される。インプット信号２０２の異なるチャンネルも、プレプロセッシングモジュール２０８及び増幅モジュール２１０を介して、独立して処理され得ることに留意されたい。
【００２８】
図２内の処理システムのアンビアンス送信パス２０１は、アンビアンスサウンドを含むインプット信号２０２の、全体ではなくとも、少なくとも一部を、伝送のために少なくとも一つの従来のラウドスピーカ２１２に送信するように構成されている。一つの例では、アンビアンスサウンドを含むインプット信号２０２の一部を抽出するために、バイノーラルキュー抽出モジュール２０４を用いて抽出されたバイノーラルキューのセットの少なくとも一部を、インプット信号２０２から差し引くように構成されている、アンビアンス抽出ユニット２０５を含む。一方で、アンビアンス抽出ユニット２０５は、抽出されたバイノーラルキューをインプット信号２０２から何ら差し引かないように構成されていてもよい。言い換えれば、インプット信号２０２の全体は、伝送のために少なくとも一つの従来のラウドスピーカ２１２に送信され得る。インプット信号２０２から差し引かれるバイノーラルキューの抽出されたセットの部分は、図２に示すように、変数ｓａ（０≦ｓａ≦１）を用いて調整され得る。
【００２９】
一つの例では、従来のラウドスピーカ２１２は、サラウンドラウドスピーカ及び非サラウンドラウドスピーカを含む。この例では、アンビアンス送信パスは、バイノーラルキュー抽出モジュール２０４を用いて抽出されたバイノーラルキューのセットの少なくとも一部を、伝送のためにサラウンドラウドスピーカに送信するように構成されている。これらのバイノーラルキューは、従ってサラウンドラウドスピーカ間で配布され得る。この例では、アンビアンス送信パスは更に、アンビアンスサウンドを含むインプット信号２０２の一部を、伝送のために非サラウンドラウドスピーカに送信するように構成されている。
【００３０】
別の例では、従来のラウドスピーカ２１２は、サラウンドラウドスピーカを含まず、アンビアンス送信パスは、アンビアンスサウンドを含むインプット信号２０２の一部を、伝送のために全ての従来のラウドスピーカ２１２に送信するように構成されている。インプット信号２０２のこの部分は、従って従来のラウドスピーカ２１２間で配布され得る。
【００３１】
インプット信号２０２が複数のチャンネルを含むならば、アンビアンス送信パスの少なくとも一部は、インプット信号２０２の個々のチャンネルを独立して処理するように構成され得る。例えば、アンビアンス抽出ユニット２０５は、インプット信号２０２内の個々のチャンネルから、チャンネルから抽出されるバイノーラルキューのグループの少なくとも一部を差し引きするように構成されてもよい。一方で、この差し引きは、インプット信号２０２内のチャンネルのサブセットのみ（即ち、全てではないチャンネル）に対して、行われてもよい。インプット信号２０２内の個々のチャンネルから差し引かれるバイノーラルキューの各々のグループの一部は、独立して調整されてもよい（一つの例では、この部分は、ゼロから１までの範囲（ゼロを含む）となってもよい。）。特定のチャンネルに対してこの部分がゼロであるならば、そのことは、そのチャンネルに対して差し引きは行われない、即ち、このチャンネルの全体が伝送のために少なくとも一つの従来のラウドスピーカ２１２に送信される、ということを意味することに留意されたい。
【００３２】
図４は、前述のマルチチャンネルアプローチの例を示す（図４は、マルチチャンネルインプット信号２０２の一部の２つのアウトプットチャンネルへのダウンミキシングも示す。）。図４では、インプット信号２０２は、インプット信号２０２は、４つのチャンネル（左、サラウンド左、右、サラウンド右）を含み、バイノーラルキューは、全ての４つのチャンネルから差し引きされる。図４に示すように、個々のチャンネルから抽出されるバイノーラルキューのグループの一部は、インプット信号２０２の個々のチャンネルから差し引きされる。これらの部分の各々は、個別の変数ｓａを用いて独立して調整され得る。なおここで、ａ＝０は左チャンネルを示し、ａ＝１はサラウンド左チャンネルを示し、ａ＝２は右チャンネルを示し、ａ＝３はサラウンド右チャンネルを示す。言い換えれば、ｓ０、ｓ１、ｓ２及びｓ３に対して異なる値が用いられ得る。インプット信号２０２は、４つのみのチャンネルを含む必要は無いことに留意されたい（例えば、インプット信号は、ｎチャンネルを含んでもよく、ａ＝０、１、２、・・・ｎ−１は個々のチャンネルを夫々示すのに用いられてもよい。）。
【００３３】
様々のユーザの要求に対応すべく、処理システム２０１内のアンビアンス送信パスは、２つのモード：再構成モード及びダイレクトスルーモードで動作可能でもある。どのモードを用いるかの選択は、通常、インプット信号２０２の構成、及び従来のラウドスピーカ２１２の構成に依存する。
【００３４】
ダイレクトスルーモードでは、アンビアンス送信パスは、アンビアンスサウンドを含むインプット信号２０２の抽出される部分を従来のラウドスピーカ２１２に直接送信するように構成されている。インプット信号２０２の構成（従って、アンビアンスサウンドを含むインプット信号２０２の抽出される一部）が、インプット信号２０２の抽出される一部を送信するために用いられる従来のラウドスピーカ２１２の構成と適合するとき、例えば、インプット信号２０２内のチャンネル数ｎが、従来のラウドスピーカ２１２の数と等しく（即ち、ｎ＝ｍ）全ての従来のラウドスピーカ２１２がインプット信号２０２の抽出される一部を送信するために用いられるとき、通常、このモード（ダイレクトスルーモード）が用いられる。
【００３５】
一方、再構成モードは通常、インプット信号２０２の構成が、インプット信号２０２の抽出される一部を送信するために用いられる従来のラウドスピーカ２１２の構成と適合しないとき（例えば、ｍ≠ｎ）、用いられる。再構成モードでは、アンビアンス送信パスは、アンビアンスサウンドを含むインプット信号２０２の抽出される一部を、用いられる従来のラウドスピーカ２１２の構成と適合させるように、再構成し得る。アンビアンス送信パスは、この目的のためのオーディオ再構成（ＡＲ）モジュールの形態で再構成モジュールを含む。言い換えれば、ＡＲモジュール２０６は、アンビアンスサウンドを含むインプット信号２０２の抽出される一部を再構成して、用いられる従来のラウドスピーカの構成と適合させることができる。例えば、ｍ≠ｎ（及び、全てのｍ個の従来のラウドスピーカがインプット信号２０２の抽出される一部を送信するのに用いられ得る）ならば、ＡＲモジュール２０６は、インプット信号２０２の抽出される一部をアップミキシング若しくはダウンミキシングすることにより、再構成するように機能する。特に、インプット信号２０２が、５．１スピーカ構成に対して構成され、従来のラウドスピーカ２１２が７．１スピーカ構成に属するならば（即ち（ｎ＝６）＜（ｍ＝８））、インプット信号２０２の抽出される一部は、ＡＲモジュール２０６を用いてアップミックスされ得る。一方、インプット信号２０２が、５．１スピーカ構成に対して構成され、従来のラウドスピーカ２１２が２．１スピーカ構成に属するならば（即ち（ｎ＝６）＞（ｍ＝３））、インプット信号２０２の抽出される部分は、ＡＲモジュール２０６を用いてダウンミックスされ得る。
【００３６】
従来のラウドスピーカ２１２が、前述の例の一つのように、サラウンド及び非サラウンドラウドスピーカを含むならば、ＡＲモジュール２０６は、サラウンドラウドスピーカに送信されるバイノーラルキューのセットの一部を再構成して、サラウンドラウドスピーカの構成に適合させるようにできる。この場合、アンビアンスサウンドを含むインプット信号２０２の一部は、ＡＲモジュールを用いて、非サラウンドラウドスピーカの構成に適合するように再構成され得る。
【００３７】
前述のように、図４は、インプット信号２０２の一部をダウンミキシングする例を示す。図４では、インプット信号２０２は４つのチャンネルを含む。しかしながら、ステレオシステムを形成する２つの従来のラウドスピーカ２１２のみが、インプット信号２０２の抽出される部分を送信するのに利用され得る。従って、個々のチャンネルからバイノーラルキューを差し引いた後、インプット信号２０２の抽出される部分は、ＡＲモジュール２０６内のミキシングネットワークにより、ダウンミックスされる。このミキシングネットワークは、（０≦ｈ０、ｈ１、ｈ２、ｈ３≦１である値ｈ０、ｈ１、ｈ２、ｈ３を有する）複数の重み付け素子４０２、及び、２つの重み付け組み合わせを実装するための複数の加算器を含む。個々の重み付け素子４０２は、インプット信号２０２の抽出される部分のチャンネルを重み付けするように構成され、一方で、個々の加算器４０４は、インプット信号２０２の抽出される部分の２つの重み付けチャンネルを合算するように構成されている。個々の加算器４０４からの合算は、伝送のため個々の従来のラウドスピーカ２１２に送信される。ミキシングネットワーク内に一つのみの加算器４０４があっても一つ以上の加算器４０４があってもよく、個々の加算器４０４は、インプット信号２０２の抽出される部分の２つの重み付けチャンネルを合算するように構成され得る、ということに留意されたい。更に、ＡＲモジュール２０６は、インプット信号２０２の抽出される部分をアップミキシング若しくはダウンミキシングするための、他のタイプのミキシングネットワークを含んでもよい。
【００３８】
ＭＡＭ技術
前述のように、指向性ラウドスピーカ２１４の各々は、変調された及び増幅されたバイノーラルキューを含む信号を送信するように構成される。この信号は、伝送媒体（通常、空気）の中に発せられるので、それは伝送媒体と相互作用して自己復調し、可聴信号のタイトなカラムを生成する。可聴信号ビームは、仮想可聴源のカラムを介して伝送媒体内で生成される。
【００３９】
式（１）に示すバークテイ非近接場モデルは、伝送媒体を経由する前述の非線形サウンド伝播を近似するのに用いられ得る。式（１）によると、伝播の軸に沿う復調信号（可聴の異なる周波数）圧力ｐ２（ｔ）は、変調信号（即ち、変調された及び増幅されたバイノーラルキューを含む信号）のエンベロープの２乗の（時間による）二次導関数に比例する。式（１）では、βは非線形の係数であり、Ｐ０はＰ波圧であり、ａは指向性ラウドスピーカ２１４内に含まれる超音波エミッタの区域であり、ρ０は伝送媒体の密度であり、ｃ０は小信号音速であり、ｚは超音波エミッタからの軸距離であり、α０は光源周波数における減衰係数であり、Ｅ（ｔ）は変調された信号のエンベロープである。
【００４０】
【数１】
0005612126.tif 000002
【００４１】
式（１）に示すように、非線形サウンド伝播は、復調信号Ｐ２（ｔ）の歪みとなってしまう。このことは、生成される可聴信号の歪みとなる。
【００４２】
以下は、復調信号内の前述の歪みを減少するための、幾つかの先行の試みの説明である。このことには、前述の歪みを減少するようにも機能するＭＡＭ技術の同化が続く。
【００４３】
図５は、米国特許出願第１１／５５８４８９号“Ｕｌｔｒａ  ｄｉｒｅｃｔｉｏｎａｌ  ｓｐｅａｋｅｒ  ｓｙｓｔｅｍ  ａｎｄ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｍｅｔｈｏｄ  ｔｈｅｒｅｏｆ”（特許文献２）（以下、Ｋｙｕｎｇｍｉｎという。）で提示される適応パラメータラウドスピーカシステム５００を示す。Ｋｙｕｎｇｍｉｎ（特許文献２）は、プレ歪み補償を変調信号ｘ（ｔ）（即ち、インプット信号）に順応して適用することを提示している。更に、パラメータラウドスピーカシステム内で通常用いられる両面振幅変調（ＤＳＢＡＭ）スキームを用いる代わりに、Ｋｙｕｎｇｍｉｎ（特許文献２）は、シングルサイドバンド（ＳＳＢ）変調内でサイドバンドの一つの非理想のフィルタリングを克服するために、残留サイドバンド変調を用いることを提示している。
【００４４】
図５に示すように、適応パラメータラウドスピーカシステム５００は、夫々、エンベロープＥ１（ｔ）及びＥ２（ｔ）を計算する第１と第２のエンベロープ計算器５０２、５０４を含む。これらのエンベロープ計算器５０２、５０４は、ベースバンドにて信号を注入される。適応パラメータラウドスピーカシステム５００は、（式（１）に示す）バークテイ近似を用いて予測される「理想の」エンベロープ（Ｅ１（ｔ））０．５を計算する平方根演算子５０６も含む。
【００４５】
（Ｅ１（ｔ））０．５とＥ２（ｔ）との差異は、最小二乗平均（ＬＳＭ）スキームを用いるプレ歪みフィルタ５０８を連ねるのに用いられる。以下のような式（２）及び式（３）を用いて、適応フィルタ５０８の係数ａｍが得られる。ここで、βは適応係数である。
【００４６】
【数２】
0005612126.tif 000003
【００４７】
【数３】
0005612126.tif 000004
【００４８】
適応フィルタ５０８のアウトプットｘ’（ｔ）は、以下の式（４）で示される。
【００４９】
【数４】
0005612126.tif 000005
【００５０】
図６は、米国特許第６５８４２０５号で提示されるパラメータラウドスピーカシステム６００（特許文献３）（以下、Ｃｒｏｆｔという。）を示す。Ｃｒｏｆｔは、プレ処理されたＤＳＢＡＭモジュール化信号の平方根をとることにより特徴付けされる同じ理想的な線形性を提示して、ＳＳＢ変調の利用を提案した。Ｃｒｏｆｔは更に、マルチオーダの歪み補償器を用いて、ＳＳＢ信号に固有の歪みに対して補償を行うことを提案した。マルチオーダの歪み補償器は、歪み補償器のカスケード（図６に示すような、歪み補償器０・・・Ｎ−１）を含み、これにより、一つの歪み補償器からのプレ歪み信号（例えば、ｘ１（ｔ））は、所望のオーダに達するまで、カスケードなどにおける次の歪み補償器へのインプットとして用いられる。Ｃｒｏｆｔの個々の歪み補償器は、従来のＳＳＢ変調技術を採用するＳＳＢモジュレータ６０２を含む。Ｋｙｕｎｇｍｉｎと同様に、図６に示す非線形モデルは、バークテイの近似（即ち、式（１））に基づくものであり、Ｃｒｏｆｔにて提案されるシステム６００は、マルチオーダ補償器で見られるファードフォワード構造に基づく。
【００５１】
図７は、可変次数を伴うプレ歪み項を用いるＭＡＭ技術を示す。式（５）は、図７に示す変調技術のアウトプット
【００５２】
【数５】
0005612126.tif 000006
を記載する。ここでｇ（ｔ）は変調技術へのインプットであり、ｍは変調インデクスであり、ω０＝２πｆ０においてｆ０は変調のための搬送周波数である。
【００５３】
【数６】
0005612126.tif 000007
【００５４】
図７及び式（５）に示すように、第１の搬送波信号ｓｉｎω０ｔでインプットｇ（ｔ）を変調してメイン信号（１＋ｍｇ（ｔ））ｓｉｎω０ｔを生成し、第２の搬送波信号ｃｏｓω０ｔをプレ歪み項
【００５５】
【数７】
0005612126.tif 000008
に乗じて補償信号を生成し、メイン信号と補償信号を合算してアウトプット
【００５６】
【数８】
0005612126.tif 000009
を生成することによって、変調技術は稼働する。第１と第２の搬送波信号は相互に直交し、プレ歪み項は信号ジェネレータ７０２により生成され、ここで信号ジェネレータ７０２のオーダはそれが生成するプレ歪み項のオーダを表ものであることに留意されたい。式（５）から、単にメイン信号（１＋ｍｇ（ｔ））ｓｉｎω０ｔを生成する通常のＤＳＢＡＭスキームと比較して、アウトプット
【００５７】
【数９】
0005612126.tif 000010
は、付加的な直交項
【００５８】
【数１０】
0005612126.tif 000011
を含む。
【００５９】
付加的なプレ歪み項は、復調信号内の歪みを減ずる助けとなり得る。ｆ１（ｔ）＝１＋ｍｇ（ｔ）及び信号ジェネレータ７０２のアウトプットをｆ２（ｔ）と表示すると、ＭＡＭ技術のアウトプット
【００６０】
【数１１】
0005612126.tif 000012
は、式（６）に示すような形態で書かれ得る。
【００６１】
【数１２】
0005612126.tif 000013
【００６２】
言い換えれば、変調技術アウトプット
【００６３】
【数１３】
0005612126.tif 000014
のエンベロープは、
【００６４】
【数１４】
0005612126.tif 000015
である。バークテイの近似（式（１））によると、伝播軸に沿う復調信号（若しくは可聴差周波数）圧力ｐ２（ｔ）は、変調信号のエンベロープの二乗の第二次時間導関数に比例する。
【００６５】
【数１５】
0005612126.tif 000016
を式（１）に代入すると、式（７）が以下のように得られる。
【００６６】
【数１６】
0005612126.tif 000017
【００６７】
【数１７】
0005612126.tif 000018
と設定すると、式（７）は以下のように書かれ得る。
【００６８】
【数１８】
0005612126.tif 000019
【００６９】
式（８）に示すように、
【００７０】
【数１９】
0005612126.tif 000020
と設定することにより、変調信号は、インプット信号ｇ（ｔ）に比例する。言い換えると、復調信号の歪みは完全に除去される。しかしながら、指向性ラウドスピーカ２１４が無限の帯域幅を有するとしたときのみ、このことは真実となる。実際のラウドスピーカではそうではないから、不完全のテーラー級数
【００７１】
【数２０】
0005612126.tif 000021
を用いて、プレ歪み項
【００７２】
【数２１】
0005612126.tif 000022
は近似される。ｑの値を調整すると、プレ歪み項
【００７３】
【数２２】
0005612126.tif 000023
のオーダは変動し得る。
【００７４】
ＭＡＭ技術では、歪みの減少の量は、プレ歪み項のオーダに依存する。より高次のオーダでは、歪みの更なる量の減少が達成される。しかしながら、より高次のプレ歪み項は、より大きい帯域幅を備えるラウドスピーカを要求する。可変次数でプレ歪み項を用いることにより、変調技術の可撓性は増大し、プレ歪み項のオーダは変動して指向性ラウドスピーカ２１４の要求に適合し得る。例えば、より低次のオーダは、より小さい帯域幅を備えるラウドスピーカに対して用いることができ、より大きい帯域幅を備えるラウドスピーカに対してはオーダをスケールアップして、オーディオシステム２００のオーディオ信号アウトプットのひずみを更に減少できる。
【００７５】
キュー抽出
以下は、キュー抽出モジュール２０４を用いてインプット信号２０２からバイノーラルキューがどのように抽出され得るかについての例である。これらのバイノーラルキューは、リスナと仮想音源との間のアジマス、リスナと仮想音源との間の仰角、及びリスナと仮想音源との間の距離などの、仮想環境内でシミュレートされる情報を含み得る。
【００７６】
一つの例では、バイノーラルキューは、インプット信号２０２からの一時的事象を検知し抽出することで、抽出され得る。これは、リアルタイムで、即ち、インプット信号２０２のセグメントを処理することで、行われ得る。更に、一時的事象の検知及び抽出は、インプット信号２０２の信号電力のオンセット（例えば、増加）を繰り返して検知することで、時間領域で実施され得る。
【００７７】
別の例では、バイノーラルキューは、左チャンネルＬからのインプット信号２０２の成分、右チャンネルＲからのインプット信号２０２の成分、及びＭ＝０．５（Ｌ＋Ｒ）である信号Ｍが、相互に比較される時間周波数変換を行うことにより、抽出される。インプット信号２０２がマルチチャンネルオーディオ信号であっても、即ち、インプット信号２０２が右と左のチャンネルより多く含んでも、この方法は、インプット信号２０２からバイノーラルキューを抽出するのに用いられ得る。これは、インプット信号２０２の残余のチャンネルは通常、バイノーラルキューを全く若しくは殆ど含まないアンビアンスサウンドを主として含むサラウンドチャンネルであり、無視し得るからである。しかしながら、インプット信号２０２の２つ以上のチャンネルを用いるより進歩的な技術も、キュー抽出に用いられ得る。
【００７８】
上記の２つの例以外にも、他の技術が、インプット信号２０２からバイノーラルキューを抽出するのに用いられ得る。例えば、バイノーラルキューは、非特許文献１に記載される短時間のフーリエ変換を用いて、抽出され得る。
【００７９】
サブバンドアプローチ
オーディオシステム２００は、複数の周波数帯を含むインプット信号に対して、サブバンドアプローチを用いて実装され得る。サブバンドアプローチでは、キュー送信パス及び／又はアンビアンス送信パスの少なくとも一部は、インプット信号２０２の各々の周波数帯を処理するように構成されている。例えば、キュー抽出モジュール２０４は、サブバンドキュー抽出アルゴリズムを用いて実装され得る時間周波数変換を用いる。インプット信号２０２が、複数のチャンネルを含み、インプット信号２０２の個々の信号が複数の周波数帯を含むならば、キュー送信パス及び／又はアンビアンス送信パスの少なくとも一部は、個々のチャンネルの個々の周波数帯を独立して処理するように構成され得る。
【００８０】
図８は、処理ステム２０１のキュー送信パス内でサブバンドアプローチを用いる例を示す。この例では、インプット信号２０２は、４つのチャンネル（左、サラウンド左、右、サラウンド右）を含み、インプット信号２０２の個々のチャンネルは、複数の周波数帯を含み、個々のチャンネルの個々の周波数帯は、バイナリ抽出モジュール２０４、処理モジュール２０８および増幅モジュール２１０を介して独立して処理される。図８では、ｋｙ−は、インプット信号２０２の左、サラウンド左、右及びサラウンド右から抽出される。特に、バイノーラルキュー抽出モジュール２０４は、個々のチャンネル内の個々の周波数帯からキューのサブグループを抽出するように構成されている。キューについての個々の抽出されたサブグループの一部は、再構成のためにＡＲモジュール２０７に送信され、伝送のために指向性ラウドスピーカ２１４に送信される。これらの部分の各々は、図８に示すように、左チャンネルのための変数ｇＬ、０、ｇＬ、１、・・・ｇＬ、Ｅ−１、サラウンド左チャンネルのための変数ｇＳＬ、０、ｇＳＬ、１、・・・ｇＳＬ、Ｅ−１、右チャンネルのための変数ｇＲ、０、ｇＲ、１、・・・ｇＲ、Ｅ−１、サラウンド右チャンネルのためのｇＳＲ、０、ｇＳＲ、１、・・・ｇＳＲ、Ｅ−１を用いて調整され得る。Ｅは、周波数帯の数を示し、各々の変数ｇＬ、０、ｇＬ、１、・・・ｇＬ、Ｅ−１、ｇＳＬ、０、ｇＳＬ、１、・・・ｇＳＬ、Ｅ−１、ｇＲ、０、ｇＲ、１、・・・ｇＲ、Ｅ−１、及びｇＳＲ、０、ｇＳＲ、１、・・・ｇＳＲ、Ｅ−１は、０から１の範囲である（０は含まない）。左及びサラウンド左チャンネルから抽出されたキューは、ＡＲモジュール２０７によりダウンミックスされて（図８内で「アップミックス／ダウンミックスされたサブバンド抽出キー（左）」として示される）左アウトプットチャンネルを生成し、一方で、右及びサラウンド右チャンネルから抽出されたキューは、ＡＲモジュール２０７によりダウンミックスされて（図８内で「アップミックス／ダウンミックスされたサブバンド抽出キー（右）」として示される）右アウトプットチャンネルを生成する。インプット信号２０２内のチャンネルの数及び利用される指向性ラウドスピーカ２１４の数に依存して、ＡＲモジュール２０７は、抽出されたキューの（ダウンミキシングに代わって）アップミキシングを行い得る。個々の周波数帯に対するアップミキシング若しくはダウンミキシングは、ＡＲモジュール２０７内で独立して実行され得る。ＡＲモジュール２０７のアウトプットは、処理モジュール２０８にインプットされる前に、変数ｇＭＬ、０、ｇＭＬ、１、・・・ｇＭＬ、Ｅ−１及びｇＭＲ、０、ｇＭＲ、１、・・・ｇＭＲ、Ｅ−１を用いて調整される。例えば、個々の周波数帯に対するＡＲモジュール２０７からのアウトプットの一部が抽出されて処理モジュール２０８に送信され、これにより個々の部分は、変数ｇＭＬ、０、ｇＭＬ、１、・・・ｇＭＬ、Ｅ−１及びｇＭＲ、０、ｇＭＲ、１、・・・ｇＭＲ、Ｅ−１を用いて調整され得る。
【００８１】
多くの先行技術は、シングルバンドアプローチに基づくのであり、これによりシングルプレ処理方法及び変調技術は、インプット信号の全体の周波数レンジに適用される。しかしながら、様々なラウドスピーカ内に含まれる様々な超音波エミッタは通常、最小限度の歪みしかない指向性サウンドの正確な再生に到達するために、個別に対処されるのが望ましい種々の周波数応答を有する。よって、様々なラウドスピーカが様々な周波数帯のために採用され、個々の周波数帯は個別のラウドスピーカに適応するように処理されるので、サブバンドアプローチは有利である。このことは、個々の周波数帯のパフォーマンスを最適化する助けとなり、更にオーディオシステム２００のパフォーマンスを改善する助けとなる。
【００８２】
更に、ＭＡＭ技術は、サブバンドアプローチとフルバンドアプローチの両方で用いられ得るが、ＭＡＭ技術の利点は、サブバンドアプローチによってより有効となり得る。前述のように、ＭＡＭ技術のより高次次数のプレ歪み項は、歪みにおけるより大幅な減少を達成するが、（一般的により高価である）より大きい帯域幅のラウドスピーカを要求する。サブバンドアプローチにより、同じシステムで異なるタイプのラウドスピーカを利用できることになり、よって、あまり重要で無い周波数帯に対してより低い帯域幅のより廉価なラウドスピーカを用いることができる。
【００８３】
更に、サブバンドアプローチを用いて、インプット信号２０２はダウンサンプル可能であり、よって、個々の周波数帯を処理するための速度要求を低くして変動でき、更に、全体信号を処理するための速度要求を低くできる。このミックスレート処理技術は、ハイエンドプロセッサに対する必要を除去するものであり、代わりに、低コストのデジタル信号プロセッサが処理システム２００を実装するのに用いられ得る。
【００８４】
更に、サブバンドアプローチを用いて処理システム２０１に対してより多くのバリエーションを施すことができ（例えば、周波数帯の数、個々の周波数帯に対する処理技術が変動させるなど）、これにより、処理システム２０１及びオーディオシステム２００の製造者は、価格決定及び利用例の点で、自分たちの製品を差別化できる。
【００８５】
様々なタイプのシステムとの処理システム２０１の統合
処理システム２０１は、様々なラウドスピーカ構成を有する様々なタイプのシステムと統合され得る。
【００８６】
一つの例では、インプット信号２０２は選択されて、処理システム２０１が統合可能なラウドスピーカ構成と適合する構成を備える。この例では、処理システム２０１のアンビアンス送信パスはダイレクト続いてルーモードで動作するように構成される。別の例では、インプット信号２０２の構成は、ラウドスピーカ構成に適合せず、処理システム２０１のアンビアンス送信パスは再構成モードで動作するように構成される。前述のように、再構成モードでは、ＡＲモジュール２０６は、アンビアンスサウンドを含むインプット信号２０２の一部を再構成するように動作して、インプット信号２０２のこの一部を送信するために用いられる従来のラウドスピーカ２１２の構成と適合する。このことは、例えば、従来のラウドスピーカ２１２の構成を自動的に検知することでユーザの介入無く、又は、従来のラウドスピーカ２１２の構成を処理システム２０１にインプットするユーザインタフェース（例えば、スクリーン）を介した僅かなユーザの介入により、実行され得る。この明細書で用いる「自動的」の用語は、ヒューマンインタラクションが処理を開始することがあるがヒューマンインタラクションは処理が実行されている間には要求されない、ということを意味する。
【００８７】
図９（ａ）〜（ｄ）は、処理システム（即ち、ＡＡＳオーディオプロセッサ）２０１が様々なラウドスピーカ構成を有する様々なシステムとどのように統合し得るかの例を示す。図９（ａ）では、処理システム２０１は、ステレオセットアップを伴うデスクトップＰＣと統合する。図９（ｂ）では、処理システム２０１は、マルチチャンネルセットアップを伴うデスクトップＰＣを統合する。図９（ｃ）では、マルチチャンネルセットアップを伴うボックス内のホームシアタ（ＨＴＩＢ）と統合し、図９（ｄ）では、処理システム２０１は、マルチチャンネルセットアップを伴う専用ホームシアタシステムと統合する。図９（ｄ）に示すセットアップでは、処理システム２０１は、ゲームコンソール及び／又はＤＶＤシステムなどの、マルチチャンネルソースからバイノーラルキューを抽出して処理するように構成されている（即ち、インプット信号２０２は、これらのマルチチャンネルソースを含む）。（一つが抽出されるバイノーラルキューを含み、もう一つがアンビアンスサウンドを含むインプット信号２０２の少なくとも一部を含む）２つのセットのアウトプットが生成され、夫々、指向性ラウドスピーカ２１４及び従来のラウドスピーカ２１２に送信される。図９（ａ）〜（ｄ９に示すセットアップにおいてどこに指向性ラウドスピーカ２１４を配置し得るかについての制約は無いが、これらの指向性ラウドスピーカ２１４を、ユーザへの最大限の指向性投射が達成され得る位置に配置することが好ましい。
【００８８】
処理システム２０１は更に、ユーザの位置及び／又は頭部移動を追跡するように構成されているビデオ追跡モジュールを含み得る。一つの例では、オーディオシステム２００は更に、指向性ラウドスピーカ２１４からサウンドビームを操縦するための、個々の指向性ラウドスピーカ２１４と結合するステアリング機構を含む。ステアリング機構は、機械的モータ、電気モータ及び／又はステアリング回路を含み得、処理システム２０１のビデオ追跡モジュールと協働してユーザの位置及び／又は頭部移動に従って指向性ラウドスピーカ２１４からのサウンドビームを操縦するように構成され得る。一つの例では、小さい機械的モータが指向性ラウドスピーカ２１４の各々の中にビルトインされ、指向性ラウドスピーカ２１４はユーザに面して回転する。指向性ラウドスピーカからのサウンドビームの高度の指向的性質により、ラウドスピーカ２１４からのサウンドビームは、この例ではユーザに向けられる。
【００８９】
オーディオシステム２００の前述の頭部追跡特性は、ユーザの頭部移動に拘らずユーザに同じオーディオ体験を提示できるので、有利である。更に、この頭部追跡特性を利用すると、多数のスイートスポットが形成され、多数のリスナの聴覚体験をサポートし、異なる位置で同じ若しくは類似の聴覚体験をユーザに提供する。
【００９０】
図１０は、従来の及び指向性のラウドスピーカ２１２、２１４、並びにビデオディスプレイ１００２のセットアップの例を示す。従来の及び指向性のラウドスピーカ２１２、２１４は、処理システム２０１と結合し得る。図１０に示すように、個々の指向性ラウドスピーカ２１４はユーザに面するように操縦される（図１０では全体で２ユーザが示される）。このことは、幾つかの先行技術（例えば、図１１に示されるような米国特許第６２２９８９９号（特許文献４）のセットアップ）と対照をなす。図１１に示すように、特許文献４は、指向性ラウドスピーカ１１０６が反射オブジェクトに対してサウンドビームを発して反射点において仮想ラウドスピーカ１１０４を形成するように構成されているので、指向性ラウドスピーカ１１０６は部屋内の反射オブジェクト（例えば、壁）に面するように配置されているシステムを開示する。これらの仮想ラウドスピーカ１１０４は、特に、サラウンドラウドスピーカを設置することが困難である場合に、サラウンドサウンドシステム内にサラウンドラウドスピーカを置き換えるのに用いられ得る。図１１に示すシステムでは、一次のオーディオアウトプットは、従来のラウドスピーカ１１０２から生成され、一方で、二次のオーディオアウトプットは、仮想ラウドスピーカ１１０４から生成される。一次と二次のオーディオアウトプットは同じでもよく、リスナが多数の方向から統合されたサウンドを聞くように同期するものであってもよい。図１０内のユーザに向けられたサウンドビームと比較して、特許文献３内で開示されるような、先行技術のセットアップで形成される反射するサウンドビームは、通常弱い。
【００９１】
オーディオシステム２００の利点
オーディオシステム２００の利点は以下の通りである。
【００９２】
マルチチャンネルセットアップでは、オーディオサウンドにより与えられる音像の程度（主に、サウンドエフェクト）及び広大さは、セットアップ内で用いられるラウドスピーカの指向性（即ち、指向特性）に通常依存する。図１２（ａ）及び（ｂ）は、異なる指向性を有するラウドスピーカにより生成される音像（即ち、サウンドエフェクト）を示す。図１２（ａ）では、夫々広拡散性のサウンドを提供する、ラウドスピーカが示される。それらラウドスピーカ１２０２からの結果としてのサウンドエフェクトは通常、部屋の音響の残響性により空間における鮮明さを欠く。図１２（ｂ）はラウドスピーカ１２０４を示し、それらの各々は相当の指向性を有する。それらラウドスピーカ１２０４からの結果としてのサウンドエフェクトは通常、部屋の音響からの寄与を欠くため、広大さを欠く。よって、一つのタイプのみのラウドスピーカによるセットアップを用いて、良好なオーディオエフェクトを生成することは困難である。
【００９３】
オーディオシステム２００は、指向性ラウドスピーカ２１４と従来のラウドスピーカ２１２の両方を採用し、指向性ラウドスピーカの指向性と従来のラウドスピーカの広大な分散特性の両方を利用することができる。図１２を参照して上記で述べたように、このことは、聴覚空間像問題を回避する助けとなる。よって、オーディオシステム２００は、３Ｄゲーム若しくは他の３Ｄメディア、例えば、３Ｄムービー若しくはテレビによって要求される没入型サウンドを配布することができる。
【００９４】
オーディオシステム２００内の指向性ラウドスピーカ２１４の利用は、特に有利である。指向性ラウドスピーカを利用するオーディオビームシステム（ＡＢＳ）を用いるトランスオーラルオーディオビームプロジェクションは、３Ｄを放射するのによく適していることが示されている。更に、複数の客観的計測及びインフォーマルのリスニングテストに基づく研究は、指向性ラウドスピーカは３Ｄサウンドプロジェクションに有用であるだけでなく、リスナにより近い聴覚空間像をもたらすことができることを示す。指向性ラウドスピーカが用いられるときは、聴覚空間像はより鋭利で鮮明であることも、示されている。聴覚空間像におけるこれらの強化は、３Ｄゲームでは非常に望ましく、ゲーマにより没入型のゲーム体験を与える。このように、オーディオシステム２００は指向性ラウドスピーカ２１４の強みを利用し、例えば、ゲームやエンターテイメントのアプリケーションにおける聴覚体験を拡張するので、有益である。
【００９５】
特に、オーディオシステム２００の指向性ラウドスピーカ２１４は、インプット信号２０２のオーディオチャンネルから選択的に抽出されるバイノーラルキューを伝送するように機能し、一方で従来のラウドスピーカ２１２は背景音像（即ち、アンビアンスサウンド）を伝送するように機能する。従来のラウドスピーカ２１２の分散性は、特に、インプット信号２０２のより多くのチャンネルが用いられるときに、アンビアンスサウンド内で相応程度の広大さ及び包囲を再作成する助けとなる。このような、指向性ラウドスピーカ２１４及び従来のラウドスピーカ２１２の利用は、背景音像をユーザに更に発している間に、ユーザに近接する鮮明な聴覚像を含む高度に焦点合わしをされたアンビアンス音像
を作成する助けとなる。言い換えれば、オーディオシステム２００は、アンビアンスエフェクト（即ち、サラウンドサウンドエフェクト）と音深さ再生成の両方を提供することができる。よって、オーディオシステム２００は、従来のサラウンドサウンドシステムと比較して、例えば、ゲームやムービー視聴においてより良い聴覚深さを達成することができる。
【００９６】
指向性ラウドスピーカ２１４を介して伝送するためのバイノーラルキューを選択して抽出することは、（図１１に示すような）特許文献４で開示されるような先行技術と比較して、有利である。特許文献４では、指向性ラウドスピーカ１１０６を介して伝送されるインプット信号のチャンネルは、従来のラウドスピーカ１１０２を介して伝送されるチャンネル内に無い分離したオーディオエフェクトも含む。しかしながら、指向性ラウドスピーカ１１０６を介して伝送されるこれらのチャンネルは、非常に多くの量のアンビアンスサウンドも含む。特許文献４のシステムは、これらチャンネル内のオーディオエフェクト及びアンビアンスサウンドの混合からオーディオエフェクトを抽出するように構成されていないので、特許文献４内のシステムを用いて、リスナが聴くオーディオエフェクトは、オーディオシステム２００を用いて、リスナが聴くバイノーラルキューほど鮮明ではない傾向がある。更に、システム２００の相互操作性は、特許文献４内のシステムと比較して、より高い。例えば、特許文献４内のシステムは、ラウドスピーカの数と等しいチャンネルの数を有するインプット信号でのみ、稼働できる。オーディオエフェクト及びアンビアンスサウンドもインプット信号のチャンネル間で然るべく予め配布されねばならず、これにより特許文献４のシステムの個々のラウドスピーカは、伝送のため所望のサウンドを受ける。一方で、従来の及び指向性の両方のラウドスピーカ２１２、２１４を含むシステム２００は、単一のチャンネルを有するインプット信号でも動作できる（最も、そのようなインプット信号は望ましくは無いが）。更に、インプット信号のチャンネルの間でキュー及びアンビアンスサウンドがどのように配布されるかに拘らず、インプット信号は、システム２００により利用され得る。これは、システム２００が、指向性ラウドスピーカ２１４を介して伝送のためバイノーラルキューを選択的に抽出するように構成され、更に、アンビアンスサウンドを伝送のため従来のラウドスピーカ２１２に送信するように構成されているからである。
【００９７】
図１３（ａ）〜（ｂ）は、オーディオシステム２００により達成され得るサウンドスケープの例を示す。図１３（ａ）では、オーディオシステム２００は、２つの従来のラウドスピーカ２１２と２つの指向性ラウドスピーカ２１４を含み、図１３（ｂ）では、オーディオシステム２００は、５．１サラウンドサウンドシステムの複数の従来のラウドスピーカ２１２と、２つの指向性ラウドスピーカ２１４とを含む。図１３（ｂ）では、５．１サラウンドサウンドシステムを用いて包囲するサウンドスケープが形成され、サウンドスケープは更に、指向性ラウドスピーカ２１４を用いて強化される。図１３（ｂ）のセットアップにより、オーディオシステム２００の開発者は、ユーザを取り囲む周囲のサウンドスケープを維持しつつ、ユーザに対するサウンドエフェクトの近接さを調整できる。図１３（ａ）−（ｂ）に示すように、従来のラウドスピーカ２１２及び指向性ラウドスピーカ２１４の両方の利用により、オーディオシステム２００により達成されるサウンドスケープは高度な没入型である。
【００９８】
更に、処理システム２０１では、バイノーラルキューは、インプット信号２０２から差し引かれ、従来のラウドスピーカ２１２に伝送のために送信されるインプット信号の一部を抽出し得る。（抽出されるキューは指向性ラウドスピーカ２１４を介して既に伝送されており）結果としてのオーディオアウトプットがキューの過強調のために過処理されることを回避するので、このことは有利である。従来のラウドスピーカ２１２に送信されるインプット信号のダウンミキシングが実施される際得に、この利点が妥当する。
【００９９】
更に、処理システム２０１は、サラウンドラウドスピーカを指向性ラウドスピーカに置換すること無く、ユーザの現存のサラウンドラウドスピーカと統合し得る。更に、処理システム２０１は、殆どどんなラウドスピーカ構成とも統合可能なように構成される。よって、処理システム２０１は、多数のシステムのオーディオアウトプットを（ステレオチャンネル若しくは多重チャンネルを含む）様々なラウドスピーカ構成により強化できる。更に、図９に示すように、処理システム２０１は、ローエンドアプリケーション（例えば、デスクトップＰＣ若しくはノートパソコン）及びハイエンドアプリケーションを実装するシステムと統合可能である。
【０１００】
更に、処理システム２０１は、指向性ラウドスピーカのオーディオアウトプットで通常見られる高い歪みを克服する助けとなるＭＡＭ技術を採用する。更に、オーディオシステム２００は、その利点について前に説明したサブバンドアプローチを用いて実装され得る。オーディオシステム２００は、インプット信号２０２の個々のチャンネルが独立して処理されるように構成されているマルチチャンネルアプローチを用いても実装され得る。よって、インプット信号２０２の個々のチャンネルは、異なるラウドスピーカ、及び／又は、チャンネルに対して最適化された異なる技術を採用できる。
【０１０１】
３Ｄサウンド技術を用いて仮想音像を形成する仮想サラウンドサウンドシステム（ＶＳＳＳ）などの先行技術と比較しても、オーディオシステム２００は有利である。ＶＳＳＳを利用すると、聴覚深度を欠くことが多い。対照的に、オーディオシステム２００は、良好な聴覚深度を達成するのであり、ユーザに近接する鮮明な聴覚像を形成し、よって、多くの他の商業的システムで現在見られないサウンドプロジェクションに新たな側面を加える。
【０１０２】
今日のゲームプラットフォームにおける高解像度グラフィックは、新たなレベルのリアリズムをゲームにもたらした。前述の利点により、オーディオシステム２００は、これらのゲームプラットフォームにサラウンドの精緻なオーディオプロジェクションを与えることで、これらのゲームプラットフォームのリアリズムを拡張することができる。これは、ゲーム体験を達成するのに非常に重要である。更に、非常に人気のあるＷｉｉ（登録商標）ゲーム、ＸＢＯＸ３６０（登録帳票）のためのＫｉｎｅｔ、及びＰｌａｙｓｔａｔｉｏｎ３（登録商標）のためのＭｏｖｅコントローラなどの、現在の（更には、次世代の）インタラクティブゲームの多くは、身体の動きを介して、ユーザがゲームのアイテムやキャラクタと相互作用することを要求する。これらのゲーム関連製品は、相互に近接した範囲内にいる（おそらく、４ゲーマまでの）ゲーマのグループのために設計されている。しかしながら、これらのゲーム関連製品が相互作用のマルチプレーヤゲーム体験を強調しても、個々のゲーマに個人化されたオーディオ情報を供給することは困難である。オーディオシステム２００は指向性ラウドスピーカ２１４を介して個々のゲーマに個人化されたキュー／サウンドエフェクトを供給することができるのであり、この問題を解決すべく用いられる。よって、オーディオシステム２００は、相互作用のマルチプレーヤゲーム体験を強化でき、近接する範囲内の２人若しくはそれ以上のゲーマがヘッドホンの必要なく協同ゲームセッションを行うことを可能にする。よってゲーマは、相互に直接意思疎通でき、ヘッドホンの長時間の利用に関する（疲労などの）問題を回避できる。
【０１０３】
以下は、オーディオシステム２００により提供される幾つかの重要な利点のまとめである。
【０１０４】
１．オーディオシステム２００により生成されるサウンドエフェクトは、多くの先行システムと比較して、ユーザにより近接する。これらのサウンドエフェクトは、明瞭であり非常に精緻でもある。これにも拘らず、オーディオシステム２００は、従来のラウドスピーカ２１２を介して、アンビアンスサウンドに対する十分な広大さ及び周辺性を更に提供できる。
【０１０５】
２．オーディオシステム２００は、ヘッドホンの必要性を除去するものであり、よって、例えば、頭部内の問題及び前後混乱の問題など、ヘッドホンの利用に関連する問題に直面することは無い。
【０１０６】
３．オーディオシステム２００の処理システム２００は、インプットを再構成して従来のラウドスピーカ２１２の構成と適合させるように動作するＡＲモジュール２０６を含むので、様々なラウドスピーカ構成と統合し得る。
【０１０７】
更に、オーディオシステム２００は、種々の商業的アプリケーションで用いられ得る。これらのアプリケーションは、例えば、以下のものを含む。
（ａ）指向性ラウドスピーカ２１４を用いてゲーム及びムービーアプリケーション内のサウンドエフェクトを増大させること、及び、
（ｂ）オムニシアタアプリケーション内で４Ｄビューイングを組み込むこと。
【０１０８】
オーディオシステム２００は、サウンドシステム、家電製品、及び娯楽産業における種々の商品のために、用いることもできる。
【０１０９】
バリエーション
当業者には明確であるように、本発明の範囲内で更なるバリエーションが可能である。
【０１１０】
例えば、図２の処理システム２０１が一つのキュー抽出モジュール２０４を含むが、システム２０１２年９月１４日内のキュー抽出モジュールの数は変動し得る。例えば、システム２０１は、インプット信号２０２からバイノーラルキューのセットを更に抽出するための、アンビアンス送信パス沿いの追加のキュー抽出モジュールを（ＡＲモジュール２０６の前でも後でも）含んでもよい。バイノーラルキューのこの更なるセットは、キュー抽出モジュール２０４により抽出されるバイノーラルキューのセットと同じでもよいし同じでなくてもよい。バイノーラルキューのこの更なるセットの少なくとも一部は、インプット信号２０２から差し引かれ、アンビアンスサウンドを含むインプット信号２０２の一部を生成し得る。システム２０１内の再構成モジュールの数に対して同じことが当てはまる。同様に、２つの指向性ラウドスピーカのみが図２に示されているが、オーディオシステム２００内に一つのみ若しくは２つ以上の指向性ラウドスピーカ２１４があってもよい（ただし、少なくとも２つの指向性ラウドスピーカ２１４があるのが好ましいことに留意されたい）。オーディオシステム２００内の従来のラウドスピーカ２１２の数は、図２に示すものと異なってもよい。
【符号の説明】
【０１１１】
２００・・・オーディオシステム、
２０１・・・処理システム、
２０４・・・バイノーラルキュー抽出モジュール、
６００・・・パラメータラウドスピーカシステム。
【図１】
0005612126.tif 000024
【図２】
0005612126.tif 000025
【図３】
0005612126.tif 000026
【図４】
0005612126.tif 000027
【図５】
0005612126.tif 000028
【図６】
0005612126.tif 000029
【図７】
0005612126.tif 000030
【図８】
0005612126.tif 000031
【図９】
0005612126.tif 000032
【図１０】
0005612126.tif 000033
【図１１】
0005612126.tif 000034
【図１２】
0005612126.tif 000035
【図１３】
0005612126.tif 000036