(57)【特許請求の範囲】
【請求項１】
マルチチャネルサウンド信号の方向性が維持される疑似低周波数音響心理的センセーションをリスナーに伝達する方法であって、
処理ユニットによって、前記サウンド信号から高周波数マルチチャネル信号及び低周波数マルチチャネル信号を生成するステップであって、前記低周波数マルチチャネル信号が、関心のある低周波数範囲にわたって広がる、ステップと、
前記処理ユニットによって、マルチチャネル高調波信号を生成するステップであって、前記マルチチャネル高調波信号の少なくとも１つのチャネル信号のラウドネスは、前記低周波数マルチチャネル信号における対応するチャネルのラウドネスにほぼ一致し、前記マルチチャネル高調波信号の少なくとも１つのチャネルペアの少なくとも１つの周波数の少なくとも１つの両耳間レベル差（ＩＬＤ）は、前記低周波数マルチチャネル信号における対応するチャネルペアの対応する基本周波数のＩＬＤにほぼ一致する、ステップと、
前記処理ユニットによって、前記高調波マルチチャネル信号と前記高周波数マルチチャネル信号を合計して、これによって音響心理的代替信号を生じさせるステップと、
を含む、方法。
【請求項２】
前記少なくとも１つのチャネル信号は、前記マルチチャネル高調波信号の全チャネル信号を含む、請求項１に記載の方法。
【請求項３】
前記少なくとも１つの基本周波数は、前記低周波数マルチチャネル信号の全チャネル信号を含む、請求項１に記載の方法。
【請求項４】
前記高調波マルチチャネル信号を生成するステップは、
前記低周波数マルチチャネル信号の少なくとも２つのチャネル信号に対して、
前記チャネル信号の基本周波数の少なくとも１つの高調波周波数を各々が含むチャネル当たり高調波信号を生成するステップと、
前記低周波数マルチチャネル信号に従って、基準信号を生成するステップと、
前記基準信号のラウドネスに従って、ラウドネス利得調整を生成するステップと、
前記少なくとも１つのチャネル信号と前記基準信号の間のレベル差に少なくとも従って、前記チャネル当たり高調波信号の各々に対するＩＬＤ利得調整を生成するステップと、
前記生成されたラウドネス利得調整及びそれぞれのＩＬＤ利得調整を前記チャネル当たり高調波信号の各々に加えるステップと、
を含む、請求項１に記載の方法。
【請求項５】
前記高調波マルチチャネル信号を生成するステップは、
前記マルチチャネルサウンド信号の少なくとも２つのチャネル信号に対して、前記チャネル信号の基本周波数の少なくとも１つの高調波周波数を各々が含むチャネル当たり高調波信号を生成するステップと、
前記低周波数マルチチャネル信号に従って、基準信号を生成するステップと、
前記基準信号のラウドネス及び少なくとも前記少なくとも１つのチャネル信号と前記基準信号との間のレベル差に従って、利得調整を生成するステップと、
前記利得調整を前記チャネル当たり高調波信号の各々に加えるステップと、
を含む、請求項１に記載の方法。
【請求項６】
前記高調波マルチチャネル信号を生成するステップは、
前記低周波数マルチチャネル信号の少なくとも２つのチャネル信号に対して、
前記チャネル信号の基本周波数の少なくとも１つの高調波周波数を各々が含むチャネル当たり高調波信号を生成するステップと、
前記チャネル当たり高調波信号に従って、リンクエンベロープを計算し、非線形利得曲線を前記リンクエンベロープに加えて、ラウドネス利得調整を得るステップと、
前記チャネル当たり高調波信号の各々に対して、非リンクエンベロープを計算し、非線形利得曲線を前記非リンクエンベロープに加えて、ＩＬＤ利得調整を得るステップと、
前記チャネル当たり高調波信号の各々に対して、ラウドネス利得調整及び前記それぞれのＩＬＤ利得調整を加えるステップと、
を含む、請求項１に記載の方法。
【請求項７】
前記高調波マルチチャネル信号を生成するステップは、
前記低周波数マルチチャネル信号の少なくとも２つのチャネル信号に対して、
前記チャネル信号の基本周波数の少なくとも１つの高調波周波数を各々が含むチャネル当たり高調波信号を生成するステップと、
前記チャネル当たり高調波信号に従ってリンクエンベロープを計算し、非線形利得曲線を前記リンクエンベロープに加えて、ラウドネス及びＩＬＤ利得調整を得るステップと、
前記チャネル当たり高調波信号の各々に対して、前記ラウドネス及びＩＬＤ利得調整を加えるステップと、
を含む、請求項１に記載の方法。
【請求項８】
前記高調波マルチチャネル信号を生成するステップは、
前記低周波数マルチチャネル信号の少なくとも２つのチャネル信号に対して、チャネル当たり高調波信号を生成するステップであって、各々が、前記低周波数チャネル信号の少なくとも１つの基本周波数の少なくとも１つの高調波周波数を含み、これによって少なくとも２つのチャネル当たり高調波信号を得るステップと、
前記低周波数マルチチャネル信号に従って基準信号を生成するステップと、
各チャネル当たり高調波信号における少なくとも１つの周波数に対して、前記周波数当たりラウドネス利得調整に従って調節された前記少なくとも１つの周波数のラウドネスが、前記基準信号の対応する基本周波数のラウドネスにほぼ一致するように、周波数当たりラウドネス利得調整を生成するステップと、
各チャネル当たり高調波信号の少なくとも１つの周波数に対して、前記周波数当たりＩＬＤ利得調整に従って調節された各チャネル当たり高調波信号の少なくとも１つの周波数のＩＬＤが、前記基準低周波数信号における基本周波数のＩＬＤに対応する低周波数チャネル信号の基本周波数のＩＬＤにほぼ一致するように、周波数当たりＩＬＤ利得調整を計算するステップと、
前記ラウドネス利得調整及びそれぞれのＩＬＤ利得調整を前記チャネル当たり高調波信号の各々の少なくとも１つの周波数に加えるステップと、
を含む、請求項１に記載の方法。
【請求項９】
前記チャネル当たり高調波信号を生成するステップは、前記低周波数マルチチャネル信号の位相に従って前記高調波信号の位相を同期する、ことを特徴とする請求項８に記載の方法。
【請求項１０】
処理ユニットを含むシステムであって、前記処理ユニットは、請求項１〜９の何れかに従って作動するよう構成される、ことを特徴とするシステム。
【請求項１１】
処理回路によって読まれた時に、マルチチャネルサウンド信号の方向性が維持される疑似低周波数音響心理的センセーションをリスナーに伝達する方法を前記処理回路に実行させるプログラム命令を保持するコンピュータ可読ストレージ媒体を含むコンピュータプログラム製品であって、
前記方法は、
処理ユニットによって、前記サウンド信号から高周波数マルチチャネル信号及び低周波数マルチチャネル信号を生成するステップであって、前記低周波数マルチチャネル信号が、関心のある低周波数範囲にわたって広がる、ステップと、
前記処理ユニットによって、マルチチャネル高調波信号を生成するステップであって、前記マルチチャネル高調波信号の少なくとも１つのチャネル信号のラウドネスは、前記低周波数マルチチャネル信号における対応するチャネルのラウドネスにほぼ一致し、前記マルチチャネル高調波信号の少なくとも１つのチャネルペアの少なくとも１つの周波数の少なくとも１つの両耳間レベル差（ＩＬＤ）は、前記低周波数マルチチャネル信号における対応するチャネルペアの対応する基本周波数のＩＬＤにほぼ一致する、ステップと、
前記処理ユニットによって、前記高調波マルチチャネル信号と前記高周波数マルチチャネル信号を合計して、これによって音響心理的代替信号を生じさせるステップと、
を含む、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的には、バスセンセーション（低音感覚）の音響心理的拡張に関し、詳細にはこのような拡張下での方向性及びステレオ画像の保存に関する。
【０００２】
関連出願の相互参照
本出願は、全体が引用により本明細書に組み入れられる、２０１７年７月２３日に出願された米国仮出願第６２／５３５，８９８号明細書「ステレオ仮想バス拡張」からの利益を主張するものである。
【背景技術】
【０００３】
音響心理的オーディオ拡張の問題が従来の技術において認識されており、解決策を提供するために、例えば、以下のように、様々な技術が開発されてきた。
１．ＵＳ  ｐａｔｅｎｔ：  ５９３０３７３  Ａ，  “Ｍｅｔｈｏｄ  ａｎｄ  ｓｙｓｔｅｍ  ｆｏｒ  ｅｎｈａｎｃｉｎｇ  ｑｕａｌｉｔｙ  ｏｆ  ｓｏｕｎｄ  ｓｉｇｎａｌ”．
２．Ｂａｉ，  Ｍｉｎｇｓｉａｎ  Ｒ．，  ａｎｄ  Ｗａｎ−Ｃｈｉ  Ｌｉｎ．  “Ｓｙｎｔｈｅｓｉｓ  ａｎｄ  ｉｍｐｌｅｍｅｎｔａｔｉｏｎ  ｏｆ  ｖｉｒｔｕａｌ  ｂａｓｓ  ｓｙｓｔｅｍ  ｗｉｔｈ  ａ  ｐｈａｓｅ−ｖｏｃｏｄｅｒ  ａｐｐｒｏａｃｈ．”  Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  Ａｕｄｉｏ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｓｏｃｉｅｔｙ  ５４．１１  （２００６）：  １０７７−１０９１．
３．ＵＳ  ｐａｔｅｎｔ：    ６１３４３３０  “Ｕｌｔｒａ  ｂａｓｓ”．
４．Ｕ．  Ｚｏｌｚｅｒ，  Ｅｄ．，  ＤＡＦＸ：  Ｄｉｇｉｔａｌ  Ａｕｄｉｏ  Ｅｆｆｅｃｔｓ  （Ｗｉｌｅｙ，  Ｎｅｗ  Ｙｏｒｋ，  ２００２）．
５．ＵＳ  ｐａｔｅｎｔ：  ８０９８８３５  Ｂ２，  “Ｍｅｔｈｏｄ  ａｎｄ  ａｐｐａｒａｔｕｓ  ｔｏ  ｅｎｈａｎｃｅ  ｌｏｗ  ｆｒｅｑｕｅｎｃｙ  ｃｏｍｐｏｎｅｎｔ  ｏｆ  ａｕｄｉｏ  ｓｉｇｎａｌ  ｂｙ  ｃａｌｃｕｌａｔｉｎｇ  ｆｕｎｄａｍｅｎｔａｌ  ｆｒｅｑｕｅｎｃｙ  ｏｆ  ａｕｄｉｏ  ｓｉｇｎａｌ”．
６．Ｂｌａｕｅｒｔ，  Ｊｅｎｓ．  Ｓｐａｔｉａｌ  ｈｅａｒｉｎｇ：  ｔｈｅ  ｐｓｙｃｈｏｐｈｙｓｉｃｓ  ｏｆ  ｈｕｍａｎ  ｓｏｕｎｄ  ｌｏｃａｌｉｚａｔｉｏｎ．  ＭＩＴ  ｐｒｅｓｓ，  １９９７．
７．Ｓａｎｊａｕｍｅ，  Ｊｏｒｄｉ  Ｂｏｎａｄａ．  Ａｕｄｉｏ  Ｔｉｍｅ−Ｓｃａｌｅ  Ｍｏｄｉｆｉｃａｔｉｏｎ  ｉｎ  ｔｈｅ  Ｃｏｎｔｅｘｔ  ｏｆ  Ｐｒｏｆｅｓｓｉｏｎａｌ  Ａｕｄｉｏ  Ｐｏｓｔ−ｐｒｏｄｕｃｔｉｏｎ．  Ｉｎｆｏｒｍａｔｉｃａ  ｉ  Ｃｏｍｕｎｉｃａｃｉｏ  ｄｉｇｉｔａｌ，  Ｕｎｉｖｅｒｓｉｔａｔ  Ｐｏｍｐｅｕ  Ｆａｂｒａ  Ｂａｒｃｅｌｏｎａ．  Ｂａｒｃｅｌｏｎａ，  Ｓｐａｉｎ，  ２００２．
【０００４】
音響心理的バス拡張は、家庭用電化製品製造者から強い関心を受け取っている。物理的制限及びコスト上の制約に起因して、ローエンドスピーカ及びヘッドフォンなどの製品は低品質のバス性能の影響を被ることが多い。
【０００５】
「ミッシングファンダメンタル」（欠落した基本周波数成分）として公知の音響心理的現象に基づく解決策が提案されてきており、これによって人間の聴覚システムは、そのより高い高調波に従って複素ス信号の基本周波数を知覚することができる。
【０００６】
ベース拡張の多くの方法がこの効果を活用して、基本的には低周波数で仮想ピッチを作成する。従って、オーディオ拡張の分野では、低周波数範囲全体を生成することなくオリジナル信号に高調波を追加することが一般的であり、これによってオーディエンスは、これらの周波数が生成されたサウンドに物理的に存在しなくても、又はスピーカ／ヘッドフォンが周波数を生成できない場合でも、基本周波数を知覚することができる。
【０００７】
音響心理的効果の別の幾つかの例が、米国特許第５，９３０，３７３号、「Ｂｅｎ−Ｔｚｕｒ，Ｄ．他のＴｈｅ  Ｅｆｆｅｃｔ  ｏｆ  ＭａｘｘＢａｓｓ  Ｐｓｙｃｈｏａｃｏｕｓｔｉｃ  Ｂａｓｓ  Ｅｎｈａｎｃｅｍｅｎｔ  ｏｎ  Ｌｏｕｄｓｐｅａｋｅｒ  Ｄｅｓｉｇｎ、１０６ｔｈ  ＡＥＳ  Ｃｏｎｖｅｎｔｉｏｎ，  Ｍｕｎｉｃｈ，  Ｇｅｒｍａｎｙ，  １９９９」、「Ｗｏｏｎ  Ｓ．Ｇａｎ,  Ｓｅｎ．Ｍ．Ｋｕｏ，  Ｃｈｅｅ  Ｗ．  Ｔｏｈ、Ｖｉｒｔｕａｌ  ｂａｓｓ  ｆｏｒ  ｈｏｍｅ  ｅｎｔｅｒｔａｉｎｍｅｎｔ，  ｍｕｌｔｉｍｅｄｉａ  ｐｃ，  ｇａｍｅ  ｓｔａｔｉｏｎ  ａｎｄ  ｐｏｒｔａｂｌｅ  ａｕｄｉｏ  ｓｙｓｔｅｍｓ，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｏｎｓｕｍｅｒ  ｅｌｅｃｔｒｏｎｉｃｓ，  Ｖｏｌ．  ４７，  Ｎｏ．  ４，  Ｎｏｖｅｍｂｅｒ  ２００１，  ｐａｇｅ  ７８７−７９４」、「ｈｔｔｐ：／／ｗｗｗ．ｓｒｓｌａｂｓ．ｃｏｍ／ｐａｒｔｎｅｒｓ／ａｅｔｅｃｈ／ｔｒｕｂａｓｓ＿ｔｈｅｏｒｙ．ａｓｐ」、「ｈｔｔｐ：／／ｖｓｔ−ｐｌｕｇｉｎｓ．ｈｏｍｅｍｕｓｉｃｉａｎ．ｎｅｔ／ｉｎｓｔｒｕｍｅｎｔｓ／ｖｉｒｔｕａｌ＿ｂａｓｓ＿ｖｂｌ．ｈｔｍｌ」、「ｈｔｔｐ：／／ｍｐ３．ｄｅｅｐｓｏｕｎｄ．ｎｅｔ／ｐｌｕｇｉｎｓ＿ｄｙｎａｍｉｑｕｅ．ｐｈｐ」、及び「ｈｔｔｐ：／／ｗｗｗ．ｓｒｓ−ｓｔｏｒｅ．ｃｏｍ／ｓｔｏｒｅ−ｐｌｕｇｉｎｓ／ｍａｌｌ／ｐｄｆ／ＷＯＷ％２０ＸＴ％Ｐｌｕｇ−ｉｎｍａｎｕａｌ．ｐｄｆ」に示されている。
【０００８】
上記に記載した参照は、本発明で開示される主題に適用することができる背景情報を教示している。従って、これらの刊行物の全内容は、追加又は代替の詳細、特徴及び／又は技術的背景の適切な教示に対して適切な場合に引用により本明細書に組み込まれる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許第５，９３０，３７３Ａ明細書
【特許文献２】米国特許第６，１３４，３３０号明細書
【特許文献３】米国特許第８，０９８，８３５  Ｂ２明細書
【特許文献４】米国特許第５，９３０，３７３号
【非特許文献】
【００１０】
【非特許文献１】Ｂａｉ、Ｍｉｎｇｓｉａｎ  Ｒ．，及びＷａｎ−Ｃｈｉ  Ｌｉｎ、「位相ボコーダー手法による仮想バスシステムの合成及び実装」、ジャーナル・オブ・オーディオ・エンジニアリングソサエティ  ５４．１１（２００６年）：１０７７−１０９１
【非特許文献２】Ｕ．Ｚｏｌｚｅｒ，Ｅｄ．，ＤＡＦＸ：デジタルオーディオ効果（ウィリー，ニューヨーク、２００２年）
【非特許文献３】Ｂｌａｕｅｒｔ，  Ｊｅｎｓ．  Ｓｐａｔｉａｌ  ｈｅａｒｉｎｇ：  ｔｈｅ  ｐｓｙｃｈｏｐｈｙｓｉｃｓ  ｏｆ  ｈｕｍａｎ  ｓｏｕｎｄ  ｌｏｃａｌｉｚａｔｉｏｎ．  ＭＩＴ  ｐｒｅｓｓ，  １９９７
【非特許文献４】Ｓａｎｊａｕｍｅ，  Ｊｏｒｄｉ  Ｂｏｎａｄａ．  Ａｕｄｉｏ  Ｔｉｍｅ−Ｓｃａｌｅ  Ｍｏｄｉｆｉｃａｔｉｏｎ  ｉｎ  ｔｈｅ  Ｃｏｎｔｅｘｔ  ｏｆ  Ｐｒｏｆｅｓｓｉｏｎａｌ  Ａｕｄｉｏ  Ｐｏｓｔ−ｐｒｏｄｕｃｔｉｏｎ．  Ｉｎｆｏｒｍａｔｉｃａ  ｉ  Ｃｏｍｕｎｉｃａｃｉｏ  ｄｉｇｉｔａｌ，  Ｕｎｉｖｅｒｓｉｔａｔ  Ｐｏｍｐｅｕ  Ｆａｂｒａ  Ｂａｒｃｅｌｏｎａ．  Ｂａｒｃｅｌｏｎａ，  Ｓｐａｉｎ，  ２００２
【非特許文献５】Ｂｅｎ−Ｔｚｕｒ，Ｄ．他のＴｈｅ  Ｅｆｆｅｃｔ  ｏｆ  ＭａｘｘＢａｓｓ  Ｐｓｙｃｈｏａｃｏｕｓｔｉｃ  Ｂａｓｓ  Ｅｎｈａｎｃｅｍｅｎｔ  ｏｎ  Ｌｏｕｄｓｐｅａｋｅｒ  Ｄｅｓｉｇｎ、１０６ｔｈ  ＡＥＳ  Ｃｏｎｖｅｎｔｉｏｎ，  Ｍｕｎｉｃｈ，  Ｇｅｒｍａｎｙ，  １９９９
【非特許文献６】Ｗｏｏｎ  Ｓ．Ｇａｎ,  Ｓｅｎ．Ｍ．Ｋｕｏ，  Ｃｈｅｅ  Ｗ．  Ｔｏｈ、Ｖｉｒｔｕａｌ  ｂａｓｓ  ｆｏｒ  ｈｏｍｅ  ｅｎｔｅｒｔａｉｎｍｅｎｔ，  ｍｕｌｔｉｍｅｄｉａ  ｐｃ，  ｇａｍｅ  ｓｔａｔｉｏｎ  ａｎｄ  ｐｏｒｔａｂｌｅ  ａｕｄｉｏ  ｓｙｓｔｅｍｓ，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｏｎｓｕｍｅｒ  ｅｌｅｃｔｒｏｎｉｃｓ，  Ｖｏｌ．  ４７，  Ｎｏ．  ４，  Ｎｏｖｅｍｂｅｒ  ２００１，  ｐａｇｅ  ７８７−７９４
【発明の概要】
【発明が解決しようとする課題】
【００１１】
仮想バス拡張の既存の方法は、基本バス周波数をそれよりも高い高調波で置き換えることが多い。このような方法は、一般的には、ステレオ入力オーディオチャネルの和など、ある種類のモノラル信号に基づく高調波を生成する。これらの高調波は、多くの場合、［１］に示すような非線形利得制御を介して、又は［３］及び［５］に示すような増幅器を介して制御される。この利得調整は、高調波信号の知覚されるラウドネスを入力基本周波数の知覚されるラウドネスによって等化することが意図されることが多い。
【００１２】
非モノラル入力信号（例えば、ステレオ、バイノーラル、サラウンド、その他）により、これらの方法は以下の問題の影響を被ることが多い。
１．破損したステレオ画像−信号にモノ高調波を追加することで、これらの高調波のステレオ画像を中心に向けてシフトさせることができる。このパニングは、例えば、特別な効果が方向性である（又は動いている）時の映画において、又は様々な位置にある一部の低周波数の楽器を包含するライブミュージックコンテンツにおいては極めて重要とすることができる。
２．バイノーラル信号における知覚される方向性の損失−例えば、低周波数でも両耳間レベル差（ＩＬＤ）及び両耳間時間差（ＩＴＤ）などの方向性のキューを人間の耳が感知することが、文献において示されている。従って、バイノーラル信号にモノ高調波を追加することは、オリジナルコンテンツのＩＬＤ及びＩＴＤが知覚されないので、方向性の知覚が損なわれる。
【００１３】
ラウドスピーカの小さなサイズに起因して高調波が高周波数において生じるはずである場合、ステレオオーディオのステレオ画像において、及びバイノーラル信号における知覚される方向性において、高周波数における方向性キューが極めて重要であるので、これらの問題は、一部の消費者デバイスでかなり深刻になる可能性がある。
【００１４】
本発明で開示される主題の一部の実施形態の利点のなかでも、ステレオ画像をより維持できるバス拡張効果の提供は、バイノーラル信号の方向性知覚を維持することができ、ＩＬＤ及びＩＴＤを含む方向性キューを維持することができる。
【課題を解決するための手段】
【００１５】
本発明で開示される主題の１つの態様によれば、マルチチャネルサウンド信号の方向性が維持される疑似低周波数音響心理的センセーションをリスナーに伝達する方法が提供され、本方法は、
処理ユニットによって、サウンド信号から高周波数マルチチャネル信号及び低周波数マルチチャネル信号を生成するステップであって、低周波数マルチチャネル信号は関心のある低周波数範囲にわたって広がる、ステップと、
処理ユニットによって、マルチチャネル高調波信号を生成するステップであって、マルチチャネル高調波信号の少なくとも１つのチャネル信号のラウドネスは、低周波数マルチチャネル信号における対応するチャネルのラウドネスにほぼ一致し、マルチチャネル高調波信号の少なくとも１つのチャネルペアの少なくとも１つの周波数の少なくとも１つの両耳間レベル差（ＩＬＤ）が、低周波数マルチチャネル信号における対応するチャネルペアの対応する基本周波数のＩＬＤにほぼ一致する、ステップと、
処理ユニットによって、高調波マルチチャネル信号と高周波数マルチチャネル信号を合計して、これによって音響心理的代替信号を生じさせるステップと、
を含む。
【００１６】
上記の特徴に加えて、本発明で開示される主題の本態様による方法は、技術的に実施可能である何らかの所望の組み合わせ又は置換して、
以下に列挙される特徴（ｉ）から（ｉｘ）のうちの１又は２以上を含むことができる。
（ｉ）少なくとも１つのチャネル信号が、マルチチャネル高調波信号の全てのチャネル信号を含む。
（ｉｉ）少なくとも１つの両耳間レベル差が、少なくとも１つの周波数の全ての両耳間レベル差を含む。
（ｉｉｉ）少なくとも１つの基本周波数が、低周波数マルチチャネル信号の全てのチャネル信号を含む。
（ｉｖ）高調波マルチチャネル信号を生成するステップが、
低周波数マルチチャネル信号の少なくとも２つのチャネル信号に対して、
チャネル信号の基本周波数の少なくとも１つの高調波周波数を各々が含むチャネル当たり高調波信号を生成するステップと、
低周波数マルチチャネル信号に従って、基準信号を生成するステップと、
基準信号のラウドネスに従って、ラウドネス利得調整を生成するステップと、
少なくとも１つのチャネル信号と基準信号の間の１つのレベル差に少なくとも従って、チャネル当たり高調波信号の各々に対するＩＬＤ利得調整を生成するステップと、
生成されたラウドネス利得調整及びそれぞれのＩＬＤ利得調整をチャネル当たり高調波信号の各々に加えるステップと、
を含む。
（ｖ）高調波マルチチャネル信号を生成するステップが、
マルチチャネルサウンド信号の少なくとも２つのチャネル信号に対して、チャネル信号の基本周波数の少なくとも１つの高調波周波数を各々が含むチャネル当たり高調波信号を生成するステップと、
低周波数マルチチャネル信号に従って、基準信号を生成するステップと、
基準信号のラウドネス及び少なくとも１つのチャネル信号と基準信号の間のレベル差に少なくとも従って、利得調整を生成するステップと、
利得調整をチャネル当たり高調波信号の各々に加えるステップと、
を含む。
（ｖｉ）高調波マルチチャネル信号を生成するステップは、
低周波数マルチチャネルの少なくとも２つのチャネル信号に対して、
チャネル信号の基本周波数の少なくとも１つの高調波周波数を各々が含むチャネル当たり高調波信号を生成するステップと、
チャネル当たり高調波信号に従って、リンクエンベロープを計算し、リンクエンベロープに非線形利得曲線を加えて、ラウドネス利得調整を結果として得るステップと、
チャネル当たり高調波信号の各々に対して、非リンクエンベロープを計算し、非リンクエンベロープに非線形利得曲線を加えて、ＩＬＤ利得調整を結果として得るステップと、
チャネル当たり高調波信号の各々に対して、ラウドネス利得調整及びそれぞれのＩＬＤ利得調整を加えるステップと、
を含む。
（ｖｉｉ）高調波マルチチャネル信号を生成するステップは、
低周波数マルチチャネル信号の少なくとも２つのチャネル信号に対して、
チャネル信号の基本周波数の少なくとも１つの高調波周波数を各々が含むチャネル当たり高調波信号を生成するステップと、
チャネル当たり高調波信号に従ってリンクエンベロープを計算し、非線形利得曲線をリンクエンベロープに加えて、ラウドネス及びＩＬＤ利得調整を結果として得るステップと、
チャネル当たり高調波信号の各々に対して、ラウドネス及びＩＬＤ利得調整を加えるステップと、
を含む。
（ｖｉｉｉ）高調波マルチチャネル信号を生成するステップは、
低周波数マルチチャネル信号の少なくとも２つのチャネル信号に対して、
チャネル当たり高調波信号を生成するステップであって、各々が低周波数チャネル信号の少なくとも１つの基本周波数の少なくとも１つの高調波周波数を含み、これによって少なくとも２つのチャネル当たり高調波信号を結果として得るステップと、
低周波数マルチチャネル信号に従って基準信号を生成するステップと、
各チャネル当たり高調波信号における少なくとも１つの周波数に対して、周波数当たりラウドネス利得調整に従って調節された少なくとも１つの周波数のラウドネスが、基準信号の対応する基本周波数のラウドネスにほぼ一致するように、周波数当たりラウドネル利得調整を生成するステップと、
各チャネル当たり高調波信号の少なくとも１つの周波数に対して、周波数当たりＩＬＤ利得調整に従って調節された各チャネル当たり高調波信号の少なくとも１つの周波数のＩＬＤが、基準低周波数信号における基本周波数のＩＬＤに対応する低周波数チャネル信号の基本周波数のＩＬＤにほぼ一致するように、周波数当たりＩＬＤ利得調整を計算するステップと、
ラウドネス利得調整及びそれぞれのＩＬＤ利得調整をチャネル当たり高調波信号の各々の少なくとも１つの周波数に加えるステップと、
を含む。
（ｉｘ）チャネル当たり高調波信号を生成するステップは、高調波信号の位相を低周波数マルチチャネル信号の位相と同期させる。
【００１７】
本発明で開示される主題の別の態様によれば、処理ユニットを含むシステムが提供され、この処理ユニットは、請求項１に従って作動するよう構成される。
【００１８】
本発明で開示される主題の別の態様によれば、処理回路によって可読であり、マルチチャネルサウンド信号の方向性が維持される疑似低周波数音響心理的センセーションをリスナーに伝達する方法を実行するよう前記処理回路によって実行可能なコンピュータ可読命令を有形で具現化する非一時的プログラムストレージデバイスが提供され、
本方法は、
処理ユニットによって、サウンド信号から高周波数マルチチャネル信号及び低周波数マルチチャネル信号を生成するステップであって、低周波数マルチチャネル信号が関心のある低周波数範囲にわたって広がる、ステップと、
処理ユニットによって、マルチチャネル高調波信号を生成するステップであって、マルチチャネル高調波信号の少なくとも１つのチャネル信号のラウドネスが、低周波数マルチチャネル信号における対応するチャネルのラウドネスにほぼ一致し、マルチチャネル高調波信号の少なくとも１つのチャネルペアの少なくとも１つの周波数の少なくとも１つの両耳間レベル差（ＩＬＤ）が、低周波数マルチチャネル信号における対応するチャネルペアの対応する基本周波数のＩＬＤにほぼ一致する、ステップと、
処理ユニットによって、高調波マルチチャネル信号と高周波数マルチチャネル信号を合計して、これによって音響心理的代替信号を生じさせるステップと、
を含む。
【００１９】
本発明を理解し実際に実行する方法を理解するために、非限定的な実施例として、添付図面を参照しながら実施形態について説明する。
【図面の簡単な説明】
【００２０】
【図１】本発明で開示される主題の一部の実施形態による仮想バス拡張の全体的なシステムを示す概略図である。
【図２】本発明で開示される主題の一部の実施形態による方向性維持バス拡張の例示的な方法を示す汎用流れ図である。
【図２ａ】本発明で開示される主題の一部の実施形態による方向性維持高調波信号の生成の例示的な方法を示す汎用流れ図である。
【図３】本発明で開示される主題の一部の実施形態による高調波ユニットの例示的時間ドメインベースの構造を示す図である。
【図３ａ】本発明で開示される主題の一部の実施形態による高調波ユニットの時間ドメイン構造を示す単純化バージョンである。
【図４】本発明で開示される主題の一部の実施形態による高調波ユニット１２０における例示的時間ドメインベースの処理を示す汎用流れ図である。
【図５】本発明で開示される主題の一部の実施形態による高調波ユニットの例示的周波数ドメインベースの構造を示す図である。
【図５ａ】本発明で開示される主題の一部の実施形態による高調波ユニットの周波数ドメインベースの構造の例示的スペクトラム修正成分を示す図である。
【図６】本発明で開示される主題の一部の実施形態による高調波ユニット１２０における例示的周波数ドメインベースの処理を示す汎用流れ図である。
【図７】本発明で開示される主題の一部の実施形態によるヘッドシャドーイングモデルの例示的曲線を示す図である。
【図８】本発明で開示される主題の一部の実施形態による高調波生成再帰フィードバックループの例示的な構造を示す図である。
【発明を実施するための形態】
【００２１】
以下の詳細な説明では、多数の特定の詳細が本発明の完全な理解を提供するために示されている。しかしながら、本発明で開示される主題がこれらの特定の詳細なしに実施できることは、当業者によって理解されるであろう。他の事例では、公知の方法、手順、構成要素及び回路は、本発明で開示される主題を曖昧にしないために詳細には説明していない。
【００２２】
別途明確に記載されない限り、以下の説明から明らかなように、明細書全体を通して、「処理する」、「コンピュータ計算する」、「表現する」、「比較する」、「生成する」、「評価する」、「マッチングする」、「更新する」などの用語を用いた論議は、データを、電子、量などの物理量として表されるデータ及び／又は物理的物体を表すデータなどの物理量として表される他のデータに操作及び／又は変換するコンピュータの動作及び／又は処理を指すことを理解されたい。用語「コンピュータ」は、非限定的な実施例として、本出願で開示される「処理ユニット」を含むデータ処理能力を備えたハードウェアベースの電子デバイスの何らかの種類を含むものとして広く解釈すべきである。
【００２３】
本明細書で用いる「非一時的メモリ」及び「非一時的ストレージ媒体」という用語は、本発明で開示される主題に適した何らかの揮発性又は不揮発性コンピュータメモリを含むと広く解釈すべきである。
【００２４】
本明細書の教示による動作は、所望の目的に特別に構成されたコンピュータによって、又は非一時的コンピュータ可読ストレージ媒体に格納されたコンピュータプログラムによる所望の目的に特別に構成された汎用コンピュータによって実行することができる。
【００２５】
本発明で開示される主題の実施形態は、何らかの特定のプログラミング言語に関して記述してはいない。多種多様なプログラミング言語を、本明細書に説明する本発明で開示される主題の教示を実施するために用いることができることが理解されるであろう。
【００２６】
サウンドの方向の人間の知覚は、ＩＬＤ（両耳間レベル差）及びＩＴＤ（両耳間時間差）などの方向キューに主として基づいている。再生されるマルチチャネルオーディオコンテンツは、録音又はミキシング処理から生じるＩＬＤ及びＩＴＤキューを含むものとみなされる。例えば、ステレオ音楽は、複数の楽器及びボーカルを包含し、各々が、録音に対して又はマルチトラックミキシング処理の増幅パニングによって用いられるステレオフォニックマイクロフォンによって符号化されるステレオ画像における異なる方向に位置付けられる。
【００２７】
対象者がラウドスピーカを聴取している時に、各ラウドスピーカから反対の耳へのクロストークに起因して、音源の知覚ＩＴＤは、実際には、信号のチャネル間の時間（又は位相）差及びレベル差の両方に影響される。
【００２８】
しかしながら、モノラルバス高調波が信号に追加されると、オリジナルサウンドにおける基本周波数の知覚ＩＬＤ（左チャネルの基本周波数のレベルと右チャネルの基本周波数のレベルとの比によって示される）は、ヘッドフォン及びラウドスピーカ聴取セットアップの両方に対して高調波では知覚されない。高調波生成の前のチャネルのモノ合計によって、ＩＴＤもまた知覚されない。同じコンテンツが、限定的なレンジのラウドスピーカ又はヘッドフォンで再生された時に、バス応答が不足し、バスエネルギーの一部がバス拡張（例、［１］）の高い高調波と置き換えられた時には、フルレンジデバイスによって再生されるように方向キューを維持するのが望ましい。
【００２９】
ステレオ画像及びバイノーラルコンテンツのＩＬＤを維持するマルチチャネルシステムにおける高調波信号を生成するために、発明者らは以下を考慮するようにした。
ａ）参照［１］に説明したラウドネスの補償は、ステレオ画像を維持するために全チャネルに対して同じにしなければならない。例えば、フィードバックループ［１］を用いた生成高調波の特定のケースでは、高調波信号を拡張する乗算を包含し、この拡張に対する補償（例えばコンプレッサを用いた）、すなわち全てのチャネルに対する同じ補償利得をリンクしなくてはならない。
ｂ）ＩＬＤは、図７に示すようにヘッドシャドーイングモデルに従う周波数の関数として単調に減少していき、これは、第１高調波の強度が基本周波数の強度より低くなければならないことを意味し、一般的には各高調波が次の高調波より強く（又はＩＬＤが全ての周波数に対して０ｄＢであるゼロ度の場合には等しく）なくてはならないことを意味する。加えて、低周波数（１ＫＨｚより下）では、基本周波数対第１高調波のＩＬＤの比は、全角度に対してログ［ｄＢ］スケールで一定である。これは、高高調波でも当てはまり、第Ｎ高調波のＩＬＤと（Ｎ＋１）番目の高調波のＩＬＤの間のログスケールにおける比は、ソースの角度に関わらず一定である。方向性を実質的に維持するために、発明者らは、ＩＬＤ減少曲線を考慮して高調波を生成した。全ての角度で減少が直線であるので（ログ［ｄＢ］スケールで）、ａ＝Ｎ*ｒ（基本周波数に関して）で各高調波の入力信号の拡張（すなわち、ｙ＝ｘa）によってのみ生成することができ、ここでＮは第Ｎ高調波、ｒは基本周波数のＩＬＤ［ｄＢ］と第１高調波のＩＬＤ［ｄＢ］の間の比を表す定数である（〜３．９になることが実験的に発見された）。高調波信号を拡大する乗算を包含するフィードバックループを用いた高調波生成の特定の場合に、補償は、フィードバックループの固有の拡大を考慮する（ｙ＝ｘ2−＞ｒ＝３．９−２＝１．９）。
【００３０】
以下に示す説明では、便宜上、全てのチャネル、チャネルの全ての周波数、全てのＩＬＤなどに適用されるように記載されることがある。これらの場合の全てにおいて、非限定的な実施例として、これらの動作は、本発明で開示される主題の一部の実施形態においてチャネルのサブセット、チャネルの周波数などに適用できることは理解されるであろう。
【００３１】
同様に、以下に示す説明では、便宜上、例えば３９０などの識別子を用いる作動が示される場合もある。このような説明は、非限定的な実施例として、識別子３９０ａ、３９０ｂなどに関係できることは理解されるであろう。
【００３２】
図１に注意を向けると、本発明で開示される主題の一部の実施形態によるマルチチャネル信号のバス拡張の方向性を維持する例示的システムを示す。
【００３３】
処理ユニット１００は、方向性維持バス拡張を実施する例示的なシステムである。処理ユニット１００は、非限定的な実施例として、高フィデリティステレオオーディオ、バイノーラル又はサラウンドサウンドゲームコンテンツなどのオーディオコンテンツの様々な種類を包含できるマルチチャネル入力信号１０５を受信することができる。処理ユニット１００は、例えば、イヤフォン又はデスクトップスピーカなどの限定的なレンジのサウンド出力デバイスでの出力に適したラウドネス維持及び方向性維持拡張バスマルチチャネル出力信号１４５を出力することができる。
【００３４】
処理ユニット１００は、例えば、アナログ回路に基づく信号処理ユニットとすることができる。処理ユニット１００は、例えば、デジタル信号処理技術（例えば、アナログ回路の代わりに又はこれに加えて）を利用することができる。この場合、処理ユニット１００は、ＤＳＰ（又は他の種類のＣＰＵ）及びメモリを含むことができる。入力オーディオ信号は、例えば当技術で公知の技術を用いてデジタル信号に変換することができ、結果デジタル出力信号は、例えば、更なるアナログ処理のためにアナログオーディオ信号に同様に変換することができる。この場合、図1に示した様々なユニットは、「処理ユニットに含まれる」と表現される。
【００３５】
処理ユニット１００は、分離ユニット１１０を含むことができる。分離ユニット１１０は、マルチチャネル入力信号１０５から関心のある所与のレンジにおける低周波数を分離することができ、マルチチャネル低周波数信号１１５及びマルチチャネル高周波数信号１２５を結果として生じる。分離ユニット１１０は、例えば、ハイパスフィルタ（ＨＰＦ）及びローパスフィルタ（ＬＰＦ）（並列に並べられる）を介してマルチチャネル入力信号１０５の各チャネルをディレクトし、ＨＰＦ出力をマルチチャネル高周波数信号１２５にＬＰＦ出力をマルチチャネル低周波数信号１１５にパスすることによって実施することができる。
【００３６】
処理ユニット１００は高調波ユニット１２０を含むことができる。高調波ユニット１２０は、マルチチャネル信号の各チャネルに対して、マルチチャネル低周波数信号１１５に存在する基本周波数に従って、高調波周波数を生成し、マルチチャネル高調波信号１３５を出力することができる。
【００３７】
本発明で開示される主題の一部の実施形態では、高調波ユニット１２０は、以下の特徴の一部又は全てを備えたマルチチャネル高調波信号１３５を生成する。
ａ）マルチチャネル高調波信号の少なくとも１つのチャネル信号のラウドネスは、低周波数マルチチャネル信号の対応するチャネルのラウドネスにほぼ一致する。
ｂ）マルチチャネル高調波信号のチャネルの少なくとも１つのペアの少なくとも１つの周波数の少なくとも１つの両耳間レベル差（ＩＬＤ）は、低周波数マルチチャネル信号におけるチャネルの対応するペアの対応する基本周波数のＩＬＤにほぼ一致する。
【００３８】
１つの信号のラウドネスは、例えば、［１］に指定された「基本的にラウドネスマッチ」の条件が満足された時に、別の信号のラウドネスにほぼ一致すると考えることができる。高調波が生成される基本周波数は、本明細書では対応する基本周波数と呼ばれる。高調波マルチチャネル信号のチャネルが生成される低周波数マルチチャネル信号のチャネルは、本明細書では対応するチャネルと呼ばれる。
【００３９】
特定の周波数のマルチチャネル信号のチャネルの1つのペアのＩＬＤは、例えば、ＩＬＤが、例えば周波数感知ヘッドシャドーイングモデル、例えばＢｒｏｗｎ，Ｃ．Ｐ．，Ｄｕｄａ，Ｒ．Ｏ．−３Ｄサウンドのための効率的なｈｒｔｆモデルに従って、等価の知覚されたレベル差を有する時に、異なる周波数における対応するマルチチャネル信号の別のチャネルのペアのＩＬＤにほぼ一致すると考えることができる。オーディオ及び音響への信号処理の応用におけるＩＥＥＥ  ＡＳＳＰワークショップの議事録、ＩＥＥＥ（１９９７年）。
【００４０】
高調波ユニット１２０は、何らかの適切な方式で実施することができる。非限定的な実施例として、高調波ユニット１２０は、図３に関して以下に説明する時間ドメイン構造を用いて実施することができる。非限定的な実施例として、高調波ユニット１２０は、図５に関して以下の本明細書に説明する周波数ドメイン構造を用いて実施することができる。
【００４１】
処理ユニット１００はミキサユニット１３０を含むことができる。ミキサユニット１３０は、マルチチャネル高周波数信号１２５及びマルチチャネル高調波信号１３５を組み合わせて出力マルチチャネル高調波信号１３５を生成することができる。ミキサユニット１３０は、例えばミキサ回路によって又はそのデジタル等価物によって実施することができる。
【００４２】
本発明で開示される主題の教示は、図１に関して説明した方向性維持バス拡張システムによって縛られない点に留意されたい。等価の及び／又は修正された機能を別の方法で確立又は分割することができ、ファームウェア及び／又はハードウェアとのソフトウェアの何らかの適切な組み合わせで実施することができ且つ適切なデバイスで実行することができる。処理ユニット（１００）は、独立エンティティとすることができるか、又は他のエンティティに完全に又は部分的に統合することができる。
【００４３】
図２は、本発明で開示される主題の一部の実施形態による図１の構造に基づく方向性維持バス拡張の例示的な方法の汎用流れ図を示す。
【００４４】
本発明で開示される主題の教示は、図２に示した流れ図によって縛られることなく、図示した作動を図示の順序以外で起こすことができる点に留意されたい。フローチャートが図１のシステムの要素に関して示されているが、これは決して拘束力のあるものではなく、作動は本明細書で説明する要素以外の要素によって実行できる点に留意されたい。
【００４５】
図２に注意を向けると、本発明で開示される主題の一部の実施形態による方向性維持高調波信号の生成の例示的な方法が示されている。
【００４６】
プロセッサ１００（例えば、高調波ユニット１２０）は、各チャネルに対して、チャネル信号における各基本周波数に対応する高調波周波数を含むチャネル当たり高調波信号を生成することができる（２１０）。
【００４７】
プロセッサ１００（例えば、高調波ユニット１２０）は、マルチチャネル信号から生成される基準信号を生成することができる（２２０）（例えば、時間ドメインであらゆるサンプルに対して又は周波数ドメインであらゆるバッファに対して）。
【００４８】
プロセッサ１００（例えば、高調波ユニット１２０）は、基準信号２のラウドネス特性に従って、ラウドネス利得調整を生成することができる（２３０）。
【００４９】
プロセッサ１００（例えば、高調波ユニット１２０）は、チャネル当たり高調波信号を生成した入力信号と基準信号の間の方向性キューに従って、各チャネル当たり高調波信号に対する方向性利得調整を生成することができる（２４０）。
【００５０】
プロセッサ１００（例えば、高調波ユニット１２０）は、各チャネル当たり高調波信号に、生成されたラウドネス利得調整及びＩＬＤ利得調整を加えることができる（２５０）。
【００５１】
本発明で開示される主題の教示は、図２に示した流れ図によって縛られず、図示した作動を例示した順序以外で行うことができる点に留意されたい。フローチャートが図１のシステムの要素に関して示されているが、これは拘束を意味するものではなく、本明細書に示した要素以外の要素によって動作を実行できる点に留意されたい。
【００５２】
ここで図３に注意を向けると、本発明で開示される主題の一部の実施形態による高調波ユニットの例示的時間ドメインベースの構造が示されている。
【００５３】
説明を分かり易くするために、例示的高調波ユニット１２０は、２つのオーディオチャネルの処理を含む。この教示が２つより多いオーディオチャネルを含む実施形態に適用されることが当業者には明らかであろう。
【００５４】
図１に関して上述したように、各チャネルの低周波数を含むマルチチャネル入力信号は、高調波ユニット１２０で受信することができる。高調波ユニット１２０は、高調波生成ユニット（ＨＧＵ）３１０の幾つかのインスタンスを含むことができ、例えばマルチチャネル信号の１つのチャネル当たり１つのＨＧＵ３１０インスタンスがある。各ＨＧＵインスタンスは、オリジナル低周波数マルチチャネル信号の１つの低周波数チャネル信号を処理することができる。
【００５５】
本発明で開示される主題の一部の実施形態では、ＨＧＵ３１０ａは、入力信号に従って、入力信号の各基本周波数の少なくとも第１の２つの高調波周波数を含む高調波信号３２０ａを生成する。
【００５６】
ＨＧＵ３１０は、［１］の図４に示したものなどの再帰的フィードバックループとして実施することができる（以下図８に図示）。ＨＧＵ３１０ａは、以下に説明する高調波レベル制御ユニット３４０によって生成される利得３２５ａを受け取ることができる。利得３２５ａは、フィードバックループの高調波信号作成の強度を決定する制御信号として機能することができる。
【００５７】
本発明で開示される主題の一部の実施形態では、各高調波信号３２０ａ、３２０ｂは、高調波レベル制御ユニット（ＨＬＣ）３４０への入力として用いられる。ＨＬＣは、例えば調節された高調波信号３８０ａ、３８０ｂを出力することができ、調節された高調波信号は、ａ）対応するオリジナル低周波数チャネル信号のラウドネス及びｂ）例えばＩＬＤ又はＩＴＤなどの方向性キュー情報の両方にほぼ一致する。
【００５８】
本発明で開示される主題の一部の実施形態では、ＨＬＣ３４０は、各チャネル当たり高調波信号のエンベロープを決定することができるエンベロープ成分３４５ａ、３４５ｂを含む。チャネル当たりエンベロープは、最大選択成分３５０及び非リンク利得曲線成分３７０ａ、３７０ｂへの入力としての役割を果たすことができる。
【００５９】
最大選択成分３５０は、入力として各チャネル当たりエンベロープを受け取り、入力チャネルのラウドネスを指示するエンベロープを出力する。本発明で開示される主題の一部の実施形態では、出力エンベロープは、例えば入力エンベロープの最大値とすることができる。本発明で開示される主題の一部の実施形態では、出力エンベロープは、例えば入力エンベロープの平均値とすることができる。出力エンベロープは、リンク利得曲線成分３６０への入力として供給することができる。
【００６０】
リンク利得曲線成分３６０は、フレッチャー−マンソンモデルなどのラウドネスモデルに従って、対応する高調波信号のラウドネスを調節する利得曲線をもたらすことができ、これによって各生成された高調波周波数のラウドネス（例えばフォンで測定）は、高調波が生成された基本周波数のラウドネスと同じである。
【００６１】
リンク利得曲線成分３６０は、例えば［１］の図４及び図６に示すようにダイナミックレンジコンプレッサ又はＡＧＣとして実施することができる。
【００６２】
非線形非リンク利得曲線成分３７０ａ、３７０ｂは、最大選択成分３５０から生じるエンベロープを用いて、高調波信号の知覚ＩＬＤが基本周波数のＩＬＤにほぼ一致するように対応する高調波信号のレベルを調節する利得曲線をもたらすことができる。
【００６３】
非リンク利得曲線成分３７０ａ、３７０ｂは、例えば［１］の図４及び図６に示すようにダイナミックレンジコンプレッサ又はＡＧＣとして実施することができる。
【００６４】
リンク利得は、非リンク利得によって乗算することができ、結果生じた利得信号は、高調波信号３２０に及び制御信号として高調波生成器３１０のフィードバック処理に加えられる。
【００６５】
本発明で開示される主題の教示が図３に関して説明した方向性維持バス拡張システムによって縛られない点に留意されたい。等価の及び／又は修正された機能を別の方法で確立又は分割することができ、ファームウェア及び／又はハードウェアとのソフトウェアの何らかの適切な組み合わせで実施することができ且つ適切なデバイスで実行することができる。高調波ユニット（１２０）は、独立型エンティティとすることができるか、又は他のエンティティに完全に又は部分的に統合することができる。
【００６６】
図３ａは、図３に示した時間ドメイン処理構造の単純化バージョンを表す。この実施形態では、非リンク利得曲線成分がない。単一利得曲線成分３６０は制御信号を生成し、左及び右高調波生成器３１０ａ３１０ｂが、高調波信号３２０ａ、３２０ｂの両方に加えられる。利得曲線成分３６０は、例えば［１］の図４及び図６に示すようなダイナミックレンジコンプレッサ又はＡＧＣなどの様々な方法で実施することができる。
【００６７】
本発明で開示される主題の教示が、図３ａに関して説明した方向性維持バス拡張システムによって縛られない点に留意されたい。等価の及び／又は修正された機能を別の方法で確立又は分割することができ、ファームウェア及び／又はハードウェアとのソフトウェアの何らかの適切な組み合わせで実施し且つ適切なデバイスで実行することができる。高調波ユニット（１２０）は、独立型エンティティとすることができ、又は他のエンティティに完全に又は部分的に統合することができる。
【００６８】
図４に注意を向けると、本発明で開示される主題の一部の実施形態による高調波ユニット１２０での例示的時間ドメインベースの処理の汎用流れ図が示されている。
【００６９】
処理ユニット（１００）（例えば、高調波生成ユニット３１０）は、各チャネルに対して、入力信号に従って、入力信号の各基本周波数の少なくとも第１の２つの高調波周波数を含む高調波信号３２０ａを生成することができる（４１０）。
【００７０】
処理ユニット（１００）（例えば、エンベロープユニット３４５）は、各チャネルに対して、高調波信号のエンベロープを計算することができる（４２０）。
【００７１】
処理ユニット（１００）（例えば、最大ユニット３５０）は、リンクエンベロープ値を決定することができる（４３０）。
【００７２】
処理ユニット（１００）（例えば、非リンク利得曲線３４５）は、各チャネルに対して、高調波間の補正比を表す（ヘッドシャドーイングモデルに従う）利得曲線を作成するために非リンクエンベロープに非線形利得曲線を加えることができる（４４０）。
【００７３】
処理ユニット（１００）（例えば、リンク利得曲線３６０）は、高調波の補正ラウドネスを表す利得曲線を生成するためにリンクエンベロープに非線形利得曲線を加えることができる（４５０）。
【００７４】
処理ユニット（１００）（例えば、ミキサ２４０）は、各チャネルに対して、非リンク利得とリンク利得を組み合わせることができる（４６０）。
【００７５】
処理ユニット（１００）（例えば、ミキサ３３０）は、各チャネルに対して、組み合わせた利得曲線を出力高調波信号に加えることができる（４７０）。
【００７６】
本発明で開示される主題の教示が図４に示した流れ図によって縛られないこと、図示した作動を図示した順序以外で起こすことができる点に留意されたい。流れ図は図３又は３ａのシステムの要素に関して示しているが、これは決して拘束力のあるものではなく、本明細書で説明した要素以外の要素によって作動を実行できる点に留意されたい。
【００７７】
図５に注意を向けると、本発明で開示される主題の一部の実施形態による高調波ユニットの例示的周波数ドメインベースの構造が示されている。
【００７８】
説明を分かり易くするために、例示的高調波ユニット１２０は、２つのオーディオチャネルを処理するステップを含む。この教示が２つより多いオーディオチャネルを含む実施形態に適用されることが当業者には明らかであろう。
【００７９】
高調波ユニット１２０は、任意的にダウンサンプリング成分５１０を含むことができる。ダウンサンプリング成分５１０は、最高高調波周波数が新しいサンプルレートのナイキスト周波数（２*ｓａｍｐｌｅ＿ｒａｔｅ／Ｄ）を下回るように因数（Ｄと呼ぶ）によってオリジナルサンプリングレートを低減することができる。非限定的な実施例として、最高高調波周波数が１４００Ｈｚ（第４高調波）でありサンプル＿レートが４８ＫＨｚである場合、Ｄは１６になる。
【００８０】
高調波ユニット１２０は、例えば高速フーリエ変換（ＦＦＴ）成分５２０を含むことができる。このＦＦＴは、入力時間ドメイン信号を周波数ドメイン信号に変換することができる。本発明で開示される主題の一部の実施形態では、異なる時間ドメイン対周波数ドメイン変換方法をＦＦＴの代わりに用いることができる。ＦＦＴは、例えば時間オーバーラップあり又は時間オーバーラップなしで及び／又はフィルタバンクの帯域を合計することによって用いることができる。
【００８１】
ＦＦＴ５２０は、例えば、周波数ドメイン信号を周波数帯域の一群に分割することができ、ここで各帯域は単一の基本周波数を包含する。各帯域は更に幾つかのビンを含むことができる。
【００８２】
高調波ユニット１２０は、各帯域に対して、高調波レベル制御成分５３０及び高調波生成成分のペア５４０、５４２（１つのチャネルにつき１つ）を含むことができる。高調波レベル制御成分５３０及び高調波生成成分５４０、５４４２は、例えば入力として帯域当たりマルチチャネル入力信号を受信することができる。ここで「ｆｕｎｄ」は、基本ビンにおける線形サウンド圧力レベルであり、ｈＮは、関連のある基本周波数の第Ｎ高調波ビンにおける線形サウンド圧力レベルである。
【００８３】
帯域当たり高調波生成器５４０、５４２は、マルチチャネル信号の各チャネルに対して、基本周波数強度に等しい強度を持つ高調波信号のシリーズ（最大ナイキスト周波数）を生成することができる。帯域当たり高調波生成器５４０、５４２は、例えば［２］に示した基本周波数のピッチシフトを加えることなどによって、当技術で公知の方法を用いて高調波信号を生成することができる。
【００８４】
帯域当たり高調波レベル制御５３０は、各帯域において、最高基本周波数信号強度を持つチャネル（以下チャネルｉＭａｘと呼ぶ）を選択することができる。
【００８５】
この段階で高調波のレベルは基本周波数のレベルに等しい点に留意されたい。
【００８６】
帯域当たり高調波レベル制御５３０は、各チャネルの帯域の各ビンに対して、ＬＣ（ラウドネス補償）、すなわち利得値を計算して、例えばチャネルｉＭａｘの帯域の基本周波数のラウドネスにほぼ一致するビンの高調波周波数のラウドネスをレンダリングすることができる。ラウドネス値は、例えばフレッチャー−マンソンイコールラウドネス輪郭に基づいてサウンド圧力レベル対フォン比を用いて決定することができる。
【００８７】
任意的に、帯域当たり高調波レベル制御５３０は、時間の経過につれてラウドネス補償利得を平滑化することができる。
【００８８】
帯域当たり高調波レベル制御５３０は、チャネルの各チャネルに対して且つ各帯域に対して、基本周波数のＩＬＤを測定することができる。例えば、入力信号のこのチャネルにおける基本周波数のレベルとチャネルｉＭａｘにおける基本周波数のレベルの間の比を計算することによってこれを実行することができる。
【００８９】
非限定的な実施例として、上述の信号を続けると、基本周波数のＩＬＤは、０．５／１、すなわち０．５である。
【００９０】
帯域当たり高調波レベル制御５３０は、各チャネルに対して、帯域の各ビンに対して、ＩＬＤ補償利得、すなわち利得値を計算して、例えば、チャネルに対して（チャネルｉＭａｘに対して）計算されたＩＬＤにほぼ一致するビン（チャネルｉＭａｘに対する）の高調波周波数の知覚されたＩＬＤをレンダリングすることができる。
【００９１】
知覚されたＩＬＤは、例えば図７に示した例示的曲線などのヘッドシャドーイングモデルに従って、評価することができる。詳細には、ヘッドシャドーイングモデルは、Ｂｒｏｗｎ，Ｃ．Ｐ．，Ｄｕｄａ，Ｒ．Ｏ．：３Ｄサウンドの効率的ｈｒｔｆモデルに記述されている。オーディオ及び音響への信号処理の応用におけるＩＥＥＥ  ＡＳＳＰワークショップの議事録、ＩＥＥＥ（１９９７年）を例として用いることができる。
【００９２】
帯域当たり高調波レベル制御５３０は、例えば、計算されたＩＬＤ補償利得によって基本周波数の計算されたＩＬＤを乗算することによって、方向性維持補償利得を生成することができる。
【００９３】
任意的に、帯域当たり高調波レベル制御５３０は、時間の経過につれて方向性維持補償利得を平滑化することができる。
【００９４】
帯域当たり高調波レベル制御５３０は、各チャネルに対して且つチャネル内の各帯域に対して、ＬＣ利得によって及びＩＬＤ利得によって各ビンの振幅を乗算することによって高調波信号のスペクトラム修正を適用して出力利得信号を生成することができる。それぞれの出力利得信号は、帯域当たり高調波生成器５４０、５４２によって生成された高調波信号に加えることができる。この処理の例示的な構造を図５ａに関して以下に詳しく示す。
【００９５】
高調波ユニット１２０は、例えば、各帯域からの高調波信号を合計できる加算器５５０ａ及び５５０ｂ（各チャネルに対して１つの加算器）を含むことができる。
【００９６】
高調波ユニット１２０は、例えば周波数ドメイン高調波信号を時間ドメインに変換するための逆高速フーリエ変換（ＩＦＦＴ）成分を含むことができる。本発明で開示される主題の一部の実施形態では、この変換を、他の方法を介して、例えば［４］に示した正弦波の和によって達成することができる。ＩＦＦＴは、時間オーバーラップあり又は時間オーバーラップなしで及び／又はフィルタバンクの帯域を合計することによって使用することができる。
【００９７】
高調波ユニット１２０は、オリジナルサンプルレートをリストアするために、比Ｄのアップサンプリングユニット５７０を任意的に含むことができる。
【００９８】
本発明で開示される主題の教示が、図５に関して説明した方向性維持バス拡張システムによって縛られない点に留意されたい。等価の及び／又は修正された機能を別の方法で確立又は分割することができ、ファームウェア及び／又はハードウェアとのソフトウェアの何らかの適切な組み合わせで実施して適切なデバイスで実行することができる。高調波ユニット（１２０）は独立型エンティティとすることができるか、又は他のエンティティに完全に又は部分的に統合することができる。
【００９９】
ここで図６に注意を向けると、本発明で開示される主題の一部の実施形態による高調波ユニット１２０での例示的周波数ドメインベースの処理の汎用流れ図が示されている。
【０１００】
以下に説明する方法は、非限定的な実施例として、図５に関して上述したシステムなどのシステム上で実行することができる。以下の説明は、単一周波数帯域内の処理を説明するが、この処理は、例えば図５に示したあらゆる周波数帯域で起こすことができる。
【０１０１】
以下の説明は、例えば周波数ドメイン内の−基本周波数を包含する帯域に分離された信号における方法の作動に関する。周波数ドメイン信号が取得される方法又は利用される方法の例示的説明を図５及び図５ａに関して上述している。
【０１０２】
非限定的な実施例として、オリジナル信号は以下のように現れることができる。
0006968376.tif 000002
【０１０３】
処理ユニット（１００）（例えば、高調波レベル生成器５４０、５４２）は、各チャネル信号における各基本周波数に対して、高調波周波数のシリーズを生成することができる（６１０）。本発明で開示される主題の一部の実施形態では、処理ユニット（１００）（例えば、高調波レベル生成器５４０、５４２）は、例えば基本周波数に等しい周波数の強度を持つ最大ナイキスト周波数までの高調波ラインのシリーズを生成する。高調波シリーズは、例えばピッチシフトなどの高調波生成アルゴリズムによって生成することができる。
【０１０４】
非限定的な実施例として、高調波生成後（ｃｈ１が基準信号である場合）、信号はこれに従って、表すことができる。
0006968376.tif 000003
【０１０５】
本発明で開示される主題の一部の実施形態では、処理ユニット（１００）（例えば、高調波レベル生成器５４０、５４２）は、高調波周波数を基本周波数の位相に同期する方法を用いて高調波シリーズを生成することができる（非限定的な実施例として、この方法は、Ｓａｎｊａｕｍｅ，Ｊｏｒｄｉ  Ｂｏｎａｄａ、プロフェッショナルオーディオ事後作製の文脈におけるオーディオ時間スケール修正，インフォマチカ  コミュニカチオ  デジタル、バルセロナ  ポンペウファブラ大学、スペイン  バルセロナ  ２００２年（６３ページ  ５．２．４節に記述されている）。このような方法は、例えば、高調波信号のＩＴＤがリスナーによって知覚される方向性を維持するよう入力信号のＩＴＤにほぼ一致することを保証できる。
【０１０６】
次に、処理ユニット（１００）（例えば、高調波レベル制御５３０）は、各基本周波数に対して、入力チャネル信号、ラウドネス補償値に基づいて基準信号（基準信号強度を持つ）を決定することができる（６２０）。
【０１０７】
処理ユニット（１００）（例えば、高調波レベル制御５３０）は、基準信号における基本周波数のラウドネスに従って、各チャネルにおける各高調波周波数に対するラウドネス補償値を決定することができる（６３０）。
【０１０８】
ラウドネス補償値は、例えば、チャネルｉＭａｘにおける帯域の基本周波数のラウドネスにほぼ一致するビンの高調波周波数のラウドネスをレンダリングするための利得値である。このラウドネス値は、例えばフレッチャー-マンソンイコールラウドネス輪郭に基づくサウンド圧力レベル対フォン比を用いて決定することができる。
【０１０９】
任意的に、処理ユニット（１００）（例えば、高調波レベル制御５３０）は、時間の経過につれてラウドネス補償利得を平滑化することができる。
【０１１０】
処理ユニット（１００）（例えば、高調波レベル制御５３０）は、各チャネルに対して−帯域における各高調波周波数に対して、方向性維持ＩＬＤ補償値、すなわち、例えば基本チャネルに対する（基準信号に対する）計算されたＩＬＤにほぼ一致する高調波周波数の知覚ＩＬＤ（基準信号に対する）をレンダリングするための利得値を決定することができる（６４０）。
【０１１１】
これを行うために、処理ユニット（１００）（例えば、高調波レベル制御５３０）は、各チャネルに対して及びチャネルにおける各帯域に対して−基本周波数のＩＬＤをまず計算することができる。これは、例えば入力信号におけるこのチャネルの基本周波数のレベルと基準信号における基本周波数のレベルとの間の比を計算することによって行うことができる。
【０１１２】
非限定的な実施例として、上述した信号を続けると、基本周波数のＩＬＤは、０．５／１、すなわち０．５である。
【０１１３】
特定の高調波周波数の知覚ＩＬＤは、例えば、特定の周波数の実際に観察されたＩＬＤ、特定の周波数自体、及び、例えば図７に示した例示的曲線などのヘッドシャドーイングモデルなどのモデルに従って、評価することができる。詳細には、ヘッドシャドーイングモデルは、Ｂｒｏｗｎ，Ｃ．Ｐ．,  Ｄｕｄａ，Ｒ．Ｏ．：３Ｄサウンドのための効率的なｈｒｔｆモデルに記述されている。オーディオ及び音響への信号処理の応用のＩＥＥＥ  ＡＳＳＰワークショップの議事録  ＩＥＥＥ（１９９７年）を用いることができる。処理ユニット（１００）（例えば、高調波レベル制御５３０）は従って、モデルに従う知覚ＩＬＤが基本周波数の計算されたＩＬＤにほぼ一致する利得値を選択することができる。
【０１１４】
非限定的な実施例として、基準信号に関するヘッドシャドー曲線に従う上記に提示された信号のＩＬＤ補償利得を以下のように示すことができる。
0006968376.tif 000004
【０１１５】
処理ユニット（１００）（例えば、高調波レベル制御５３０）は、例えば計算されたＩＬＤ補償利得によって基本周波数の計算されたＩＬＤを乗算することによって、方向性維持補償値を最終的にコンピュータ計算することができる。
【０１１６】
任意的に、処理ユニット（１００）（例えば、高調波レベル制御５３０）は、時間の経過につれて方向性維持補償利得を平滑化することができる。
【０１１７】
非限定的な実施例として、上記の信号に対して、方向性維持補償利得＝（基本周波数のＩＬＤｘＩＬＤ補償利得）であり、以下のように表される。
0006968376.tif 000005
【０１１８】
本発明で開示される主題の教示が図６に示した流れ図によって縛られず、図示した作動を図示した順序以外で起こすことができる点に留意されたい。流れ図は図５のシステムの要素に関して説明されているが、決して拘束力のあるものではなく、本明細書で説明する要素以外の要素によって作動を実行できる点に留意されたい。
【０１１９】
本発明は、本明細書に包含されるか又は図面に示された説明に示した詳細にその応用において制限されないことを理解されたい。本発明は、他の実施形態を可能にでき、様々な方法で実施及び実行することができる。従って、本明細書で用いる表現及び用語は説明の目的のためにあり、限定として捉えるべきでないことを理解されたい。従って、当業者は、本開示が基づく概念が、本発明で開示される主題の幾つかの目的を果たすための他の構造、方法、及びシステムを設計する基盤として容易に用いられ得ることを理解するであろう。
【０１２０】
本発明によるシステムは、適切にプログラムされたコンピュータで少なくとも一部実施できることが理解されるであろう。同様に、本発明は、本発明の方法を実行するためのコンピュータによって可読のコンピュータプログラムを意図する。本発明は、本発明の方法を実行するためのコンピュータによって実行可能な命令のプログラムを有形で実施する非一時的コンピュータ可読メモリを意図する。
【０１２１】
当業者であれば、様々な修正及び変更が、添付の請求項に定義され且つ添付の請求項による本発明の範囲から逸脱することなく以下に記述する本発明の実施形態に適用できることを容易に理解するであろう。
【符号の説明】
【０１２２】
１００  処理ユニット
１０５  マルチチャネル入力信号
１１０  分離ユニット
１１５  マルチチャネル低周波数信号
１２０  高調波ユニット
１２５  マルチチャネル高周波数信号
１３０  ミキサユニット
１３５  マルチチャネル高調波信号
１４５  方向性維持拡張バスマルチチャネル出力信号
【図１】
0006968376.tif 000006
【図２】
0006968376.tif 000007
【図２ａ】
0006968376.tif 000008
【図３】
0006968376.tif 000009
【図３ａ】
0006968376.tif 000010
【図４】
0006968376.tif 000011
【図５】
0006968376.tif 000012
【図５ａ】
0006968376.tif 000013
【図６】
0006968376.tif 000014
【図７】
0006968376.tif 000015
【図８】
0006968376.tif 000016