(57)【特許請求の範囲】
【請求項１】
低レイテンシー仮想ベースを生成する方法であって：
入力オーディオ信号を受領する段階と；
前記入力オーディオ信号の低周波数成分に対して高調波転移を実行して前記入力オーディオ信号の高調波を示す転移されたデータを生成する段階と；
前記転移されたデータに応答して仮想ベース信号を生成する段階と；
前記仮想ベース信号を前記入力オーディオ信号の遅延されたバージョンと組み合わせることによって向上されたオーディオ信号を生成する段階とを含み、
前記高調波転移は、2より大きい基本転移次数Bを使う組み合わされた転移を用い、それにより、前記高調波が、前記低周波数成分のそれぞれの二次高調波および少なくとも一つのより高次の高調波を含み、前記高調波のすべてが、非対称な分解窓を使う共通の時間から周波数領域への変換段によって決定される周波数領域の値と、非対称な合成窓を使う共通の周波数から時間領域への変換段によって決定されるその後の逆変換とに応答して生成される、
方法。
【請求項２】
前記基本転移次数Bが、4,8,16または32からなる群から選択される整数値である、請求項１記載の方法。
【請求項３】
前記入力オーディオ信号が、CQMFサブバンド信号のセットからの、臨界サンプリングされたまたは臨界近いサンプリングをされた低周波数オーディオを示す、サブバンド複素数値直交ミラー・フィルタ（CQMF）信号である、請求項１記載の方法。
【請求項４】
前記臨界サンプリングされたまたは臨界近いサンプリングをされた低周波数入力オーディオが、CQMFサブバンド信号のセットからの最低周波数帯域を示すCQMFチャネル0信号である、請求項３記載の方法。
【請求項５】
低周波数成分から転移されたデータを生成することを、非対称に窓掛けされ、0パディングされたサンプルを生成し、非対称に窓掛けされ、0パディングされた該サンプルに対して時間から周波数領域への変換を実行することによって前記入力オーディオ信号に対して周波数領域の過剰サンプリングされた変換を実行し、その後、前記時間から周波数領域への変換からの出力に対して非線形演算を実行して前記低周波数成分から前記転移されたデータを生成することによって行なう、段階と；
前記非線形演算によって処理された周波数成分から、第一の周波数帯域内の周波数成分の第一のセットおよび第二の周波数帯域内の周波数成分の第二のセットに分割することによって、二組の周波数成分を生成する段階と；
さらに、周波数成分の前記第一のセットに対して第一の周波数から時間領域への変換を実行し、周波数成分の前記第二のセットに対して第二の周波数から時間領域への変換を実行する段階であって、前記第一の周波数から時間領域への変換および前記第二の周波数から時間領域への変換のそれぞれは、前記時間から周波数領域への変換よりB倍小さな変換サイズをもつ、段階と；
さらに、前記周波数から時間領域への変換からのサンプルに対して、非対称な0パディングされた窓を適用する段階であって、前記非対称な0パディングされた窓は、前記入力オーディオ信号から生成される前記非対称に窓掛けされ、0パディングされたサンプルよりB倍短く、それにより二セットの転移されたデータを形成する段階とを含む、
請求項４記載の方法。
【請求項６】
前記第一の周波数帯域がCQMFチャネル0の周波数帯域であり、前記第二の周波数帯域がCQMFサブバンド信号のセットからのCQMFチャネル1の周波数帯域である、請求項５記載の方法。
【請求項７】
前記転移されたデータに応答して仮想ベース信号を生成する段階が、前記二セットの転移されたデータの一方または両方に適用される分解フィルタバンクを含み、該分解フィルタバンクは対称的なフィルタの打ち切りされたバージョンを含む、請求項６記載の方法。
【請求項８】
前記分解フィルタバンクはナイキスト・フィルタバンクであり、対称的なフィルタの前記打ち切りされたバージョンは、そのフィルタの対称的な両半分の一方が除去されたフィルタである、請求項７記載の方法。
【請求項９】
前記分解フィルタバンクは八チャネル・ナイキスト・フィルタバンクまたは四チャネル・ナイキスト・フィルタバンクの一方を含み、前記フィルタの除去される対称的な両半分の一方は六つの係数を含む、請求項８記載の方法。
【請求項１０】
前記入力オーディオ信号の前記遅延されたバージョンは、前記仮想ベース信号のレイテンシーより短いあらかじめ定義された時間期間だけ遅延されており、前記向上されたオーディオ信号は時間的に遅らされた仮想ベース信号を示す、請求項１記載の方法。
【請求項１１】
前記あらかじめ定義された時間期間は、0サンプルないし1000サンプルの範囲から選択された値である、請求項１０記載の方法。
【請求項１２】
前記入力オーディオCQMFチャネル0が、前処理ハイブリッド・フィルタバンク段の分解CQMFバンク出力から直接受領され、前記前処理ハイブリッド・フィルタバンク段の前記ナイキスト・フィルタバンクはバイパスされる、請求項８記載の方法。
【請求項１３】
低レイテンシー仮想ベースを生成する装置であって：
入力オーディオ信号を受領し、前記入力オーディオ信号の低周波数成分に対して高調波転移を実行して前記入力オーディオ信号の高調波を示す転移されたデータを生成する第一のコンポーネントと；
前記転移されたデータに応答して仮想ベース信号を生成し、前記仮想ベース信号を前記入力オーディオ信号の遅延されたバージョンと組み合わせて向上されたオーディオ信号を生成する第二のコンポーネントであって、前記高調波転移は、2より大きい基本転移次数Bを使う組み合わされた転移を用い、それにより、前記高調波が、前記低周波数成分のそれぞれの二次高調波および少なくとも一つのより高次の高調波を含み、前記高調波のすべてが、非対称な分解窓を使う共通の時間から周波数領域への変換段によって決定される周波数領域の値と、非対称な合成窓を使う共通の周波数から時間領域への変換段によって決定されるその後の逆変換とに応答して生成される、
装置。
【請求項１４】
前記基本転移次数Bが、4,8,16または32からなる群から選択される整数値である、請求項１３記載の装置。
【請求項１５】
前記入力オーディオ信号が、CQMFサブバンド信号のセットからの、臨界サンプリングされたまたは臨界近いサンプリングをされた低周波数オーディオを示す、サブバンド複素数値直交ミラー・フィルタ（CQMF）信号である、請求項１３記載の装置。
【請求項１６】
前記臨界サンプリングされたまたは臨界近いサンプリングをされた低周波数オーディオが、CQMFサブバンド信号のセットからの最低周波数帯域を示すCQMFチャネル0信号である、請求項１５記載の装置。
【請求項１７】
低周波数成分から転移されたデータを生成することを、非対称に窓掛けされ、0パディングされたサンプルを生成し、非対称に窓掛けされ、0パディングされた該サンプルに対して時間から周波数領域への変換を実行することによって前記入力オーディオ信号に対して周波数領域の過剰サンプリングされた変換を実行し、その後、前記時間から周波数領域への変換からの出力に対して非線形演算を実行して前記低周波数成分から前記転移されたデータを生成することによって行なう、第三のコンポーネントと；
前記非線形演算によって処理された周波数成分から、第一の周波数帯域内の周波数成分の第一のセットおよび第二の周波数帯域内の周波数成分の第二のセットに分割することによって、二組の周波数成分を生成する第四のコンポーネントと；
さらに、周波数成分の前記第一のセットに対して第一の周波数から時間領域への変換を実行し、周波数成分の前記第二のセットに対して第二の周波数から時間領域への変換を実行する第五のコンポーネントであって、前記第一の周波数から時間領域への変換および前記第二の周波数から時間領域への変換のそれぞれは、前記時間から周波数領域への変換よりB倍小さな変換サイズをもつ、第五のコンポーネントと；
前記周波数から時間領域への変換からのサンプルに対して、非対称な0パディングされた窓を適用する第六のコンポーネントであって、前記非対称な0パディングされた窓は、前記入力オーディオ信号から生成される前記非対称に窓掛けされ、0パディングされたサンプルよりB倍短く、それにより二セットの転移されたデータを形成する第六のコンポーネントとをさらに有する、
請求項１６記載の装置。
【請求項１８】
前記第一の周波数帯域がCQMFチャネル0の周波数帯域であり、前記第二の周波数帯域がCQMFサブバンド信号のセットからのCQMFチャネル1の周波数帯域である、請求項１７記載の装置であって、
前記転移されたデータに応答して仮想ベース信号を生成することが、前記二セットの転移されたデータの一方または両方に適用される分解フィルタバンクを含み、該分解フィルタバンクは対称的なフィルタの打ち切りされたバージョンを含む、装置。
【請求項１９】
前記分解フィルタバンクはナイキスト・フィルタバンクであり、対称的なフィルタの前記打ち切りされたバージョンは、そのフィルタの対称的な両半分の一方が除去されたフィルタである、請求項１８記載の装置。
【請求項２０】
前記分解フィルタバンクは八チャネル・ナイキスト・フィルタバンクまたは四チャネル・ナイキスト・フィルタバンクの一方を含み、前記フィルタの除去される対称的な両半分の一方は六つの係数を含む、請求項１９記載の装置。
【請求項２１】
前記入力オーディオ信号の、前記仮想ベース信号のレイテンシーより短いあらかじめ定義された時間期間だけ遅延されたバージョンを生成するタイミング・コンポーネントと；
前記仮想ベース信号を前記遅延された入力オーディオ信号と組み合わせて、時間的に遅らされた仮想ベース信号を示す向上されたオーディオ信号を生成する混合コンポーネントとをさらに有する、
請求項１３記載の装置。
【請求項２２】
前記CQMFチャネル0を、前処理ハイブリッド・フィルタバンク段の分解CQMFバンク出力から直接受領し、前記前処理ハイブリッド・フィルタバンク段の前記ナイキスト・フィルタバンクをバイパスするインターフェース・コンポーネントをさらに有する、請求項１９記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
〈関連出願への相互参照〉
本願は、ここに参照によってその全体において組み込まれる2012年10月15日に出願された米国仮特許出願第13/652,023号への優先権を主張するものである。
【０００２】
〈技術分野〉
一つまたは複数の実施形態は、転移器（transposer）に基づくオーディオ信号処理に、より詳細には転移器に基づく仮想ベース合成システムにおけるレイテンシーを低減することに関する。
【背景技術】
【０００３】
ベース合成（bass  synthesis）とは、知覚されるベースを向上させるために信号の低周波数範囲に成分を追加する方法をいう。これらの方法のうち、サブ・ベース（sub-bass）合成技法は、対象となるオーディオ・コンテンツに存在する最低周波数範囲を延長し、改善するために、信号の既存の部分より下の低周波数成分を作り出す。もう一つの方法は、聞こえないベース範囲（たとえば小さなスピーカーを通じて再生される低ピッチのベース）から可聴な倍音を生成し、それにより倍音を、最終的にはピッチをも可聴にしてベース応答を改善する仮想ピッチ・アルゴリズムを使う。
【０００４】
仮想ベース合成は、低い端のベース周波数を物理的に再現できない小さなスピーカーで再生されるときに、オーディオにおいてベース内容の知覚されるレベルを増大させる仮想ピッチ方法である。この方法は、たとえ基音および第一高調波自身が欠けているときでも上の倍音から人間の聴覚系が低いピッチを推定できるという、「幻の基音（missing  fundamental）」という音響心理学上の観察に基づく。基本的な機能方法は、オーディオに存在するベース周波数を解析し、欠けている低周波数の知覚を助ける可聴の上の倍音を生成するというものである。仮想ベースの主たるフィーチャーは、デバイスの低周波数ロールオフより下（たとえば150Hzより下）の周波数について上の倍音を合成することによって、小さなスピーカーをもつデバイスでの知覚されるベース応答を向上させるというものである。耳に聞こえない信号成分は、複数の転移因子を使ってより高い可聴の周波数に転移され（倍音）、それにエネルギー調整が続く。仮想ベース合成は、ヘッドホン再生またはフルレンジのスピーカーでの再生のために知覚されるベースを増大させもしうる。図１Ａは、周波数成分の非可聴範囲１０および該非可聴範囲より上の周波数成分の可聴範囲を有するオーディオ信号の周波数‐振幅スペクトルを示している。非可聴範囲１０における周波数成分の高調波転移（harmonic  transposition）は、可聴範囲の部分１１において転移された周波数成分を生成することができ、これが再生中のオーディオ信号のベース内容の知覚されるレベルを向上させることができる。そのような高調波転移は、入力オーディオ信号の各有意な周波数成分に複数の転移因子を適用して、該成分の複数の高調波を生成することを含んでいてもよい。
【０００５】
レガシー仮想ベース・システムを利用するある種のオーディオ処理システムでは、周波数転移関数に関連する遅延またはレイテンシーがある種の用途のためには過大になることがある。たとえば、1025サンプルのレイテンシーをもつデジタル・オーディオ処理システムは、追加的な3200サンプルの遅延を加えるレガシー仮想ベース・システムを使ってもよい。これは、48kHzのサンプリング周波数（fs）を与えられたとすると、88ミリ秒を超える全遅延を引き起こすことがある。この量のレイテンシーは一般に問題であり、ゲームや遠隔通信用途にとっては禁止的でさえある。そうした用途では、約100ミリ秒のレイテンシーが可聴な信号遅延の点で気づかれうるようになりはじめる。
【０００６】
レガシー仮想ベース・システムにおいて使われる伝統的な転移器システムは、それぞれ時間から周波数への変換および周波数から時間への変換の分解段および合成段のために、対称的な時間領域窓を使う。図１Ｂは、二次の転移器、すなわち二次高調波を生成する転移器によって課される遅延を図的に示している。時間プロット１００に示されるように、様式的な対称的な分解窓の一つの中心が時間ゼロ基準として選ばれ、新たな入力サンプル１０４が、分解フェーズ１０２において時刻t0から、分解窓の時間ストライドSAを想定して、加えられることができる。時間プロット１１０は、転移器の時間伸張二重性（duality）を示している。ここで、t0は合成フェーズ１１２において2t0に伸張される。
【０００７】
図１Ｂに示した例示的なプロセスについての全分解／合成チェーン遅延Dtsは、Lは転移器窓サイズ、SAは分解時間ストライドもしくはホップ・サイズであるとして、下記の式(1)のように表わせる。
【０００８】
Dts＝L/2＋2(L/2−SA)＝3L/2−2SA        (1)
HQMF（Hybrid  Quadrature  Mirror  Filter［ハイブリッド直交ミラー・フィルタ］）バンクに基づくオーディオ処理システムでは、CQMF（Complex  Quadrature  Mirror  Filter［複素直交ミラー・フィルタ］）分解段への入力信号およびCQMF合成段からの出力信号は一般に、いずれも同じサンプリング周波数fsをもつ。ここで、fsは通例44.1または48kHzに設定される。仮想ベース・プロセスへの入力信号サンプリング・レートは、fs/64であってもよい。システムは通例、64チャネルのCQMFバンクからのみの第一のCQMF信号を処理するからである。64チャネル以外のCQMFサイズが使用されることもできることを注意しておく。レガシー仮想ベース処理システムからの転移された出力は、因子2の基本転移因子（base  transposition  factor）を使う組み合わされた転移関数のため、2fs/64のサンプリング周波数をもつ。その結果、因子2の帯域幅拡張が得られる。組み合わされた転移器では、上記の基本転移因子は、源変換ビン（または周波数帯域）が目標変換ビン（または周波数帯域）に一対一の関係でマッピングされる因子である。すなわち、源から目標へのビンのマッピングにおいて補間や間引きは関わらない。基本転移因子は、分解窓と合成窓の時間ストライドの間の関係をも支配する。より具体的には、合成時間ストライドは、分解時間ストライドに基本転移因子を乗算したものに等しい。64チャネルのCQMFに基づくシステムからの出力サンプルにおける遅延は、L＝64およびSA＝4の場合、
Dts＝{3L/2−2SA)・64/2＝2816サンプル        (2)
となる。
【０００９】
この遅延に加えて、二つの仮想ベース出力CQMFサブバンド信号のナイキスト・フィルタバンク分解段処理からの遅延が加えられる。この遅延は、384サンプルのオーダーであってもよく、よって、この例示的な従来技術のレガシー仮想ベース処理システムについての、2816＋384＝3200サンプルの全遅延を与える。
【００１０】
レガシー仮想ベース・システムによって課されるレイテンシーへの一つの解決策は、高調波生成器のような実際の処理回路を、たとえば高調波転移器を代替的なコンポーネントで置き換えることによって、変えることである。しかしながら、これは多大なコストおよび複雑さをシステムに加える可能性があり、オーディオ品質に負の影響を与えることがありうる。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
背景セクションで論じられた主題は、単に背景セクションにおけるその言及の結果として、従来技術であると想定されるべきではない。同様に、背景セクションにおいて言及されるまたは背景セクションの主題に関連する問題は、従来技術において以前に認識されていたと想定されるべきではない。背景セクションの主題は単に種々のアプローチを表わしているのであって、それ自身も発明であることもありうる。
【課題を解決するための手段】
【００１２】
諸実施形態は、オーディオ信号の低周波数成分に対して高調波転移を実行して高調波を示す転移されたデータを生成する仮想ベース処理システムにおけるレイテンシー低減システムを含む。高調波転移プロセスは、2より大きい基本転移因子を使い、非対称的な分解および合成窓を使う変換および逆変換段によって決定される周波数領域の値に応答して前記高調波を生成する。仮想ベース信号を、打ち切りされたプロトタイプ・フィルタを有するナイキスト分解フィルタバンクの使用を通じて、遅延されたオーディオ信号と組み合わせることによって、向上されたオーディオ信号が生成される。高調波転移プロセスによって引き起こされるレイテンシーをさらに短縮するために、仮想ベース信号は、前記遅延されたオーディオ信号を、前記オーディオ信号と組み合わせるときに、定義された時間期間だけ遅らせることが許容されてもよい。
【００１３】
諸実施形態は、入力オーディオ信号の低周波数成分に対して高調波転移を実行して高調波を示す転移されたデータを生成する仮想ベース処理システムにおけるレイテンシーを低減する方法を含む。高調波転移は、2より大きい整数値の基本転移因子を使う。該プロセスは、時間から周波数領域への変換および逆の周波数から時間領域への変換のために非対称的な分解および合成窓の使用を通じた時間から周波数領域への変換段およびその後の逆の周波数から時間領域への変換段によって決定される周波数領域の値に応答して前記高調波を生成する。入力オーディオ信号はサブバンド化されたCQMF（複素数値の直交ミラー・フィルタ）信号であり、入力オーディオ信号のサンプルは、低周波数成分を示す臨界サンプリングされたオーディオを生成するために前処理されてもよい。
【００１４】
ある実施形態では、本方法は、分解フィルタバンクまたは変換を通じて入力オーディオ信号を処理して、低周波数成分から一組の分解サブバンド信号または周波数ビンを与え、基本転移因子Bおよび転移因子Tを使って一組の合成サブバンド信号または周波数ビンを計算し、合成フィルタバンクまたは変換を通じて前記分解サブバンド信号または周波数ビンを処理して前記一組の合成サブバンド信号から高周波数成分を生成する。これは、転移を行なう標準的な方法を表わす。すなわち、順FFT変換を実行し、それに変換ビン・マッピングを含む非線形処理が続き、次いで、逆FFT変換を実行する。本方法はさらに、転移されたデータに応答して仮想ベース信号を生成し、前記仮想ベース・オーディオ出力信号に一つまたは複数の分解フィルタバンクを適用することによって前記仮想ベース信号を入力オーディオ信号と組み合わせることによって、向上されたオーディオ信号を生成することを含んでいてもよい。ここで、前記分解フィルタバンクは、定義された数のフィルタ係数が除去されている打ち切りされたプロトタイプ・フィルタを含む。本方法はさらに、前記入力オーディオ信号を、前記仮想ベース・システムの前記処理遅延が含意するはずのものより短いあらかじめ定義された時間期間だけ遅延させたものと組み合わせることによって、前記入力オーディオ信号に対してあらかじめ定義された時間期間だけ前記仮想ベース信号を遅らせて、遅延された入力サブバンド・サンプルと組み合わされた、時間的に遅らされた仮想ベース処理されたサブバンド・サンプルを含む向上されたオーディオ信号を生成することを含んでいてもよい。
【００１５】
いくつかの実施形態のもとでの基本転移因子は、入力オーディオ信号を、周波数領域において、基本転移因子の値に比例する度合いだけ延長して、転移されたオーディオ信号を生成し、この基本転移因子は4から16までの間の偶数の整数値であってもよい。ある実施形態では、転移器CQMF出力サブバンドに対して作用する分解フィルタバンクは、8チャネル・ナイキスト・フィルタバンクおよび4チャネル・ナイキスト・フィルタバンクを有しており、定義された数の除去されるプロトタイプ・フィルタ係数は、6個の係数である。あるさらなる実施形態では、入力CQMF信号は、先行するCQMF分解バンク・チャネル0出力から直接ルーティングされ、よってその後のナイキスト・フィルタバンク段をバイパスし、よって関係する遅延を回避する。
【００１６】
本方法の諸実施形態はさらに、（分解時間ストライドを使って）定義されたサンプル周波数で窓掛けされ、0パディングされたサンプルを生成することによって、入力オーディオ信号に対して周波数領域の過剰サンプリングされた変換を実行することによって、低周波数成分を生成することを含んでいてもよい。仮想ベース信号を遅延された入力オーディオ信号と組み合わせるときのあらかじめ定義された時間期間は、0サンプルないし1000サンプルの範囲から選択される値であってもよい。仮想ベース信号は、向上されたオーディオ信号の知覚可能な劣化なしに、広帯域入力オーディオ信号を20msまで遅らせることを許容されうるからである。ある実施形態では、非対称な分解および合成窓は、分解窓のより長い部分が過去の入力サンプルのほうに伸張され、合成窓のより長い部分が将来の出力サンプルのほうに伸張されるよう構成される。
【図面の簡単な説明】
【００１７】
以下の図面では、同様の参照符号が同様の要素を指すために使用される。以下の図面はさまざまな例を描いているが、一つまたは複数の実装は、図面に描かれる例に限定されるものではない。
【図１Ａ】既知の仮想ベース処理システムにおける、非可聴周波数範囲から可聴周波数範囲への周波数成分の転移を示す図である。
【図１Ｂ】従来技術において既知のレガシー仮想ベース・システムにおいて使用される対称的な窓に関連する遅延を示す図である。
【図２】ある実施形態のもとでレイテンシー低減プロセスを実装する仮想ベース処理システムの一般化されたブロック図である。
【図３Ａ】ある実施形態のもとでのHQMFに基づくシステムにおける前処理ハイブリッド・フィルタバンク段を示す図である。
【図３Ｂ】ある実施形態のもとでの仮想ベース処理システムの先行するナイキスト合成フィルタバンク段を示す図である。
【図３Ｃ】ある実施形態のもとでの図２に示される仮想ベース処理システムのより詳細な図である。
【図４】ある実施形態のもとでの仮想ベース・レイテンシー低減プロセスおよびシステムによって利用される主たる機能コンポーネントのブロック図である。
【図５Ａ】ある実施形態のもとでの、基本転移因子の種々の次数（orders）を使う仮想ベース・レイテンシー低減システムのための第一のホップ・サイズに関連する遅延を示す表である。
【図５Ｂ】ある実施形態のもとでの、基本転移因子の種々の次数（orders）を使う仮想ベース・レイテンシー低減システムのための第二のホップ・サイズに関連する遅延を示す表である。
【図５Ｃ】ある種のレガシーの対称的な窓に比べた、非対称的な窓の時間応答の例示的なプロットである。
【図５Ｄ】ある種のレガシーの対称的な窓に比べた、非対称的な窓の周波数応答の例示的なプロットである。
【図６】ある実施形態のもとでの、B次の基本転移器によって課される非対称的な窓の使用および関連する遅延を示す図である。
【図７】Ａは、ある実施形態のもとでの、非対称的な変換窓および基本転移因子の種々の次数（orders）を使う仮想ベース・レイテンシー低減システムのための第一のホップ・サイズについての全レイテンシー値を示す表である。Ｂは、ある実施形態のもとでの、非対称的な変換窓および基本転移因子の種々の次数（orders）を使う仮想ベース・レイテンシー低減システムのための第二のホップ・サイズについての全レイテンシー値を示す表である。
【図８】ある実施形態のもとでの、仮想ベース生成システムおよびレイテンシー低減システムを含むオーディオ処理システムを示すブロック図である。
【発明を実施するための形態】
【００１８】
転移器に基づく仮想ベース・システムにおけるレイテンシー（latency）およびアルゴリズム遅延（algorithmic  delays）を低減させるためのシステムおよび方法の実施形態が記述される。そのようなシステムおよび方法は、より高次の基本転移因子、低レイテンシーの非対称的な変換窓、打ち切りされたナイキスト・プロトタイプ・フィルタ、もとのオーディオ信号に対する時間的に遅らされた（time  lagged）仮想ベース信号および先行するハイブリッド・フィルタバンク段におけるバイパスされたナイキスト分解フィルタバンクを利用する。
【００１９】
請求項を含む本開示を通じて、信号またはデータ「に対して」動作を実行する（たとえば該信号またはデータをフィルタリングする、スケーリングする、変換するまたはそれに利得を適用すること）という表現は、広義に、該信号またはデータに対して直接、あるいは該信号またはデータの処理されたバージョンに対して（たとえば、該動作の実行に先立って予備的なフィルタリングまたは前処理を受けた該信号のバージョンに対して）該動作を実行することを表すために使われる。「転移器（transposer）」という表現は、広義に、利用可能な入力信号スペクトルの一部または全体について、実数または複素数値の入力信号のピッチ・シフトまたは時間伸張を実行するアルゴリズム・ユニットまたは装置を表わすために使われる。「転移器」「高調波転移器」「位相ボコーダー」「高周波数生成器」または「高調波生成器」という表現は交換可能に使われることがある。「システム」という表現は、広義で、デバイス、システムまたはサブシステムを表すために使われる。たとえば、デコーダを実装するサブシステムがデコーダ・システムと称されることがあり、そのようなサブシステムを含むシステム（たとえば、複数入力に応答してX個の出力信号を生成するシステム。ここでは、該サブシステムが入力のうちのM個を生成し、残りのX−M個の入力は外部ソースから受け取られる）もデコーダ・システムと称されることがある。「プロセッサ」という用語は、広義で、データ（たとえばオーディオまたはビデオまたは他の画像データ）に対して動作を実行するよう（たとえばソフトウェアまたはファームウェアを用いて）プログラム可能または他の仕方で構成可能であるシステムまたは装置を表わすために使用される。プロセッサの例は、フィールド・プログラム可能なゲート・アレイ（または他の構成可能な集積回路またはチップセット）、オーディオまたは他のサウンド・データに対してパイプライン化された処理を実行するようプログラムされたおよび／または他の仕方で構成されたデジタル信号プロセッサ、プログラム可能な汎用プロセッサもしくはコンピュータおよびプログラム可能なマイクロプロセッサ・チップまたはチップセットを含む。「オーディオ・プロセッサ」および「オーディオ処理ユニット」という表現は交換可能に、広義で、オーディオ・データを処理するよう構成されたシステムを表わすために使用される。オーディオ処理ユニットの例は、エンコーダ（たとえばトランスコーダ）、デコーダ、ボコーダー、コーデック、前処理システム、後処理システムおよびビットストリーム処理システム（時にビットストリーム処理ツールと称される）を含むがこれに限られない。
【００２０】
諸実施形態は、仮想ベース処理システムにおいて使われる高調波転移器のような既存の仮想ベース処理コンポーネントに実質的な変化を要求することなく仮想ベース遅延を減少させるシステムおよび方法に向けられる。仮想ベース・レイテンシー低減システムおよび方法の諸側面は、オーディオ・コーデックにおける（たとえばデコーダにおける）高調波生成器（転移器）との関連で使用されてもよい。仮想ベース・レイテンシー低減システムおよび方法の諸側面は、他の転移器または位相ボコーダー・システム、たとえばオーディオ信号の一般的な時間伸張またはピッチ・シフトのために使われる伝統的な位相ボコーダーとの関連で使用されてもよい。
【００２１】
図１Ａに概括的に示されるように、高調波転移を使う仮想ベース生成方法は、欠けている低周波数を物理的に再現することができない小型スピーカーを通じてなど限られた再生設備におけるベース・コンテンツの再生を改善するために、非可聴周波数範囲から可聴周波数範囲への周波数成分の転移に関わる。仮想ベース・レイテンシー低減システムおよび方法の諸実施形態は、オーディオ信号の低周波数成分に対して高調波転移を実行して再生時に可聴であると期待される高調波を示す転移されたデータを生成する仮想ベース生成方法に対して改良するものであり、転移されたデータに応答して仮想ベース信号を生成し、仮想ベース信号を（遅延させられた）入力オーディオ信号と組み合わせることによって向上されたオーディオ信号を生成する。典型的には、向上されたオーディオ信号は、低周波数成分を物理的に再現することができない一つまたは複数のスピーカーによって、前記向上されたオーディオ信号の再生中にベース・コンテンツの増大した知覚されるレベルを与える。
【００２２】
仮想ベース生成方法によって実行される高調波転移は、各低周波数成分の、二次転移器および少なくとも一つのより高次の転移器（典型的には三次および四次で、任意的には少なくとも一つの追加的なより高次の転移器）を使って高調波を生成するよう、組み合わされた転移を用い、それにより、高調波のすべてが、共通の、時間から周波数領域への変換段（たとえば、時間から周波数領域への単一の変換から帰結する周波数係数に対して位相乗算または他の位相操作を実行することによる）およびそれに続く共通の、周波数から時間領域への変換（実際上は、前記共通の周波数から時間領域への変換は、CQMFフレームワークのサブバンドの帯域幅およびサンプリング周波数に適応するために、二つのより小さな変換に分割される）によって決定される周波数領域の値に応答して生成される。
【００２３】
図２は、ある実施形態のもとでのある種のレイテンシー低減プロセスを実装するまたは該プロセスとの関連で使用される仮想ベース処理システムのブロック図である。ある実施形態では、仮想ベース処理システム２００は、入力２０１（入力A）として、いわゆるハイブリッド（Hybrid）フィルタバンクからの複数の複素数値のサブバンド・サンプル（HQMFサンプル）を取る。ある実施形態では、仮想ベース・プロセスに先行するハイブリッド・フィルタバンクが、もとの時間領域のオーディオ入力信号を、そのような複数のハイブリッド・サブバンド２０１（これは下記でより詳しく述べる）に分割しており、それらのサブバンドが入力バッファ２０６によってバッファリングされてもよい。バッファリングされた入力は、次いで、低周波数オーディオ・コンテンツ（たとえば0から375Hzまでの間）を示す単一の複素数値のQMF（CQMF）領域信号２０２（信号C）を再構築するために、合成機能を実行するナイキスト合成フィルタバンク２０８によって処理される。もう一つの実施形態では、仮想ベース・システムは、先行するハイブリッド・フィルタバンクにおけるナイキスト分解フィルタバンク段をバイパスすることによるレイテンシー節約機構を含む。これは、システムが、CQMFチャネル0信号を入力２０３（入力B）として仮想ベース・モジュールに直接フィードすることによって、ナイキスト分解バンクに付随する遅延（たとえば384サンプル）を節約することを許容する。図２に示されるように、二つの入力２０２または２０３の一方が選択器２０４のようなスイッチによって選ばれ、選択された信号は、転移器２０９によってさらに処理される仮想ベース入力信号２０５（信号D）を含む。
【００２４】
転移器（または位相ボコーダー）は一般に、時間から周波数への変換またはフィルタバンクと、それに続く非線形段（位相乗算または位相シフトを実行する）と、それに続く周波数から時間への変換またはフィルタバンクとの組み合わせである。このように、図２に示されるように、転移器２０９は、時間から周波数への変換コンポーネント２１０、非線形段２１２および周波数から時間への変換２１４を含む。転移器２０９内の非線形段２１２は、位相を修正し、信号のサブバンドまたは変換成分に対してある種の利得（振幅）制御信号を適用する処理ブロックである。転移された信号は次いで、出力バッファ２１６によってバッファリングされ、その後、ナイキスト分解フィルタバンク２１８によって処理される。ナイキスト分解フィルタバンク２１８は、仮想ベース出力CQMF信号を入力信号２０１のハイブリッド・サブバンド・サンプル（HQMF）に対応するサブバンドに分解する分解機能を実行する。入力A信号２２０の遅延された、未処理のバージョンが、ナイキスト・フィルタバンク２１８出力と混合され、仮想ベース出力信号に遅延された入力信号を加えたものを含む向上されたオーディオ出力信号２２２を生成する。
【００２５】
諸実施形態は、合成２０８および分解２１８段処理のようなある種の機能についてのナイキスト・フィルタバンクの使用に向けられることがあるが、他の型のフィルタバンクまたは周波数スプリットまたはパーティション回路および技法が使用されてもよい。他の実施形態では、上述したフィルタバンクまたは周波数スプリットまたはパーティション回路および技法は、全く存在しなくてもよい。
【００２６】
図３Ａ〜３Ｃは、図２に示した仮想ベース処理システムのより詳細な図である。図３Ａは、前処理ハイブリッド・フィルタバンク段３００、すなわち典型的には仮想ベース・システムの一部ではなくそれに先行する段を示している。ハイブリッド・フィルタバンクは、低周波数範囲の周波数分解能を高めるために、ある数の最も低いCQMF帯域があらかじめ決定された諸サイズの諸ナイキスト・フィルタバンクによって処理される、CQMFバンクの組み合わせであってもよい。諸ナイキスト分解段および残りの諸CQMFチャネルからの低周波数サブバンド・サンプルの組み合わせは、ハイブリッド・サブバンド・サンプルまたはHQMF（ハイブリッドQMF）信号と称される。図３Ａに示されるように、時間領域入力信号３０２が64チャネルCQMF分解フィルタバンク３０４に入力される。ある実施形態では、このフィルタバンクの一つの出力、CQMFチャネル0（信号Bと表わされる）３０６が、図３Ｃの仮想ベース・モジュール３３０に直接フィードされる（この信号は図２の入力B  ２０３に対応する）。信号B  ３０６はナイキスト分解フィルタバンク３０７をバイパスし、よって付随する遅延を回避することを注意しておくべきである。また、CQMFチャネル0,1,2はいくつかのナイキスト分解フィルタバンク３０７〜３０９に入力される。ナイキスト分解フィルタバンクからの出力および残りのCQMFサブバンド（3ないし63）がハイブリッド・サブバンド・サンプル0〜76（信号Aと表わされる）３１０を生成する。
【００２７】
図３Ｂのシステム３２０に示されるように、複数の複素数値のハイブリッド・サブバンド・サンプル（サンプルA）３２２がナイキスト合成フィルタバンク段３２４に入力される。図３Ｃの仮想ベース・モジュール３３０は、ハイブリッド・サブバンド・サンプル（HQMFサンプル）に対して作用するシステムにおける他のモジュールのうちの一つのモジュールであると想定される。よって、図３Ａの信号A  ３１０は、図３Ｂの入力A  ３２２になる前に、前処理フィルタバンク段３００のあとの他のモジュールによる処理を受けてもよい。ある例示的な実施形態では、最初の8個のハイブリッド・サブバンド、すなわち低周波数の8チャネル（8-ch）のナイキスト・フィルタバンク３０７からのサブバンド（これはサンプリング・レートに依存して、ほぼ344〜375Hzの信号帯域幅を生成する）が処理される。ナイキスト・フィルタバンクは、CQMFバンクとは対照的にダウンサンプリングされないので、ナイキスト・フィルタバンク合成ステップは、各CQMF（またはHQMF）時間スロットについてのサブバンド・サンプルの単なる総和なので、特に素直である。段３２４における8個の最も低いハイブリッド・サブバンド・サンプルの総和後、システムは、CQMFチャネル0信号C  ３２６を再構築したことになり、これが図３Ｃの仮想ベース・モジュール３３０への入力３３２になる。
【００２８】
図３Ｃは、ある実施形態のもとでの、ある種のレイテンシー低減プロセスを実装するまたは該プロセスとの関連で使われる仮想ベース・システムを示している。図３Ｃの仮想ベース・モジュール３３０は、信号D  ３３２を入力としてもつ。先行するナイキスト分解フィルタバンク３０７がバイパスされるある実施形態では、信号D  ３３２は、図３Ａの信号B  ３０６からルーティングされてもよい。もう一つの実施形態では、信号D  ３３２は、図３Ｂのナイキスト合成段３２０の信号C  ３２６からフィードされてもよい。いずれの実施形態でも、信号D  ３３２、すなわち仮想ベース・モジュールへの入力信号は、単一の複素数値のCQMF信号（たとえば、一組のCQMFサブバンド信号からの第一のチャネル（チャネル0））である。
【００２９】
仮想ベース用途では、仮想ベース入力信号のダイナミクスを変えるために、任意的なダイナミクス処理機能がダイナミクス・プロセッサ３３６によって実行されてもよい。プロセッサ３３６は、弱いベースのレベルを減少させ、強いベースを維持または高めるために使われてもよい。すなわち、伸張器（expander）として使われてもよい。この方式は、ベース・レンジにおける等ラウドネス曲線（ELC:  Equal  Loudness  Contour）の形に一致する。ラウドネス曲線は、よりラウドネスが大きい信号については周波数においてより平坦であり、より弱いラウドネスの信号についてはより急峻である。よって、高調波を生成するとき、基本成分と生成される高調波との間の相対的なラウドネスを維持するために、より弱いベースはより強いベースよりも大きく減衰させられることができる。ダイナミクス・プロセッサ３３６の利得は、移動平均エネルギー信号、たとえば第一のCQMF帯域信号３３２のダウンミックスされた（モノ）バージョンの移動平均エネルギーによって制御されてもよい。
【００３０】
システム３３０の実施形態について、窓サイズL（長さNまで0パディングを含む）を使う第一の窓掛け関数３３８、順FFT  ３４０および変調関数３４２が、非線形処理ブロック３４４への入力に先立って（可能性としてはダイナミクス処理された）CQMF信号に対して実行される。本発明のある実施形態では、窓形状は非対称的である。もう一つの実施形態では、（コンポーネント３３８ないし３５６を有する）転移器は、「組み合わされた転移（combined  transposition）」と称される補間技法を使う改善された位相ボコーダーを表わす。これは、基本転移器についてと同じFFT分解／合成チェーンを使って二次、三次、四次および可能性としてはより高次の高調波（転移因子）を生成する。一般に、そのような組み合わされた転移は、基本次数の高調波以外の高調波の品質はいくらか損なわれるかもしれないが、計算量を節約する。組み合わされた転移なしでは、少なくとも順変換または逆変換のいずれかは、異なる転移因子について別個である必要がある。非線形処理ブロック３４４は、整数転移因子を使う。これは、多くの標準的な位相ボコーダーにおいて使われているところでは一般に不安定で不正確である、ある種の位相推定、位相復元または位相ロック技法を余計なものにする。ある実施形態では、位相乗算器３４４は2より高い基本転移因子B、たとえば8または他の任意の適切な値を使う。
【００３１】
転移器３３８〜３５６は、インパルス（衝撃）音を改善するために周波数領域における過剰サンプリング（すなわち、ブロック３３８および３５６における0パディングされた分解および合成窓）を使う。これはベース周波数範囲で使われるときに卓越する。そのような過剰サンプリングなしでは、衝撃性の太鼓音は、少なくともいくらかの前エコーおよび後エコーのアーチファクトを生成する可能性が高く、ベースを、ぼやけて不明瞭なものにする。ある実施形態では、過剰サンプリング因子Fは少なくとも因子F＝(B＋1)/2であるよう選択される。ここで、Bは基本転移因子（たとえばB＝8）である。これは、孤立した過渡音について、前エコーおよび後エコーが抑制されることを保証する助けとなる。
【００３２】
図３Ｃに示されるように、転移器は、位相乗算器回路（非線形処理ブロック３４４）に続いて、増幅器３４６によって適用されるFFTビン毎の利得および傾き補償を含む。これは、種々の転移因子についての全体的な利得が独立して設定されることを許容する。たとえば、諸利得が、ある種の等ラウドネス曲線（ELC）を近似するよう設定されることができる。近似として、ELCは、400Hzより下の周波数については、対数スケール上の直線によって十分にモデル化されることができる。この場合、奇数次数の高調波はより大きな度合いで減衰させられることができる。奇数次数の高調波（たとえば三次、五次など）は、結果として得られる仮想ベース効果のためには重要であるが、時に、偶数次数の高調波より耳ざわりに感じられることがあるからである。各転移された信号はさらに、傾き利得、すなわちロールオフ減衰因子を有していてもよい。これはたとえば、dB毎オクターブ（dB  per  octave）で測られる。この減衰は、増幅器３４６によって変換領域でもビン毎に適用される。
【００３３】
非ハイブリッド・フィルタバンクに基づくシステム、たとえば時間領域のシステムでは、図３Ａの信号３０２を入力として取ると、転移器３３８〜３５６は、フル・サンプリング・レート（たとえば44.1または48kHz）の時間領域信号に対して直接作用し、次いで、低周波数（ベース）レンジにおいて十分な分解能を与えるために、ほぼ4096ラインのFFTサイズを用いることになる。ある実施形態では、しかしながら、すべての処理はCQMFチャネル0サブバンド・サンプル（システム３３０の信号D  ３３２）に対して実行される。これは、転移器において関心対象の信号のみを処理することによって、すなわち臨界サンプリングされた（または最大限に間引きされた）低域通過信号を処理することによって計算量を節約するなど、通常の処理事例に対してある種の利点を提供する。たとえば、四次の基本転移器を使うことにより、仮想ベース・システムは、入力信号の帯域幅を四倍拡張する。一般に、仮想ベース・システムは、ほぼ500Hzより上の帯域幅をもつ信号を出力することは要求されない。これは、（fs＝48kHzについて）375Hzの帯域幅をもつ第一のCQMFチャネル（チャネル0）が仮想ベース入力のために十分以上であり、最初の二つのCQMFチャネル（チャネル0および1）が仮想ベース出力についての十分な帯域幅（fs＝48kHzにおいて750Hz）を有することを意味する。CQMFチャネル0を入力としてもつことで、システムは、4096ではなく64（4096/64）のサイズのFFT変換を使って複素数値のサンプルを処理することができる。ここで、64倍の減少はCQMFバンクのダウンサンプリング因子に由来し、この因子は時間領域入力信号に比べた第一のCQMFサブバンド信号の縮小された帯域幅にも等しい。本来的な帯域幅拡張のため、転移器からの出力は、CQMF帯域0および1に変換される必要がある。これは、64ラインのFFTを四つの16ラインのFFTに分割し、CQMF帯域0および1をなす二つの16ラインのFFTの逆FFTが計算される前に変換領域においてCQMFプロトタイプ・フィルタ応答補償を用いることによって近似的に行なわれてもよい。上記の例では、周波数領域過剰サンプリングは考えられていないことを注意しておく。先述した過剰サンプリング因子だけ順および逆変換のサイズを増すことになるからである。ある用途では、FFTスペクトルは仮想ベース・モジュール３３０のモジュール３４８において分割されてもよく、CQMFフィルタ応答補償が乗算器３５０によってなされてもよい。他の実施形態では、CQMFフィルタ応答補償が、FFT分割モジュール３４８前に、完全な（たとえば上記の例では64ラインの）FFTスペクトルに対してなされてもよい。
【００３４】
図３Ｃにさらに示されるように、CQMFフィルタ応答補償ブロック３５０からの出力は変調ステップ３５２に入力され、それにN/B点の変換サイズを使う逆FFT回路３５４および窓長L/Bを使うその後の窓掛けおよび重複／加算ステップ３５６が続く。本発明のある実施形態では、窓の形は非対称的である。変調ステップ３５２は、FFT分割３４８およびCQMFフィルタ応答補償３５０ブロックの前に適用されてもよい。窓掛けおよび重複／加算回路３５６からの出力信号は、遅延されたHQMF信号A  ３６４と混合されるべき仮想ベース信号を含む、二つのCQMF信号である。しかしながら、いずれの信号も、ハイブリッド領域に収まるためには、それぞれ8および4チャネル・ナイキスト分解フィルタバンク３６０を通じてまずフィルタリングされる必要がある。本発明のある実施形態では、ナイキスト分解フィルタバンク３６０は打ち切りされたプロトタイプ・フィルタを使う。フィルタバンク３６０からのHQMF出力は、モジュール３６２において、帯域通過フィルタリングされ、遅延された入力成分A  ３６４と混合されて、向上されたオーディオ出力HQMF信号３６６を生成してもよい。ある実施形態では、ハイブリッド帯域混合ブロック３６２への入力A  ３６４の遅延は、時間的に遅らされた仮想ベース信号をなすための仮想ベース・システム遅延（信号B  ３０６が入力として使われる場合にはこれからナイキスト分解遅延を引いたもの）より少ない。
【００３５】
CQMF分解バンクに由来するサブバンド信号の間の位相関係は、上記で概説したようなFFT分割を実行するときには維持されない。これを軽減するために、ある実施形態では、システム３３０は、ナイキスト分解ブロック３６０の前に、CQMFチャネル1に対するexp(−jπ/2)乗算３５８による位相補償を用いる。位相補償関数３５８への具体的な引数は、図３Ａの先行するCQMFバンク３０４によって使用された変調方式に依存し、実施形態の間で変わることがある。また、補償因子３５８は、他の処理ブロックに移され、吸収されてもよい。
【００３６】
〈仮想ベース・レイテンシー低減〉
背景セクションにおいて述べたように、仮想ベース処理システムは、入力信号を処理するときにある種の遅延を導入する。図１Ｂを参照するに、レガシー転移器の遅延（転移器出力サンプリング周波数上で測定される）は、D＝3L/2−2SAとして表わすことができる。ここで、Lは転移器窓サイズであり、SAは分解ストライドまたはホップ・サイズである。L＝64かつSA＝4であるシステムでは、転移器およびナイキスト・フィルタバンク分解段の総遅延は、先述したように3200サンプルのオーダーであることができる。
【００３７】
ある実施形態では、仮想ベース処理システムは、仮想ベース処理されたコンテンツに関連するレイテンシーを軽減するためにある種のステップを実行するコンポーネントを含む。図４は、ある実施形態のもとでの、仮想ベース・レイテンシー軽減プロセスおよびシステムによって利用される主要な機能コンポーネントのブロック図である。図４の描画４００に示されるように、レイテンシー軽減プロセスは、より高次の基本転移因子４０２、低レイテンシーの非対称な変換窓４０４、打ち切りされたナイキスト・プロトタイプ・フィルタ４０６および時間的に遅らされた仮想ベース信号４０８の使用を含む。描画４００の機能コンポーネントのそれぞれは、単独で使われてもよいし、あるいは仮想ベース処理されたコンテンツのレイテンシーを軽減するのを助けるために他のコンポーネントの内の一つまたは複数との関連で使われてもよい。描画４００は、コンポーネント４０２〜４０８のそれぞれが回路、プロセッサなどといったハードウェア・コンポーネントとして具現されるときのシステムを表わしていてもよい。この描画は、コンポーネント４０２〜４０８のそれぞれが、一つまたは複数のプロセッサによって実行されるコンピュータ実装されるプロセスのような機能コンポーネントによって実行される工程として実装されるときのようなプロセスをも表わしていてもよい。あるいはまた、描画４００は、ある種のコンポーネントがハードウェア回路において実装されてもよく、他のコンポーネントが実行される方法ステップとして実装されてもよいハイブリッドのシステムおよび方法を表わしていてもよい。コンポーネント４０２〜４０８は、別個のスタンドアローンのコンポーネントとして実装されてもよいし、あるいは一つまたは複数の統合されたレイテンシー低減機能において組み合わされていてもよい。システム４００の各コンポーネントの組成および動作の詳細について以下で述べる。
【００３８】
〈高次の基本転移因子〉
図４の高次の基本転移因子４０２に関し、レガシーの転移器遅延の式Dts＝{3L/2−2SA}・64/2（式(2)）は、式(3)に示されるようにして導き出せる。
【００３９】
Dts＝{(B＋1)L/2−B・SA}・64/B        (3)
式(3)では、レガシー・システムの基本転移因子2は、任意の整数の基本転移因子Bによって置き換えられる。式(3)が、64チャネルをもつCQMFに基づくフレームワークの出力サンプルにおける遅延のことを言っていることを注意しておく。一定のLおよびSAについて、Bが増すと遅延が減少することを検証できる。図５Ａは、第一のホップ・サイズに関連する遅延を示す表であり、図５Ｂはある実施形態のもとでの仮想ベース・レイテンシー軽減システムについての第二のホップ・サイズに関連する遅延を示す表である。図５Ａの表１は、さまざまな窓サイズ（L＝16ないし128）および基本転移因子（B＝2ないし16）について、SA＝4のホップ・サイズについてのレイテンシーを示している。これに比して、図５Ｂの表２は、同じさまざまな窓サイズ（L＝16ないし128）および基本転移因子（B＝2ないし16）について、SA＝2のホップ・サイズについてのレイテンシーを示している。図５Ａおよび図５Ｂにおいて見て取れるように、基本転移因子をたとえば2から8に増すことによって、著しいレイテンシー軽減が達成できる（たとえばL＝64およびSA＝4の公称事例について、2816から2048サンプルに）。
【００４０】
図３Ｃを参照するに、組み合わされた転移器３３８〜３５６において、TはBより大きい（T＞B）として、より高次の転移因子Tを生成するとき、分解変換スペクトルにおいて、転移器源範囲は転移器目標範囲より小さい。目標ビンは、源ビンの補間から帰結する。より高次の基本転移器を使ってより低次の転移因子を生成するとき、すなわちTがBより小さい（T＜B）とき、源範囲は目標範囲より大きくなり、目標ビンは源ビンの間引きから帰結する。しかしながら、T＜Bの場合についても、Tが奇数であるときは、nが目標ビン・インデックスであるとして、k＝nB/Tとして導出される源ビン・インデックスは一般には整数にはならず、よって、目標ビンは二つの連続する源ビンの補間から導出されることになる。
【００４１】
基本転移因子の増大した次数は、仮想ベース・プロセスに対してある種の含みをもつ。第一に、転移器源範囲が分解変換範囲内（すなわち0ないしN−1の範囲内）に留まることを強制するために、制御が確立される必要がある。第二に、基本転移因子2を使うシステムと比べ、二つの合成変換３５４は今やN/2ではなくN/Bのサイズである。ここで、Nは分解変換サイズである。これは、合成窓が2倍ではなくB倍間引きされ、スペクトル分割３４８も、フィルタ応答補償３５０のための利得ベクトルとともに、相応してダウンスケーリングされることを意味する。これは、Bのより大きな値についての増大した帯域幅拡張の結果である；転移器出力は本来的に、（一個のCQMF帯域の入力を想定すると）B個のCQMF帯域の周波数範囲をカバーする。ここで、最初の二つのみが実際に合成され、それにより複雑さを節約する。基本転移因子B＝8および周波数領域過剰サンプリング因子F＝4については、二つの合成変換サイズはNS＝F・L/B＝4・64/8＝32であり、合成変換窓３５６はたったL/B＝64/8＝32個のタップをもつ。
【００４２】
転移された信号の品質は、基本転移因子によって支配され、より高次の転移次数については低減されるが、減少した分解ホップ・サイズ（時間領域での増加した過剰サンプリング）を使うことによって改善できる。さらに、衝撃音（過渡音）についての品質を維持するために、周波数領域過剰サンプリングの次数（order）は、より高い基本転移因子については、増大する必要がある。しかしながら、時間および周波数の両方における増大した過剰サンプリングは、転移器の計算量に上乗せすることになりうる。ある実施形態では、分解ホップ・サイズは、レガシー・システムに比べて因子2だけ減少される。因子B＝8の基本転移器は、少なくともF＝(B＋1)/2＝4.5の周波数領域過剰サンプリング因子を必要とする。ある実施形態では、システムは、因子4の過剰サンプリング（F＝4）を使い、0.5の欠けている値は一般には実際上取るに足りない。変換窓が端では漸減されるからである。よって、この実施形態では、計算量は、時間における増大した過剰サンプリングに由来して、全部で因子2だけ増大する。増大した時間過剰サンプリングは、わずかに増大した遅延という代償をも伴い、図５Ｂの表２に示されるように、L＝64、B＝8およびSA＝2について総レイテンシー2176という結果になることを注意しておくべきである。
【００４３】
〈非対称的な変換窓〉
図５Ａおよび図５Ｂの表１および表２に示されるものを与えられると、転移器遅延を減少させる自明な方法は、より短い変換窓を、よってより小さな分解および合成変換サイズを使うことであると思われるかもしれない。しかしながら、これは一般には、密なトーン様信号（dense  tonal  signal）についての低下した品質という代償を伴う。より短い変換窓から帰結する減少した周波数分解能のためである。順および逆変換段において非対称的な分解および合成窓を使うことによって、転移器のアルゴリズム遅延のより堅牢な減少が達成できることが見出された。こうして、図４の低レイテンシー非対称変換４０４に関し、ある実施形態では、レイテンシー低減システムは、順および逆変換段（たとえば、それぞれ図３Ｃの窓掛け段３３８および３５６）において非対称な分解および合成窓を使う。これは、変換遅延に寄与しない履歴中のサンプルに向けて窓の「尾部」を延ばすことによって、限られた長さの対称窓の周波数応答を本質的に改善する。さらに一般的な実施形態では、分解窓の長さおよび順変換のサイズが、合成窓および逆変換のものと異なっていてもよい。
【００４４】
図５Ｃは、レガシーの対称的なハニング窓に比べた非対称窓の時間応答の例示的なプロットである。図５Ｃは、プロット５１４として示される長さ64のハニング窓およびプロット５１６として示される長さ41のハニング窓についての信号振幅（たとえばボルト単位）に対するサンプル（x軸）の関数としての時間応答を、長さ64および遅延40（長さ41のハニング窓に等しい遅延）の非対称窓についての時間応答プロット５１２に対して示している。図５Ｄは、レガシーの対称ハニング窓に比べた非対称窓の周波数応答の例示的なプロットである。図５Ｄは、プロット５２４として示される長さ64のハニング窓およびプロット５２６として示される長さ41のハニング窓についての対数スケール上での信号振幅（たとえばdB単位）に対する正規化された周波数（x軸）の関数としての周波数応答を、長さ64および遅延40の非対称窓（長さ41のハニング窓に等しい）についての周波数応答プロット５２２に対して示している。図５Ｄにおいて見て取れるように、非対称窓の主ローブは、上記対称的なハニング窓の幅の中間の幅をもつ。これは、上記二つのハニング窓の中間の周波数分解能または選択性を示している。
【００４５】
非対称な窓変換処理を受け容れるために、転移器アルゴリズムは、分解／合成チェーンの低下した変換遅延Dを考慮に入れて、レガシー実装に比較して部分的に変更される必要がある。レガシー・システムの順変換のあとで逆変換の前のe-iπkによる周波数変調の代わりに、非対称システムは、分解変換後の周波数変調３４２を必要とする：
MA(k)＝e-i(2π/N)(D/2-L+1)k      0≦k＜N        (4)
システムはまた、合成FFTスペクトルの分割のまえの変調をも必要とする：
MS(k)＝e-i(π/N・D・n)      0≦n＜N        (5)
上記の式(4)および(5)において、kおよびnはそれぞれ変換周波数係数インデックスであり、Nは分解変換サイズ、すなわちN＝FLであり、ここで、Fは周波数領域過剰サンプリング因子であり、Lは分解窓サイズであり、Dは変換遅延である。図３Ｃに示されるように、式(5)の変調は、FFT分割モジュール３４８および応答補償ステップ３５０のあとの変調段３５２においても適用されてもよい。
【００４６】
図６は、ある実施形態のもとでの、非対称窓およびB次基本転移器によって課される関連する遅延の使用を様式的に示している。レガシーの仮想ベース・システムでは、Bは通例2に設定されるが、非対称窓プロセス４０４がより高次の基本転移因子プロセス４０２との関連で使われる場合には、Bは2より大きな整数値になる（たとえばB＝4,8または16）。時間プロット６００は、分解窓の群遅延（約D/2）としての時間0基準を示している。分解フェーズ６０２において、時間t0から新しいサンプル６０４が加えられる。時間プロット６１０は、転移器の時間伸張二重性（duality）が、合成フェーズ６１２において、新しい時間伸張されたサンプル６１４について、t0をB・t0に移すことを示している。図５（５１２）または図６に示されるような非対称窓が使われる場合、全分解／合成チェーン遅延は、ほぼD/2＋B(D/2−SA)になる。
【００４７】
周波数領域変調がN/2サンプルによる巡回的時間シフトによって実装されうる対称窓の場合については、上記の式(4)および(5)の計算は同様に、それぞれ分解変換前のN−(D/2−(L−1))（mod  N）サンプルおよび（単一の）合成変換後のN−D/2サンプルの巡回的時間シフトによって実装されてもよい。しかしながら、非対称窓をより高次の基本転移因子、たとえばB＝8およびFFT分割段３４８と組み合わせるとき、合成変換後の時間シフトは(N−D/2)/Bサンプルになる。これは整数値でないこともある。この場合、丸められた値が近似として使われてもよい。さらに、計算量を節約するために、分解変調は、式(6)によって与えられるような併合合成変調として、合成変調と組み合わされてもよい。
【００４８】
MASC(k)＝e-i(2π/N)(D/2・(B+1)-L+1)・B)・k      0≦k＜N        (6)
式(6)の組み合わされた変調は、転移因子TがBに等しいときにのみ厳密である。他の転移因子については、式(6)も近似である。
【００４９】
あるいはまた、式(6)の変調は、式(7)に示されるように、合成変換後の組み合わされた巡回的時間シフトとして実装されてもよい。
【００５０】
fx(m)＝gx(S＋m)      0≦m＜N/B−S
fx(N/B−S＋m)＝gx(m)      0≦m＜S        (7)
上記の式(7)において、gx(m)は合成逆変換のうちの一つからの時間領域出力であり、fx(m)はシフトされた時間シーケンスであり、Sは：
【数１】
0005894347.tif 000002
に等しい。
【００５１】
ここでもまた、式(7)は、天井関数（最も近い整数に丸める）の引数が厳密な整数でない場合には、式(6)によって実装される周波数変調（これ自身も近似であることがありうる）の近似を与えるだけである。上記の式(5)または(6)が好ましくは、二つの逆フーリエ変換に含まれる係数の限られた部分にのみ適用されることも注意しておくべきである。
【００５２】
図６を参照するに、非対称窓転移器フレームワークの総システム遅延についての厳密な表式は式(8)に示されるようになる。
【００５３】
Dta＝{(B＋1)・D/2−B(SA−1)}・64/B        (8)
ここでもまた、式(8)は、64チャネルのCQMFに基づくフレームワークを使った出力サンプルにおける遅延を指す。
【００５４】
ある実施形態のもとでの、非対称的な変換窓を使う仮想ベース・レイテンシー低減システムについて、図７のＡは、第一のホップ・サイズについての全レイテンシー値を示す表であり、図７のＢは、第二のホップ・サイズについての全レイテンシー値を示す表である。図７のＡの表３は、さまざまな変換遅延値（D＝15ないし127）および基本転移因子（B＝2ないし16）について、ホップ・サイズSA＝4についてのレイテンシーを示す。比較して、図７のＢの表４は、同じさまざまな変換遅延値（D＝15ないし127）および基本転移因子（B＝2ないし16）について、ホップ・サイズSA＝2についてのレイテンシーを示す。表４において見て取れるように、対称的な64タップ窓（D＝63）から非対称的な窓に移行する際のレイテンシー低減は、828サンプルである（SA＝2およびB＝8である公称事例について、2204−1376＝828）。
【００５５】
式(3)と式(8)を比較すると、Dts＝Dtaと置くことで
D＝L−(2B/(B＋1))        (9)
が得られることを検証できる。上記の式(9)は、B＝1のときの対称窓についてD＝L−1の期待される変換遅延を表わす。
【００５６】
転移窓の非対称の量は、システムの制約および要求に依存して変わりうる。ある実施形態および個別的な実装では、非対称窓の群遅延は、十分な転移品質を維持するために、変換遅延の半分に近くなるよう選択される。こうして、この場合、
【数２】
0005894347.tif 000003
となる。これは、非対称フィルタの設計のための最適化フェーズの間に、群遅延についての制約条件を含めることによって達成されてもよい。
【００５７】
〈打ち切りされたナイキスト・プロトタイプ・フィルタ〉
図４を参照するに、第三のレイテンシー軽減要素は、打ち切りされたナイキスト・プロトタイプ・フィルタ４０６を使うことを含む。図３Ｃに示されるように、ハイブリッド領域で仮想ベース信号を混合できるために、8チャネルおよび4チャネルのナイキスト分解フィルタバンク３６０が仮想ベース出力CQMFチャネルに適用される（これらのフィルタバンクは、図３Ａのナイキスト・フィルタバンク３０７および３０８に対応する）。ある実施形態では、ナイキスト分解フィルタバンク３６０は、対称的な13タップのプロトタイプ・フィルタを使う。これは結果として、6個のCQMFサンプルの遅延（たとえば、この場合、6・64＝384出力サンプル）を与えることができる。将来のサンプルに作用する当該プロトタイプ・フィルタの六個の係数を除去することによって、この遅延全体（たとえば384サンプル）が解消されうる。一般に、ナイキスト分解／合成チェーンはそれでも完璧な再構成を提供する。しかしながら、打ち切りされたフィルタを使うナイキスト・フィルタバンクの周波数応答は変わることがある。残りのフィルタ係数の最適化が、打ち切りされたフィルタを使うナイキスト・フィルタバンクの潜在的により貧弱な周波数応答を改善しうる。
【００５８】
〈時間的に遅らされた仮想ベース信号〉
図４を参照するに、第四のレイテンシー軽減要素は、仮想ベース信号を、もとの信号４０８より遅れ（lag）させることを含む。この場合、広帯域信号（すなわち図３Ｃのハイブリッド信号A  ３６４）が、仮想ベース・システム遅延（delay）が実際に含意するよりも短い時間期間、遅延されるので、全体的なシステムのレイテンシー（latency）が短縮されることができる。略式の聴取試験は、20ms未満の遅れ（lag）が仮想ベース効果を妨げないことを示している。この遅れは、49kHzオーディオ信号について960サンプルに対応する。
【００５９】
ある実施形態のある個別的な実装では、仮想ベース信号は、合計352サンプル（48kHzでは7.33ms）だけ広帯域信号を遅らせることを許容される。これら352サンプルのうち、32サンプルは、非対称的な変換窓に由来する。1376がCQMFフィルタバンク・サイズの64で割り切れないからである。よって、非対称窓変換からの遅延は、1344の広帯域レイテンシー＋32サンプルの遅れに分割されることができる。これら32サンプルに上乗せされる追加的な遅れは、320サンプルである（5個のCQMFサンプル、48kHzのサンプリング周波数では6.67msに対応）。
【００６０】
図４の種々のレイテンシー軽減要素４０２〜４０８は、仮想ベース・システム・レイテンシーの軽減を達成するために、任意の実際的な数の組み合わせにおいて使用されうる。さらに、各レイテンシー軽減方法の適切な変数は、仮想ベース信号品質における何らかの知覚される低下に関係して、レイテンシーを増すよう変更されてもよい。ある実施形態では、四つのレイテンシー軽減要素は、以下の値を使って実装された：基本転移因子B＝8、ホップ・サイズSA＝2、変換遅延D＝40、打ち切りされたナイキスト・フィルタおよび320サンプルの追加的な仮想ベース遅れ。この例示的な場合には、出力サンプルにおける結果として得られる仮想ベース・システム遅延は、次のようであった。
【００６１】
DVB＝{(B＋1)・D/2−B・(SA−1)}・64/B−32＋0−320＝1376−352＝1024
上記のように前処理段においてナイキスト分解フィルタバンクを回避する（たとえば、図２における入力B  ２０３および図３Ａの信号B  ３０６を図３Ｃの仮想ベース・モジュール３３０の入力D  ３３２として使う）ことは、遅延のさらに384サンプルを節約することができる。結果として、1024−384＝640サンプルの仮想ベース・システム遅延を与える（48kHzのサンプリング周波数では13msに対応）。
【００６２】
この例示的な場合における640サンプルの遅延は、先述したレガシー仮想ベース・システムにおける3200サンプルの公称遅延より著しく少ない。この遅延は、さらなる仮想ベース遅れを加えることによって、ホップ・サイズSAを2でなく4に増加させることによって、または40より短い結果的な分解／合成遅延をもつ非対称的な変換窓を設計することによって、さらに短縮することができる。しかしながら、そのようないかなる値の変更も、レイテンシーがさらに短縮されうるものの、わずかにより貧弱な仮想ベース品質につながりうる。
【００６３】
本稿に記載される仮想ベース・レイテンシー軽減の実施形態は、図２および図３に示されるような任意の適切な仮想ベース生成システムとの関連で使用されてもよい。図８は、ある実施形態のもとでの、仮想ベース生成システムおよびレイテンシー軽減システムを含むオーディオ処理システムを示すブロック図である。図８に示されるように、システム８００は、図３Ｃに示されるような仮想ベース・システム３３０を有する。仮想ベース・システム３３０は、入力オーディオ信号８０１を受け取って、ある種の周波数転移機能を実行して、限られた周波数応答機能のものでありうるスピーカー８０６を通じた再生のために、向上されたオーディオ・コンテンツを生成する。ある種のレイテンシーが、仮想ベース・システム３３０によって実行される転移機能に付随することがある。ある実施形態では、仮想ベース・レイテンシー軽減システム４００（図４に示されるようなもの）は、仮想ベース処理に付随するレイテンシーを軽減するための、仮想ベース・システム３３０への後プロセスとして設けられる。仮想ベース・システム３３０および４００からの軽減されたレイテンシーのオーディオ信号は、次いで、レンダリング・サブシステム８０２に送られる。該レンダリング・サブシステム８０２は、左右の（または多チャネルの）スピーカー８０６のために増幅器８０４を通じてフィードされうるスピーカー・フィードを生成するよう構成される。
【００６４】
仮想ベース・レイテンシー軽減システム４００はシステム８００における別個の後プロセス要素であるように示されているが、そのようなレイテンシー軽減システムは、（先に示したように）仮想ベース・システム３３０の一部として実装されてもよく、あるいはレンダリング・サブシステム８０２内の機能コンポーネントのようなシステム８００の他の任意の適切な要素の一部として実装されてもよいことは注意しておくべきである。同様に、仮想ベース・システム３３０は、背景において概説したレガシーの仮想ベース生成システムであってもよいし、あるいはスピーカー８０６を通じた再生のためにベース・コンテンツの知覚されるレベルを高めるために入力オーディオ信号８０１を向上させるために高調波転移を使う他の何らかの仮想ベース生成および処理システムであってもよい。
【００６５】
仮想ベース・レイテンシー軽減システムの諸実施形態は、多様な異なる再生装置およびオーディオ・スピーカー（トランスデューサ）を通じてデジタル・オーディオをレンダリングおよび再生するいかなるオーディオ処理システムにおいて使用されることもできる。これらのスピーカーは、多様な異なる聴取装置または再生設備品目の任意のもの、たとえばコンピュータ、テレビジョン、ステレオ・システム（家庭または映画館）、携帯電話、タブレットおよび他の携帯再生装置において具現されてもよい。スピーカーは任意の適切なサイズおよびパワー定格のものであってもよく、自立型のドライバ、スピーカー・エンクロージャー、サラウンドサウンド・システム、サウンドバー、ヘッドホン、イヤホンなどの形で提供されてもよい。スピーカーは、いかなる適切なアレイにおいて構成されてもよく、モノフォニック・ドライバ、バイノーラル・スピーカー、サラウンドサウンド・スピーカー・アレイまたはオーディオ・ドライバの他の任意の適切なアレイを含んでいてもよい。
【００６６】
本稿に記載される一つまたは複数の実施形態の諸側面は、ソフトウェア命令を実行する一つまたは複数のコンピュータまたは処理装置を含むネットワークを通じた送信のためにオーディオ信号を処理するオーディオ・システムにおいて実装されてもよい。記載される実施形態のいずれも、単独でまたは任意の組み合わせで互いと一緒に使用されてもよい。さまざまな実施形態は、本明細書の一つまたは複数の箇所で論じられるか暗に示唆されるかされていることがありうる従来技術のさまざまな欠点によって動機付けられたことがあるが、実施形態は必ずしもこれらの欠点のいずれかに対処するものではない。換言すれば、種々の実施形態は、明細書で論じていることがありうる種々の欠点に対処することがある。いくつかの実施形態は、明細書で論じていることがありうるいくつかの欠点またはたった一つの欠点に部分的に対処するだけであることがあり、いくつかの実施形態はこれらの欠点のいずれにも対処しないことがありうる。
【００６７】
本稿に記載されるシステムの諸側面は、デジタルまたはデジタイズされたオーディオ・ファイルを処理するための適切なコンピュータ・ベースの音処理ネットワーク環境において実装されうる。適応オーディオ・システムの諸部分は、コンピュータ間で伝送されるデータをバッファリングおよびルーティングするはたらきをする一つまたは複数のルータ（図示せず）を含む、任意の所望される数の個別の機械を有する一つまたは複数のネットワークを含んでいてもよい。そのようなネットワークは、さまざまな異なるネットワーク・プロトコルの上に構築されてもよく、インターネット、広域ネットワーク（WAN）、ローカル・エリア・ネットワーク（LAN）またはその任意の組み合わせであってもよい。
【００６８】
上記のコンポーネント、ブロック、プロセスまたは他の機能構成要素の一つまたは複数は、システムのプロセッサ・ベースのコンピューティング装置の実行を制御するコンピュータ・プログラムを通じて実装されてもよい。本稿に開示されるさまざまな機能は、ハードウェア、ファームウェアのいくつもある組み合わせを使っておよび／またはさまざまな機械可読もしくはコンピュータ可読媒体において具現されたデータおよび／または命令として、挙動上の、レジスタ転送、論理コンポーネントおよび／または他の特性を用いて記載されることがあることを注意しておくべきである。そのようなフォーマットされたデータおよび／または命令が具現されうるコンピュータ可読媒体は、光学式、磁気式もしくは半導体記憶媒体のようなさまざまな形の物理的（非一時的）、不揮発性記憶媒体を含むがそれに限定されない。
【００６９】
文脈がそうでないことを明確に要求するのでないかぎり、本記述および請求項を通じて、単語「有する」「含む」などは、排他的もしくは網羅的な意味ではなく包含的な意味に解釈されるものとする。すなわち、「……を含むがそれに限定されない」の意味である。単数または複数を使った単語は、それぞれ複数または単数をも含む。さらに、「本稿で」「以下で」「上記で」「下記で」および類似の意味の単語は、全体としての本願を指すのであって、本願のいかなる特定の部分を指すものでもない。単語「または」が二つ以上の項目のリストを参照して使われるとき、その単語は該単語の以下の解釈のすべてをカバーする：リスト中の項目の任意のもの、リスト中の項目のすべておよびリスト中の項目の任意の組み合わせ。
【００７０】
一つまたは複数の実装が、例として、個別的な実施形態を用いて記載されているが、一つまたは複数の実装は開示される実施形態に限定されないことは理解されるものとする。逆に、当業者に明白であろうさまざまな修正および類似の構成をカバーすることが意図されている。したがって、付属の請求項の範囲は、そのようなすべての修正および類似の構成を包含するような最も広い解釈を与えられるべきである。
【図１Ａ】
0005894347.tif 000004
【図１Ｂ】
0005894347.tif 000005
【図２】
0005894347.tif 000006
【図３Ａ】
0005894347.tif 000007
【図３Ｂ】
0005894347.tif 000008
【図３Ｃ】
0005894347.tif 000009
【図４】
0005894347.tif 000010
【図５Ａ】
0005894347.tif 000011
【図５Ｂ】
0005894347.tif 000012
【図５Ｃ】
0005894347.tif 000013
【図５Ｄ】
0005894347.tif 000014
【図６】
0005894347.tif 000015
【図７】
0005894347.tif 000016
【図８】
0005894347.tif 000017