(57)【要約】実施形態は、入力オーディオ信号を処理する方法であって、入力オーディオ信号を少なくとも二つの成分に分割する段階であって、第一の成分は入力信号包絡における高速な揺動によって特徴付けられ、第二の成分は時間的に比較的定常である、段階と；前記第二の定常な成分を脱相関回路によって処理する段階と；脱相関回路の出力を前記入力信号および／または前記第一の成分の信号と組み合わせることによって出力信号を構築する段階とを含む、方法に向けられる。
2016528546.tif 000002
【特許請求の範囲】
【請求項１】
入力オーディオ信号を処理する方法であって：
前記入力信号を、入力信号包絡における高速な揺動によって特徴付けられる過渡成分と、入力信号包絡における遅い揺動によって特徴付けられる連続成分とに分離する段階と；
前記連続成分を脱相関回路において処理して脱相関された連続信号を生成する段階と；
前記脱相関された連続信号を前記過渡成分と組み合わせて出力信号を構築する段階とを含む、
方法。
【請求項２】
前記揺動は時間に関して測られ、前記過渡成分は、前記過渡成分を前記連続成分から区別するあらかじめ定義された閾値を超える時間変動特性によって識別される、請求項１記載の方法。
【請求項３】
前記時間変動特性は、振幅、エネルギー、ラウドネスおよびスペクトル・コヒーレンスからなる群から選択される、請求項２記載の方法。
【請求項４】
前記入力オーディオ信号の包絡を推定する段階と；
前記あらかじめ定義された閾値に対する前記時間変動特性の変化について前記入力オーディオ信号の前記包絡を解析して前記過渡成分を識別する段階とをさらに含む、
請求項３記載の方法。
【請求項５】
関心対象のある種の周波数帯域を強化するまたは減衰させるために前記入力オーディオ信号を事前フィルタリングする段階および前記入力オーディオ信号の前記包絡の少なくとも一つのサブバンド包絡を推定して前記少なくとも一つのサブバンド包絡における一つまたは複数の過渡成分を検出してそれらのサブバンド包絡信号を組み合わせて広帯域連続信号および広帯域過渡信号を生成する段階のうちの少なくとも一つを実行することをさらに含む、請求項２記載の方法。
【請求項６】
前記過渡成分、前記連続成分、前記入力信号および前記脱相関された連続信号のうちの少なくとも一つに重み付け値を適用することを含み、前記重み付け値は混合利得を含む、請求項１記載の方法。
【請求項７】
前記脱相関された連続信号が、前記入力オーディオ信号の包絡および前記脱相関回路の出力に依存して、時間変化するスケーリング関数を用いてスケーリングされる、請求項１記載の方法。
【請求項８】
前記脱相関回路は、複数の全域通過遅延セクションを含む、請求項１記載の方法。
【請求項９】
前記脱相関された連続信号の包絡が前記連続成分の包絡から予測される、請求項７記載の方法。
【請求項１０】
前記連続成分および前記脱相関された連続信号の少なくとも一方をフィルタリングして、前記出力信号における周波数依存の相関を得る段階をさらに含む、請求項１記載の方法。
【請求項１１】
前記入力オーディオ信号は、空間的再生データをもつオブジェクト・ベースのオーディオ信号を含み、前記重み付け値は前記空間的再生データに依存する、請求項６記載の方法。
【請求項１２】
前記空間的再生データは：オブジェクト幅、オブジェクト・サイズ、オブジェクト相関およびオブジェクト拡散性のうちの少なくとも一つを含む、請求項１１記載の方法。
【請求項１３】
入力オーディオ信号を処理する装置であって：
前記入力信号を、入力信号包絡における高速な揺動によって特徴付けられる過渡成分と、入力信号包絡における遅い揺動によって特徴付けられる連続成分とに分離する過渡処理器と；
前記連続成分を処理して脱相関された連続信号を生成する、前記過渡処理器に結合された脱相関回路と；
前記脱相関された連続信号  過渡成分を組み合わせて出力信号を構築する、前記脱相関回路および過渡処理器に結合された出力段とを有する、
装置。
【請求項１４】
前記揺動は時間に関して測られ、前記過渡成分は、前記過渡成分を前記連続成分から区別するあらかじめ定義された閾値を超える時間変動特性によって識別され、前記時間変動特性は、振幅、エネルギー、ラウドネスおよびスペクトル・コヒーレンスからなる群から選択される、請求項１３記載の装置。
【請求項１５】
前記入力オーディオ信号の包絡を推定し、前記あらかじめ定義された閾値に対する前記時間変動特性の変化について前記入力オーディオ信号の前記包絡を解析して前記過渡成分を識別するよう構成された、前記過渡処理器に結合された包絡処理器をさらに有する、請求項１４記載の装置。
【請求項１６】
関心対象のある種の周波数帯域を強化するまたは減衰させるために前記入力オーディオ信号を事前フィルタリングする前置フィルタ段と；
前記入力オーディオ信号の前記包絡の少なくとも一つのサブバンド包絡を推定して前記少なくとも一つのサブバンド包絡における一つまたは複数の過渡信号を検出してそれらのサブバンド包絡信号を組み合わせて広帯域連続信号および広帯域過渡信号を生成するサブバンド処理器とをさらに有する、
請求項１５記載の装置。
【請求項１７】
前記過渡成分、前記連続成分、前記入力信号および前記脱相関された連続信号のうちの少なくとも一つに重み付け値を適用するよう構成された、前記出力段に付随する利得回路をさらに有しており、前記重み付け値は混合利得を含み、前記脱相関された連続信号が、前記入力オーディオ信号の包絡および前記脱相関回路の出力に依存して、時間変化するスケーリング関数を用いてスケーリングされる、請求項１３記載の装置。
【請求項１８】
前記脱相関回路は、複数の全域通過遅延セクションを含む、請求項１３記載の装置。
【請求項１９】
前記脱相関された連続信号の包絡を前記連続成分の包絡から予測するよう構成された、前記過渡処理器に結合された包絡予測器をさらに有する、請求項１３記載の装置。
【請求項２０】
前記連続成分および前記脱相関された連続信号の少なくとも一方をフィルタリングして、前記出力信号における周波数依存の相関を得るフィルタ段をさらに有する、請求項１３記載の装置。
【請求項２１】
前記入力オーディオ信号は、空間的再生データをもつオブジェクト・ベースのオーディオ信号を含み、前記重み付け値は前記空間的再生データに依存し、前記空間的再生データは：オブジェクト幅、オブジェクト・サイズ、オブジェクト相関およびオブジェクト拡散性のうちの少なくとも一つを含む、請求項１７記載の装置。
【請求項２２】
入力信号を処理する方法であって：
前記入力信号の信号包絡を解析して、前記入力信号の連続成分を、前記入力信号の過渡成分から識別する段階と；
前記連続成分を脱相関して脱相関された連続信号を生成する段階と；
前記過渡成分を出力段に渡す段階と；
前記過渡成分および前記脱相関された連続信号を前記出力段において組み合わせて出力信号を生成する段階とを含む、
方法。
【請求項２３】
ヒルベルト変換、ピーク検出プロセスまたは短期RMSプロセスのうちの一つを使って、前記入力信号の包絡を推定する段階をさらに含む、請求項２２記載の方法。
【請求項２４】
前記入力信号の異なる積分時間を用いて計算された二つの包絡推定を計算する段階と；
前記二つの包絡推定の比を使って前記過渡成分を前記連続成分から区別する段階とをさらに含む、
請求項２３記載の方法。
【請求項２５】
前記揺動は時間に関して測られ、前記過渡成分は、前記過渡成分を前記連続成分から区別するあらかじめ定義された閾値を超える時間変動特性によって識別され、さらに、前記過渡成分は入力信号包絡における高速な揺動によって特徴付けられ、連続成分は入力信号包絡における遅い揺動によって特徴付けられる、請求項２２記載の方法。
【請求項２６】
前記時間変動特性は、振幅、エネルギー、ラウドネスおよびスペクトル・コヒーレンスからなる群から選択される、請求項２５記載の方法。
【請求項２７】
前記過渡成分、前記連続成分、前記入力信号および前記脱相関された連続信号のうちの少なくとも一つに重み付け値を適用することをさらに含み、前記重み付け値は前記出力信号を生成するための混合利得を含む、請求項２５記載の方法。
【請求項２８】
前記脱相関された連続信号が、前記入力オーディオ信号の包絡および前記脱相関回路の出力に依存して、時間変化するスケーリング関数を用いてスケーリングされる、請求項２７記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
本願は2013年7月29日に出願されたスペイン特許出願第P201331160号および2013年9月30日に出願された米国仮特許出願第61/884,672号の優先権を主張するものである。各出願はここに参照によってその全体において組み込まれる。
【０００２】
技術分野
一つまたは複数の実施形態は概括的にはオーディオ信号処理に、より詳細には過渡信号についての時間的歪みを低減するとともに、オブジェクト・ベースのオーディオ処理システムおいてオーディオ・オブジェクトの知覚されるサイズを修正するために使用できる仕方でオーディオ信号を脱相関させることに関する。
【背景技術】
【０００３】
音源または音オブジェクトは、知覚される位置および知覚されるサイズもしくは幅を含む空間的属性をもつ。一般に、オブジェクトの知覚される幅は鼓膜に到達する二つの信号の両耳間相関またはコヒーレンスという数学的概念に密接に関係している。脱相関は一般に、オーディオ信号をより空間的に拡散して聞こえるようにするために使われる。したがって、オーディオ信号の相関の修正または操作は、オーディオ処理、符号化およびレンダリング用途において普通に見出される。オーディオ信号の相関またはコヒーレンスの操作は典型的には、入力信号を受けて一つまたは複数の出力信号を生成する一つまたは複数の脱相関器回路を使って実行される。脱相関器のトポロジーに依存して、出力がその入力から脱相関される、あるいは複数の出力が互いから相互に脱相関される。二つの信号の相関指標は、二つの信号の相互相関関数を計算することによって決定できる。一般に、相関指標は、相互相関関数のピークの値（しばしばコヒーレンスと称される）またはラグ（相対遅延）0における値（相関係数）である。脱相関は、継続時間Tの時間区間にわたって計算されたときに＋1より小さい規格化された相互相関係数またはコヒーレンス
【数１】
2016528546.tif 000003
をもつこととして定義される：上記の式において、x(t)、y(t)は互いに低い相関をもつようにされた信号であり、pは規格化された相互相関係数およびコヒーレンスである。コヒーレンス値は、相対遅延τにまたがる規格化された相互相関関数の最大と等価である。
【０００４】
空間的オーディオ処理では、信号脱相関は、音像の知覚に対して有意な影響をもつことがあり、指標の相関はオーディオ再生における知覚的効果の有意な予測子である。図１は、従来技術において知られている単純な脱相関器の二つの構成を示している。上の回路１００は出力信号y(t)を入力信号x(t)から脱相関する。一方、下の回路１０１は二つの相互に脱相関された出力y(t)およびx(t)を生成し、これらは共通の入力からは脱相関されていてもいなくてもよい。幅広い多様な脱相関プロセスが現行システムにおける使用のために提案されており、単純な遅延から周波数依存の遅延、ランダム位相の全域通過フィルタ、ラティス全域通過フィルタおよびそれらの組み合わせまで多様である。これらのプロセスはみな、波形を変えるなどして入力信号を有意に修正する。定常的なまたはなめらかに連続的な信号については、そのような修正は一般に問題ではない。しかしながら、インパルス的なまたは高速に変化する信号（過渡信号）については、そのような修正は望ましくない歪みにつながることがある。たとえば、過渡信号の開始に関し、脱相関によって波形を修正することは、時間的なぼけまたは同様の効果を引き起こすことがある。同様に、過渡信号の停止に際し、脱相関は、フィルタおよび付随する回路に関連する内在的な減衰時間に起因して、ポストエコーまたは残響のような効果につながることがあり、これは入力信号がレベルにおいて時間的に急峻な減少をもつときに可聴となる。このように、脱相関に関わるフィルタリング・プロセスはしばしば、劣化した過渡応答または過渡の「歯切れのよさ」（cripsness）につながる。
【０００５】
そのような望ましくない効果を克服するために、脱相関回路はしばしば、これらのアーチファクトを減衰させるために上記フィルタ構造の後のレベル調整段または他の同様の脱相関後の処理をもつ。このように、現在の脱相関回路は、入力信号自身の特性および成分に基づいて適切な量の脱相関を実行するのではなく、時間的なぼけおよび他の劣化効果を、脱相関フィルタより後で補正しようとするという点で、制限されている。したがって、そのようなシステムは、インパルスまたは過渡信号処理に関連する問題を十分に解決するものではない。現在の脱相関回路に関連する具体的な欠点は、劣化した過渡応答、ダウンミックス・アーチファクトを受けやすいことおよび相互に脱相関された出力の数に対する制限を含む。
【０００６】
劣化した過渡応答の問題に関し、現行の脱相関器のねらいは、完全な入力信号を、その内容や構造に関わりなく脱相関することである。具体的には、過渡信号（たとえば、打楽器の開始部）は実際の録音では通例、脱相関されない。一方、録音に存在するその持続部分または残響部分はしばしば脱相関される。従来技術の脱相関回路は一般に、この区別を再現することができない。よって、その出力は、不自然に聞こえることがあり、あるいは結果として劣化した過渡応答をもつことがある。
【０００７】
ダウンミックス・アーチファクトの問題に関し、脱相関プロセスの一部が入力を遅延させることに関わるという事実のため、脱相関器の出力はしばしば、ダウンミックスのためには好適ではない。ある信号をその遅延されたバージョンと加算することは、加算された周波数スペクトルにおけるピークおよびノッチの反復的な生起のため、望ましくない櫛形フィルタ・アーチファクトにつながる。ダウンミックスはオーディオ符号化器、AV受領器、増幅器などにおいて頻繁に生起するプロセスなので、この属性は脱相関回路に依拠する多くの用途において問題である。
【０００８】
相互に脱相関された出力の制限された数の問題に関し、可聴エコーおよび望ましくない時間的ぼけアーチファクトを防止するために、脱相関器において適用される全遅延はしばしば、10ないし30msのオーダーなど、かなり小さい。つまり、相互に独立した出力の数は、要求されたとしても、制限される。実際上、遅延によって構築できる、相互に有意に脱相関され、上述したダウンミックス・アーチファクトを被らない出力は、二つまたは三つのみである。
【０００９】
背景セクションにおいて論じられる主題は、単に背景セクションにおける言及の結果として従来技術であると想定されるべきではない。同様に、背景セクションにおいて言及されるまたは背景セクションの主題に関連する問題は、従来技術において以前に認識されていたと想定されるべきではない。背景セクションにおける主題は単に、種々のアプローチを表わしており、それらのアプローチ自身、発明であることもありうる。
【発明の概要】
【課題を解決するための手段】
【００１０】
実施形態は、入力オーディオ信号を、入力信号包絡〔エンベロープ〕における高速な揺動によって特徴付けられる過渡成分と、入力信号包絡における遅い揺動によって特徴付けられる連続成分とに分離し、連続成分を脱相関回路において処理して脱相関された連続信号を生成し、脱相関された連続信号を過渡成分と組み合わせて出力信号を構築することによって、入力オーディオ信号を処理する方法に向けられる。この実施形態では、揺動は時間に関して測られ、過渡成分は、過渡成分を連続成分から区別するあらかじめ定義された閾値を超える時間変動特性によって識別される。時間変動特性は、エネルギー、ラウドネスおよびスペクトル・コヒーレンスのうちの一つであってもよい。この実施形態のもとでの本方法は、入力オーディオ信号の包絡を推定し、前記あらかじめ定義された閾値に対する前記時間変動特性の変化について入力オーディオ信号の包絡を解析して過渡成分を同定することをさらに含んでいてもよい。この方法は、関心対象のある種の周波数帯域を強化または減衰させるために入力オーディオ信号を事前フィルタリングすることおよび／または入力オーディオ信号の少なくとも一つのサブバンド包絡を推定して前記少なくとも一つのサブバンド包絡における一つまたは複数の過渡成分を検出してそれらのサブバンド包絡信号を組み合わせて広帯域連続信号および広帯域過渡信号を生成することを含んでいてもよい。
【００１１】
ある実施形態では、本方法はさらに、過渡成分、連続成分、入力信号および脱相関された連続信号のうちの少なくとも一つに重み付け値を適用することを含む。ここで、重み付け値は混合利得を含む。脱相関された連続信号は、入力オーディオ信号の包絡および脱相関回路の出力に依存して、時間変化するスケーリング関数を用いてスケーリングされてもよい。脱相関回路は、複数の全域通過遅延セクションを含んでいてもよく、脱相関された連続信号の包絡は連続成分の包絡から予測されてもよい。本方法はさらに、連続成分および／または脱相関された連続信号をフィルタリングして、出力信号において周波数依存の相関を得ることを含んでいてもよい。
【００１２】
ある実施形態では、入力オーディオ信号は、空間的再生データをもつオブジェクト・ベースのオーディオ信号であってもよく、重み付け値は該空間的再生データに依存する。空間的再生データは：オブジェクト幅、オブジェクト・サイズ、オブジェクト相関およびオブジェクト拡散性のうちの少なくとも一つを含んでいてもよい。
【００１３】
上記の入力オーディオ信号を処理する方法についての諸実施形態を実装するシステムまたは装置およびコンピュータ可読媒体についてのいくつかのさらなる実施形態が記述される。
【図面の簡単な説明】
【００１４】
以下の図面において、同様の参照符号は同様の要素を指すために使われる。以下の図面はさまざまな例を描いているが、一つまたは複数の実装は図面に描かれている例に限定されるものではない。
【図１】従来技術において知られている脱相関回路の例示的構成を示す図である。
【図２】ある実施形態のもとでの、過渡処理に基づく脱相関器回路を示すブロック図である。
【図３】ある実施形態のもとでの、過渡処理に基づく脱相関システムにおいて使うための脱相関器回路を示すブロック図である。
【図４】ある実施形態のもとでの、出力包絡予測および出力レベル調整を実行する脱相関器の後処理回路を示すブロック図である。
【図５】ある実施形態のもとでの、包絡予測器回路を含む脱相関システムを示す図である。
【図６】ある実施形態のもとでの、過渡に基づく脱相関システムと一緒に使うためのある種の前処理機能を示す図である。
【図７】ある実施形態のもとでの、過渡処理に基づく脱相関器システムにおいてオーディオ信号を処理する方法を示すブロック図である。
【発明を実施するための形態】
【００１５】
脱相関フィルタリングの適用前に入力オーディオ信号を処理する過渡処理器のためのシステムおよび方法が記述される。過渡処理器は、入力信号の特性および内容を解析し、入力信号の定常または連続成分から過渡成分を分離する。過渡処理器は、入力信号の過渡またはインパルス成分を抽出し、連続信号を脱相関回路に送り、該脱相関回路において連続信号はその後、所定の脱相関機能に従って脱相関され、一方、入力信号の過渡成分は脱相関されないままである。出力段は、脱相関された連続信号を抽出された過渡成分と組み合わせて、出力信号を形成する。このようにして、入力信号は、何らかの脱相関フィルタリングがされる前に、適切に解析され、分解される。それにより適正な脱相関が入力信号の適切な成分に適用されることができ、過渡信号の脱相関に起因する歪みが防止できる。
【００１６】
本稿に記載される一つまたは複数の実施形態の諸側面は、ソフトウェア命令を実行する一つまたは複数のコンピュータまたは処理装置を含むミキシング、レンダリングおよび再生システムにおいて源オーディオ情報を処理するオーディオまたはオーディオビジュアル（AV）システムにおいて実装されてもよい。記述される実施形態はいずれも、単独でまたは任意の組み合わせにおいて互いと一緒に、使用されうる。本明細書の一つまたは複数の箇所で議論または暗示されることがありうるさまざまな実施形態は従来技術のさまざまな欠点によって動機付けられていることがありうるが、それらの実施形態は必ずしもこれらの欠点のいずれかに対処するものではない。つまり、種々の実施形態は、本明細書において論じられることがある種々の欠点に対処してもよい。いくつかの実施形態は、本明細書において論じられることがあるいくつかの欠点またはただ一つの欠点に部分的に対処するのみであることがありうる。いくつかの実施形態は、これらの欠点のいずれにも対処しないことがありうる。
【００１７】
図２は、ある実施形態のもとでの、過渡処理器に基づく脱相関器回路を示すブロック図である。回路２００において示されるように、入力信号x(t)が過渡処理器２０２に入力される。入力信号x(t)は過渡処理器によって解析される。過渡処理器は、信号の過渡成分を、信号の連続成分に対して識別する。過渡処理器２０２は、入力x(t)の過渡またはインパルス成分を抽出して中間信号s1(t)および過渡内容（補助）信号s2(t)を生成する。中間信号s1(t)は連続信号内容を含み、これは次いで脱相関器２０４によって処理されて出力y(t)を生成する。過渡内容信号s2(t)はいかなる脱相関も適用されることなくそのまま出力段２０６に渡され、よってインパルス脱相関に起因する時間的なぼけや他の歪みは生じない。出力段２０６は過渡成分s2(t)および脱相関器出力y(t)を組み合わせて出力y'(t)を生成する。出力y'(t)は、脱相関された連続信号成分および脱相関されていない過渡成分の組み合わせを含む。回路２００は、何らかの脱相関フィルタを適用する前に過渡処理器によって入力信号を処理する。これは、脱相関後に信号を補正処理する現行の脱相関器回路と対照的である。
【００１８】
図２に示されるように、信号の過渡成分s2(t)は連続成分s1(t)から分離され、いかなる脱相関も実行されることなくそのまま出力段に送られる。あるいはまた、過渡成分s2(t)も、連続信号脱相関器に比べ、より少ない脱相関を適用するまたは異なる脱相関プロセスを適用する別個の脱相関回路によって脱相関されてもよい。
【００１９】
〈過渡処理器〉
図２に示されるように、入力信号x(t)は過渡処理器２０２によって処理されて、中間信号s1(t)および補助信号s2(t)を与える。これらのうち、s1(t)のみが脱相関器２０４によって処理されて脱相関された出力y(t)を与える。信号s1(t)は、入力信号x(t)の連続的な諸セグメントに関連付けられているまたはそれから構成される。一方、抽出される信号s2(t)は、信号レベルにおける高速なまたは大きな揺動に関連付けられているx(t)の信号セグメントまたは成分、すなわち信号の過渡成分を表わす。過渡信号は一般に、非常に短い時間期間において信号レベルを変える信号として定義され、振幅、エネルギー、ラウドネスまたは他の関連する特性における有意な変化によって特徴付けられてもよい。ある時間（たとえばミリ秒単位）および／またはレベル（たとえばdB単位）など、これらの特性の一つまたは複数が、入力信号における過渡成分の存在を検出するために、システムによって定義されていてもよい。
【００２０】
ある実施形態では、図２の過渡処理器２０２は、入力信号レベルにおける突然の増大または減少があればそれに応答する過渡検出器を有することができる。あるいはまた、過渡処理器２０２は、一つまたは複数の過渡成分を含む信号セグメントを識別するセグメンテーション・アルゴリズムまたは連続的な信号セグメントから過渡的な信号を分離する過渡抽出器または任意の類似の過渡処理方法において具現されてもよい。
【００２１】
ある実施形態では、過渡処理は、入力信号x(t)の包絡e1(t)を推定する包絡推定関数e1(t)＝F(x(t))を含む。ここで、F(.)が包絡推定関数である。そのような関数はヒルベルト変換、ピーク検出または次式に従う短期RMS推定を含むことができる：
【数２】
2016528546.tif 000004
上記の式において、w(t)は窓関数である。一般的な窓関数は次のように指数関数的な減衰をもつ。
【００２２】
【数３】
2016528546.tif 000005
上記の式において、ε(t)は階段関数〔ステップ関数〕であり、cは、エネルギーまたはRMS値を計算する有効継続時間または減衰を決定する係数である。代替的であり可能性としてはより効率的な消費包絡抽出器は
【数４】
2016528546.tif 000006
によって与えられうる。
【００２３】
いくつかの実施形態では、信号x(t)は、たとえば高域通過フィルタを使うことによって、関心対象のある種の諸周波数領域を増強または減衰させるために、包絡を計算する前にフィルタリングされる。
【００２４】
ある実施形態では、減衰係数ciの相違に反映される複数の異なる積分継続期間を使って、二つ以上の包絡が計算される：
【数５】
2016528546.tif 000007
さらにもう一つの実施形態では、包絡を計算するために、漏れのあるピーク・ホールド・アルゴリズムが使われる：
e(t)＝f(x(t))＝max(x(t−τ)ε(τ)exp(−cτ))
さらにもう一つの実施形態では、包絡は信号の絶対値（すなわち振幅）から計算される：
e(t)＝abs(x(t))
。
【００２５】
過渡処理のために、入力信号x(t)におけるエネルギー・レベルの強い変化を示す突然の変化について、包絡e(t)が解析される。たとえば、e(t)があるあらかじめ定義された量だけ（絶対値においてまたはその前の一つまたは複数の値に比して）増大する場合、その増大に関連付けられた信号は過渡成分と指定されてもよい。ある実施形態では、6dB以上の変化が信号の過渡成分としての識別をトリガーしてもよい。しかしながら、システムおよび用途の要求および制約条件に依存して、他の値が使用されてもよい。
【００２６】
あるいはまた、ある実施形態では、信号が過渡成分を含んでいる確率を評価する、過渡処理器２０２において利用される軟判定関数が適用されてもよい。ある好適な関数は、異なる積分時間、たとえばそれぞれ5および100msを用いて計算された二つの包絡推定e1(t)とe2(t)の比である。そのような場合、信号x(t)は信号s1(t)とs2(t)に分解されることができる。
【００２７】
s1(f,t)＝x(f,t)min（1，e2(f,t)／e1(f,t)）
s2(f,t)＝x(f,t)−s1(f,t)
。
【００２８】
これは
s2(t)＝x(t)（1−min（1，e2(t)／e1(t)））
と等価である。
【００２９】
この実施形態において、信号s1(t)およびs2(t)は入力信号x(t)の、x(t)の包絡に依存する時間変化する利得関数a(t)との積として定式化できる：
s1(t)＝x(t)a1(t)
s2(t)＝x(t)a2(t)
ここで、
a1(t)＝min（1，e2(t)／e1(t)））
a2(t)=1−min（1，e2(t)／e1(t)）
である。
【００３０】
信号x(t)の突然の増大の場合、包絡e1(t)は、包絡e2(t)よりx(t)の変化に際してより高速に反応する。よって、過渡成分はe2(t)とe1(t)の商だけ減衰させられることになる。その結果、過渡成分は、s1(t)には含まれないまたは部分的にしか含まれない。
【００３１】
もう一つの実施形態では、信号s2(t)は、「過渡」と分類された諸信号セグメントを含んでいてもよい。一方、信号s1(t)は他のすべてのセグメントを含んでいてもよい。オーディオ信号の過渡および連続信号フレームへのそのようなセグメンテーションは、多くの不可逆オーディオ圧縮アルゴリズムの一部である。
【００３２】
ある代替的な実施形態では、過渡処理器２０２は、包絡処理とは異なるサブバンド過渡処理を実行してもよい。上記の方法は広帯域包絡e(t)を利用する。この代替的な実施形態では、各サブバンドにおける過渡成分を検出するために、サブバンド包絡e(f,t)も推定されることができる。ここで、fはサブバンド・インデックスを表わす。オーディオ信号は一般に異なる複数の源の混合なので、諸サブバンドにおいて過渡成分を検出することは、各源の過渡成分または開始を検出するという恩恵をもちうる。そのことは、サブバンドに基づく脱相関技術を潜在的に向上させることもありうる。
【００３３】
サブバンド過渡成分は、上記と同様の仕方で、たとえば次の式に示されるように推定できる。
【００３４】
s1(f,t)＝x(f,t)min（1，e2(f,t)／e1(f,t)）
s2(f,t)＝x(f,t)−s1(f,t)
。
【００３５】
上記の式において、x(f,t)はサブバンド・オーディオ信号であり、s2(f,t)はサブバンド「過渡」信号を含み、s1(f,t)はサブバンド「定常」信号を含む。
【００３６】
すべてのサブバンド信号を一緒に組み合わせると、広帯域「定常」s1(t)および「過渡」信号s2(t)が次のように得られる。
【００３７】
s1(t)＝Σf  s1(f,t)
s2(t)＝Σf  s2(f,t)
。
【００３８】
ある種の場合には、過渡成分はスペクトル・コヒーレンスから検出できる。こうして、ある代替的な実施形態では、過渡処理器２０２はスペクトル・コヒーレンスに基づく過渡処理を実行してもよい。この実施形態については、過渡処理器２０２は、オーディオ信号の突然のエネルギー変化を検出するエネルギー包絡e(t)を比較する比較器を含む。この実施形態は、スペクトル・コヒーレンスが、どこで新しいオーディオ・イベントまたはオーディオ源が現われるかを検出するために、スペクトル変化を検出できるという事実を使うものである。
【００３９】
時刻tにおけるオーディオ信号のスペクトル・コヒーレンスc(t)は、ある実施形態では、時刻tの前後での二つの構成要素となるフレーム／窓の間のスペクトル類似性によって、たとえば次式によって測定できる。
【００４０】
【数６】
2016528546.tif 000008
上記の式において、Xl(f,t)およびXr(f,t)は時刻tにおける左および右のフレーム／窓のスペクトルである。スペクトル・コヒーレンスc(t)は、長期的なコヒーレンスを得るために長い窓において（たとえば移動平均によって）さらに平滑化されることができる。一般に、小さなコヒーレンスはスペクトル変化を示しうる。たとえば、小さなコヒーレンスはスペクトル変化を示しうる。たとえば、c(t)があるあらかじめ定義された量だけ（絶対値においてまたはその前の一つまたは複数の値に比して）減少する場合、その減少に関連付けられた信号は過渡と指定されうる。
【００４１】
あるいはまた、上記と同様の軟判定関数が適用されてもよい。異なる窓サイズをもって二つのコヒーレンス推定c1(t)およびc2(t)が計算または平滑化されることができる。ここで、コヒーレンスc1(t)は、コヒーレンスc2(t)よりx(t)の変化に際してより高速に反応する。同様に、信号x(t)は信号s1(t)とs2(t)に次のように分解できる：
s1(t)＝x(t)min（1，c1(t)／c2(t)）
s2(t)＝x(t)−s1(t)
。
【００４２】
上記の公式において、過渡成分を減衰させるために、c2(t)をc1(t)で割るのではなく、c1(t)とc2(t)の商が使われていることを注意しておくべきである。
【００４３】
上記で呈示したコヒーレンスは広帯域スペクトルから計算されるものの、この場合に上記のようなサブバンド方法も適用できることを注意しておくべきである。
【００４４】
過渡処理は、ラウドネス領域で実行されることもできる。この実施形態は、信号のラウドネスの突然の変化が信号における過渡成分の存在を示すことができるという事実を活用する。こうして、過渡処理器は、入力信号x(t)のラウドネスの変化を検出するよう構成されることができる。この実施形態では、上記の実施形態は、ラウドネス領域において信号を処理する関数を含むように拡張されることができる。ここで、エネルギーや振幅ではなくラウドネスが適用される。この実施形態について、一般に、ラウドネスはエネルギーまたは振幅の非線形変換である。
【００４５】
〈脱相関〉
図２に示されるように、回路２００は、連続信号s2(t)を脱相関する脱相関器２０４を含んでいる。ある実施形態では、脱相関器２０４は、次式に示されるような、信号s1(t)を脱相関フィルタ・インパルス応答d(t)と畳み込みするフィルタ演算として実装される：
【数７】
2016528546.tif 000009
ある実施形態では、脱相関器は、いくつかの縦続式の全域通過遅延セクションを有する脱相関フィルタを含む。図３は、ある実施形態のもとでの、過渡処理器に基づく脱相関システムにおける脱相関器において使用できる、ある全域通過セクションのデジタル・フィルタ表現を示している。図３に示されるように、フィルタ回路３００はMサンプルの遅延およびフィードフォワードおよびフィードバック経路に適用される係数gからなる。フィルタ３００のいくつかのセクションが組み合わされて、この縦続式の回路から帰結する平坦な大きさスペクトルをもつ擬似ランダムなインパルス応答を構築してもよい。セクションの数は、実装ならびに特定の信号処理用途の要求および制約条件に依存して変わることができる。図３に示されるような縦続式の全域通過遅延セクションを使うことの恩恵は、それらの遅延および／または係数をランダム化することによって、櫛形フィルタ・アーチファクトを生成することなく混合できる相互に無相関な出力を生成する複数の脱相関器が、かなり簡単に構築されることができるということである。
【００４６】
図３は脱相関器回路２００について使用されうるフィルタ回路の特定の型を示しているが、脱相関器回路の他の型または変形が使用されてもよい。
【００４７】
ある種の実施形態では、ある種の脱相関器の後処理機能を実行するために、一つまたは複数のコンポーネントが設けられてもよい。たとえば、ある種の実際的な場合において、入力信号の包絡が急減する場合に脱相関既出力信号を除去するまたは減衰させるために、脱相関器後減衰機能を適用することが有用であることがある。ある実施形態では、過渡処理器に基づく脱相関システムは、脱相関器の入力信号の時間的包絡を推定し、その後、その入力包絡に密接に合致するよう脱相関器の出力信号を修正する、一つまたは複数の高度な時間的包絡整形ツールを含む。これは、過渡信号の急激な終わりをフィルタリングする脱相関によって引き起こされるポストエコー・アーチファクトまたはリンギングに関わる問題を軽減する助けとなる。
【００４８】
全域通過遅延セクションの縦続の場合、各全域通過遅延セクションの出力の包絡eap,out[n]は、その入力の包絡eap,in[n]から次式によって予測できる：
eap,out[n]＝eap,out[n]c＋(1−c)eap,in[n]
。
【００４９】
上記の式において、係数cは遅延Mおよび全域通過遅延セクションの係数gにc＝g1/Mのように関係している。この定式化は、上記の出力包絡近似関数を縦続させることによって、全域通過遅延セクションの縦続の包絡の推定を許容する。脱相関器出力信号は、その後、次式に示されるように、全域通過遅延縦続の入力および出力包絡の商を乗算される：
y'[n]＝y[n]min（1，eap,in[n]/eap,out[n])
。
【００５０】
図４は、ある実施形態のもとでの、出力包絡予測および出力レベル調整実行する脱相関器の後処理回路を示すブロック図である。図４に示されるように、回路４００は、入力信号s1(t)を受け入れる脱相関器４０２と、包絡入力ein(t)を受け入れる包絡予測コンポーネント４０４とを含む。それぞれの出力y(t)およびeout(t)は次いで図のように組み合わされて出力y'(t)を生成する。
【００５１】
包絡予測器４０４は、入力信号x(t)から過渡処理器２０２によって生成されるein(t)の入力包絡を与えられて、y(t)の包絡を推定する。包絡入力ein(t)はs1(t)信号の包絡であり、上記で与えた式によって与えられるe1(t)およびe2(t)包絡推定の組み合わせである：
s1(t)＝x(t)min（1，e1(t)/e2(t)）
。
【００５２】
〈出力信号構築〉
ある実施形態では、脱相関システムは、脱相関器の出力を、過渡処理器によって生成された入力信号の過渡成分とともに処理して出力信号y'(t)を形成する出力回路２０６を含む。そのような出力回路は、包絡予測器回路４００との関連で使用されることもできる。図５は、ある実施形態のもとでの、図２の脱相関システム２００を、包絡予測器回路を含むよう修正したものを示している。図５の回路５００に示されるように、包絡予測器コンポーネント４０４は、脱相関器回路２０４と組み合わされ、出力コンポーネント２０６は、包絡ein(t)、eout(t)および脱相関器出力信号y(t)を図４の回路４００に従って処理する組み合わせ回路を含む。この出力段は、出力y'(t)を生成するために過渡信号成分s1(t)をも処理する。
【００５３】
ある実施形態では、出力コンポーネント２０６は、信号x(t)、s1(t)、s2(t)およびy'(t)を処理して、可変な相関または知覚される空間的幅をもつ二つ以上の信号を構築する。たとえば、出力信号のステレオ対l(t)、r(t)が：
l(t)＝x(t)＋s2(t)＋y'(t)
r(t)＝x(t)＋s2(t)−y'(t)
を使って構築されてもよい。
【００５４】
補助信号s2(t)は、脱相関器入力s1(t)から除外された入力信号x(t)の信号セグメントについての補償を保証する。他の実施形態では、次のように一組の出力信号zr(t)を構築するために、複数の脱相関器信号y'q(t)が使用されてもよい：
zr(t)＝Pr,q,1x(t)＋Pr,q,2s2(t)＋Pr,q,3y'q(t)
。
【００５５】
上記の式において、Pr,q,x値は出力混合利得または重みを表わす。図５に示されるように、出力コンポーネント２０６は、適切な利得または重み値を適用する利得段５０４を含む。ある実施形態では、利得段５０４は、出力信号における周波数依存の相関を得るために出力混合利得を適用するフィルタバンク回路として実装される。たとえば、単純な相補的なシェルビングフィルターがx(t)、s2(t)および／またはy'q(t)に適用されて、各信号の出力信号zr(t)に対する周波数依存の寄与を生成してもよい。
【００５６】
利得段５０４は、信号処理システムの特定の実装に関連付けられた具体的な特性について補償するよう構成されていてもよい。たとえば、y'q(t)に比べたx(t)の相対寄与が非常に低い周波数（たとえば約500Hzより下）においてより大きくなりうる場合に、本回路は、現実の環境においては拡散音響場の結果として鼓膜に到達する信号の相関が高周波数より低周波数においてより高い相関を与えるという効果をシミュレートするよう構成されうる。もう一つの例示的な場合では、y'q(t)に比べたx(t)の相対寄与は、約2kHzより上の周波数ではより小さくなりうる。人間は一般に、2kHzより上では相関の変化に、より低い周波数ほど敏感ではないからである。こうして、本回路は、この効果についても補償するようしかるべく構成されることができる。
【００５７】
いくつかの実施形態では、s2(t)はスケール関数a2(t)を使ったx(t)のスケーリングされたバージョンであってもよく、よってその場合、以下の定式化は上記と等価である：
zr(t)＝x(t)（Pr,q,1＋Pr,q,2a2(t)）＋Pr,q,3y'q(t)
または
zr(t)＝x(t)Qx(t)＋y'q(t)Qq(t)
。
【００５８】
つまり、出力信号zr(t)は、重みQx(t)がx(t)の包絡に依存する、入力信号x(t)と脱相関器出力y'q(t)の線形結合として定式化できる。
【００５９】
〈オブジェクト・ベース・オーディオへの応用〉
ある実施形態では、過渡に基づく脱相関システムは、オブジェクト・ベース・オーディオ処理システムとの関連で使われてもよい。オブジェクト・ベース・オーディオとは、オーディオ信号および関連する空間的再生情報を含むオーディオ・オブジェクトを利用するオーディオのオーサリング、伝送および再生のアプローチをいう。この空間的情報は、空間における所望されるオブジェクト位置およびオブジェクト・サイズまたは知覚される幅を含みうる。オブジェクト・サイズまたは幅は、スカラー・パラメータ（たとえば、最小および最大オブジェクト・サイズを示す0ないし1の範囲）によって、あるいは逆にチャネル間相互相関（最大サイズについての0から最小サイズについての＋1の範囲）を指定することによって表現されることができる。さらに、相関およびオブジェクト・サイズのいかなる組み合わせがメタデータに含められてもよい。たとえば、オブジェクト・サイズは、あるオブジェクトを再生するために、諸出力信号を横断しての諸信号のエネルギー分布、たとえば各ラウドスピーカーのレベルを制御することができる。オブジェクト相関は、一つまたは複数の出力対の間の相互相関を制御し、よって知覚される空間的拡散性に影響しうる。この場合、オブジェクトのサイズはメタデータ定義として指定されてもよく、このサイズ情報が、信号のアレイを横断した音の分布を計算するために使われる。この場合、脱相関システムは、このオブジェクトの連続信号成分の空間的拡散性を提供し、過渡成分の脱相関を制限するまたは妨げる。
【００６０】
一般に、ラウドスピーカー・インデックスrについてのラウドスピーカー信号zr(t)は入力信号x(t)、補助信号s2(t)および一つまたは複数の脱相関回路の出力y'q(t)の線形結合によって次のように構築される：
zr(t)＝Pr,q,1x(t)＋Pr,q,2s2(t)＋Pr,q,3y'q(t)
。
【００６１】
定常的な入力信号の場合、s2(t)は小さいか、さらには0であるであろう。その場合、信号対z1、z2の間の相関pは次式に従って設定されることができる：
z1(t)＝cos(α＋β)x(t)＋sin(α＋β)y1(t)
z2(t)＝cos(α−β)x(t)＋sin(α−β)y1(t)
。
【００６２】
上記の式において、αは自由に選ぶ角であり、βは所望される相関ρに依存し、β＝0.5arccos(ρ)によって与えられる。
【００６３】
あるいはまた、次の定式化が使われてもよい。
【００６４】
【数８】
2016528546.tif 000010
信号s2(t)が0でないときは、次式が適用できる。
【００６５】
【数９】
2016528546.tif 000011
上記の式において、信号z1、z2は、所望されるオブジェクト・サイズに依存してあるレベル分布に従うために、その後、スケーリングを受けてもよい。この実施形態について、脱相関回路２０４の出力y(t)は、入力信号x(t)の包絡および脱相関回路の出力に依存して、時間変化するスケーリング関数を用いてスケーリングされる。
【００６６】
ある実施形態では、過渡に基づく脱相関システムは、入力を前記脱相関器回路への入力を修正する、前記脱相関フィルタの前に適用される一つまたは複数の機能プロセスを含んでいてもよい。図６に示されるように、回路６００は一つまたは複数の前処理器を含む前処理段６０２を含む。図示した例については、前処理段６０２は、周囲（ambiance）処理器６０６およびダイアログ処理器６０２を、前記過渡処理器６０４とともに含む。これらの処理器は、個々にまたは合同して、脱相関器の前に適用されることができる。これらは、図６に示されるように同じ処理ブロック内の機能コンポーネントとして設けられてもよいし、あるいは過渡処理器６０４の前または後に機能を実行する個々のコンポーネントとして設けられてもよい。
【００６７】
ある実施形態では、周囲処理器６０６は、直接信号s2(t)から周囲信号s1(t)を抽出または推定し、周囲信号のみが脱相関器６１０によって処理される。周囲は通例、没入的なまたは包み込むような経験を高めることにおいて最も重要な成分だからである。
【００６８】
ダイアログ処理器６０８は、ダイアログ信号s2(t)を他の信号s1(t)から抽出または推定し、他の（ダイアログでない）信号のみが脱相関器６１０によって処理される。脱相関器アルゴリズムは、ダイアログの了解性にマイナスの影響を与えることがありうるからである。同様に、周囲処理器６０４は入力信号x(t)を直接成分および周囲成分に分離してもよい。周囲信号は脱相関にかけられてもよく、一方、ドライなまたは直接的な成分はs2(t)に送られてもよい。信号内の種々の型の信号または種々の成分を受け入れて適切な信号成分に脱相関を選択的に適用するために、他の同様の前処理機能が設けられてもよい。たとえば、適切な量の脱相関を適用してフィルタリング・プロセスに関連する歪みがあったとしても最小化するために、入力信号x(t)を解析してある種の定義された内容種別を抽出する内容解析ブロック（図示せず）も設けられてもよい。
【００６９】
図７は、ある実施形態のもとでの、過渡処理に基づく脱相関システムにおけるオーディオ信号の処理方法を示している。図７のプロセスは、入力信号の過渡的な（速く変化する）成分を、入力信号の連続的な（ゆっくり変化する）または定常的な成分から分離する（７０４）。連続的な信号成分は次いで脱相関される（７０６）。分離段階に先立って、ブロック７０２において示されるように、プロセスは、任意的に、ブロック７０６において適切な信号成分を脱相関器に送り、それにより純粋に過渡的／連続的な特性に基づくもの以外の信号の成分がしかるべく脱相関されたりされなかったりするようにするために、内容または特性（たとえば周囲、ダイアログなど）に基づいて入力信号を前処理してもよい。ブロック７０８に示されるように、脱相関された信号は、過渡成分と組み合わされて、出力信号を形成し（７０８）、この出力信号に適切な利得またはスケーリング因子が適用されて最終的な出力を生成してもよい（７１２）。プロセスは、ポストエコー歪みを最小化するために脱相関既出力を減衰させる任意的な包絡予測段階７１０をも、脱相関器の後処理段階として適用してもよい。ある実施形態では、図７の方法によって処理される入力信号は、オーディオ信号に関連付けられたメタデータとしてエンコードされる空間的キューを含むオブジェクト・ベース・オーディオ・システムを含んでいてもよい。
【００７０】
本稿に記載されるシステムの諸側面は、デジタルまたはデジタル化されたオーディオ・ファイルを処理するための適切なコンピュータ・ベースの音処理ネットワーク環境において実装されてもよい。適応オーディオ・システムの諸部分は、コンピュータ間で伝送されるデータをバッファリングおよびルーティングするはたらきをする一つまたは複数のルーター（図示せず）を含め、任意の所望される数の個別の機械を有する一つまたは複数のネットワークを含んでいてもよい。そのようなネットワークは、さまざまな異なるネットワーク・プロトコル上に構築されてもよく、インターネット、広域ネットワーク（WAN）、ローカル・エリア・ネットワーク（LAN）またはそれらの任意の組み合わせであってもよい。ネットワークがインターネットを含むある実施形態では、一つまたは複数の機械はウェブ・ブラウザー・プログラムを通じてインターネットにアクセスするよう構成されていてもよい。
【００７１】
上記のコンポーネント、ブロック、プロセスまたは他の機能要素の一つまたは複数は、本システムのプロセッサ・ベースのコンピューティング装置を制御するコンピュータ・プログラムを通じて実装されてもよい。本稿に開示されるさまざまな機能は、その挙動、レジスタ転送、論理コンポーネントおよび／または他の特性に関して、いくつでもあるハードウェア、ファームウェアおよび／またはさまざまな機械可読もしくはコンピュータ可読媒体において具現されたデータおよび／または命令を使って記述されうる。そのようなフォーマットされたデータおよび／または命令が具現されうるコンピュータ可読媒体は、光学式、磁気式または半導体式の記憶媒体などさまざまな形の物理的（非一時的）、不揮発性記憶媒体を含むがそれに限られない。
【００７２】
文脈が明瞭にそうでないことを要求するのでない限り、本稿および請求項を通じて、単語「有する」「含む」などは、排他的または網羅的な意味ではなく、包含的な意味に解釈される。すなわち、「含むがそれに限られない」の意味である。単数または複数を使った単語はそれぞれ複数または単数をも含む。さらに、単語「本稿では」「ここで」「上記」「下記」ならびに同様の含意の単語は本願全体を指すのであって、本願のいかなる特定の部分を指すのでもない。単語「または」が二つ以上の項目のリストを参照して使われるときは、その単語は、その単語の次の解釈のすべてをカバーする：リスト中の項目の任意のもの、リスト中の項目の全部およびリスト中の項目の任意の組み合わせ。
【００７３】
一つまたは複数の実装が例として、個別的な実施形態に関して記述されてきたが、一つまたは複数の実装は開示される実施形態に限定されるものではないことは理解される。逆に、当業者には明白であるようなさまざまな修正および同様の構成をカバーすることが意図されている。したがって、付属の請求項の範囲は、そのような修正および同様の構成のすべてを包含するものとして最も広い解釈を与えられるべきである。
【図１】
2016528546.tif 000012
【図２】
2016528546.tif 000013
【図３】
2016528546.tif 000014
【図４】
2016528546.tif 000015
【図５】
2016528546.tif 000016
【図６】
2016528546.tif 000017
【図７】
2016528546.tif 000018
【国際調査報告】
2016528546.tif 000019
2016528546.tif 000020
2016528546.tif 000021