(57)【特許請求の範囲】
【請求項１】
音声信号を処理するように構成されたラウドネスコントロールシステムであって、
前記音声信号の短期的なラウドネス推定を生成するように構成されたラウドネス測定モジュールと、
前記音声信号がコンテンツ又は雑音である可能性が高いかどうかを示すコンテンツ対雑音分類を生成するように構成された雑音検出モジュールと、
前記コンテンツ対雑音分類に基づいて少なくとも１つの平滑化係数を調整し、前記短期的なラウドネス推定に基づいて、前記少なくとも１つの平滑化係数を使用して前記音声信号の長期的なラウドネス推定を生成するように構成された時間平滑化モジュールと、
前記長期的なラウドネス推定に基づいて、時間的に変化する利得を前記音声信号に適用するように構成された利得補正モジュールと、を備えるラウドネスコントロールシステム。
【請求項２】
前記雑音検出モジュールは、周波数領域雑音検出を使用して前記コンテンツ対雑音分類を生成するように構成される、請求項１に記載のラウドネスコントロールシステム。
【請求項３】
前記雑音検出モジュールは、時間領域雑音検出を使用して前記コンテンツ対雑音分類を生成するように構成される、請求項１に記載のラウドネスコントロールシステム。
【請求項４】
前記少なくとも１つの平滑化係数は、前記利得補正モジュールが利得レベルを高くすることができる速度を制御するリリース平滑化係数を含む、請求項１に記載のラウドネスコントロールシステム。
【請求項５】
ラウドネス低下検出値を生成するように構成されたラウドネス低下検出モジュールをさらに備え、
前記時間平滑化モジュールは、前記ラウドネス低下検出値に基づいて前記少なくとも１つの平滑化係数を調整するようにさらに構成される、請求項１に記載のラウドネスコントロールシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、ラウドネスコントロールシステム（ｌｏｕｄｎｅｓｓ  ｃｏｎｔｒｏｌ  ｓｙｓｔｅｍｓ）に関する。
【背景技術】
【０００２】
関連出願の相互参照
本出願は、参照することにより本明細書に援用されている、２０１２年７月１２日に出願した米国特許仮出願第６１／６７０，９９１号明細書及び２０１２年７月１２日に出願した米国特許仮出願第６１／６７１，００５号明細書の利益を主張するものである。
【０００３】
ラウドネスコントロールシステムは、ラウドネスレベルが変化する入力音声信号から均一なラウドネスレベルを有する出力音声信号を生成するように設計され得る。これらのシステムは、音声ブロードキャストチェーン（ａｕｄｉｏ  ｂｒｏａｄｃａｓｔ  ｃｈａｉｎｓ）などのアプリケーション及びラウドネスレベルが変化する複数のコンテンツソース（ｃｏｎｔｅｎｔ  ｓｏｕｒｃｅｓ）が利用可能な音声再生デバイスにおいて使用され得る。ラウドネスコントロールシステムの例示的な目標は、均一な平均ラウドネスレベルを有する出力信号を自動的に供給し、リスナーが再生デバイス側のボリュームコントロールを常時調整する必要をなくすことである。
【０００４】
ラウドネスコントロールシステムに関係しているのは、自動利得制御（ＡＧＣ）及びダイナミックレンジ制御（ＤＲＣ）システムである。ＡＧＣシステムは、現代のラウドネスコントロールシステムの先駆けとなるもので、通信及び放送アプリケーションにおいて長い歴史を有し、初期の頃の多くの設計はアナログ回路として実装されていた。ＡＧＣシステムは、入力信号に時間的に変化する利得信号を乗算することによって機能するものであり、この利得信号は、出力信号の客観的尺度が所定の目標レベルに正規化されるように制御される。例えば二乗平均平方根（ＲＭＳ）、ピーク、振幅、又はエネルギー尺度などの客観的尺度が使用され得る。既存のＡＧＣ設計の短所の１つは、出力信号の知覚ラウドネスが予測不可能なままとなり得ることである。これは、知覚ラウドネスがＲＭＳ、ピーク、振幅、又はエネルギー準位などの客観的尺度とおおまかにしか相関しない主観的尺度であるという心理音響的な現象に起因する。そのためＡＧＣは、出力信号のＲＭＳ値を適切に制御できるが、必ずしも知覚ラウドネスが均一であるという結果をもたらさない。
【０００５】
ＤＲＣシステムも、ラウドネスコントロールシステムに関係するが、目標はわずかに異なる。ＤＲＣシステムでは、信号の長期的な平均レベルが既に期待レベルに正規化されている前提で、短期的なダイナミックスの修正だけを試みる。ＤＲＣシステムは、音の大きい事象が減衰され、音の静かな事象が増幅されるようにダイナミックスを圧縮することができる。これは、短期的な信号ダイナミックスを保ちながら信号の平均ラウドネスレベルを正規化するラウドネスコントロールシステムの目標と異なる。
【０００６】
現代のラウドネスコントロールシステムでは、心理音響学及びラウドネス知覚の分野からの知見を組み込むことによって、ＡＧＣ及びＤＲＣ設計への改善を試みる。ラウドネスコントロールシステムは、入力信号の知覚ラウドネスを推定することと、出力信号の平均ラウドネスレベルが所定の目標ラウドネスレベルに正規化されるように、時間的に変化する利得を制限することによって動作し得る。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
既存のラウドネスコントロールシステムの問題点は、所望のコンテンツと不要な雑音とが区別されず、所定の閾値を超える全ての低レベル音声コンテンツが増幅されるという点である。既存のラウドネスコントロールシステムで共通の問題となる信号は、例えば中程度の背景雑音を含む会話である。会話中に長い休止がある場合、ラウドネスコントロールシステムは、背景雑音の増幅を開始することがある。その結果、Ｓ／Ｎ比（信号対雑音比）が下がることとなり、リスナーによっては不愉快に感じることがある。ラウドネスコントロールシステムが雑音レベルの相対的増幅を回避し、これによって入力信号のＳ／Ｎ比を維持することが望ましい。
【０００８】
ラウドネスコントロールシステムにおける別のチャレンジングなシナリオは、コンテンツ内の短期的な信号ダイナミックスを制限することによる悪影響を生じさせずに、均一な平均ラウドネスレベルを維持することである。ラウドネス変化に速く反応するシステムは、所望の目標レベルを一貫して達成することができるが、その代わりに短期的な信号ダイナミックスが低下する。他方でラウドネス変化にゆっくり反応するシステムは、ラウドネスレベルを効果的に制御できないか、又は入力信号のラウドネスレベルの大きな変化が生じている間にランピングなどの顕著なアーチファクト（ａｒｔｉｆａｃｔｓ）を示すことがある。大きくて長期的なラウドネス変化は、プログラム遷移又はコンテンツソースの変化などのコンテンツ間遷移のときに最も頻発する。ラウドネスコントロールシステム内においては、大きなコンテンツ間のラウドネス遷移を速く制御しつつコンテンツ内の短期的な信号ダイナミックスが維持されるように、コンテンツ間変動とコンテンツ内変動に個別に対処することが望ましい。
【課題を解決するための手段】
【０００９】
ラウドネスコントロールシステム及び方法は、音声コンテンツを所定のラウドネスレベルに正規化することができる。音声コンテンツに中程度の背景雑音が含まれる場合、背景雑音も目標ラウドネスレベルに正規化され得る。雑音信号は、コンテンツ対雑音分類を使用して検出され、ラウドネスコントロールシステム又は方法は、雑音の検出結果に基づいて、入力信号のＳ／Ｎ比を維持するために調整され得る。雑音信号は、周波数領域又は時間領域内の信号分析によって検出され得る。さらにラウドネスコントロールシステムは、コンテンツが高い長期的なラウドネスレベルから低い長期的なラウドネスレベルに遷移するとき、望ましくない音声アーチファクトを発生し得る。そのようなラウドネス低下（ｌｏｕｄｎｅｓｓ  ｄｒｏｐｓ）が検出される場合、ラウドネスコントロールシステムは、ラウドネスレベル間の遷移時に発生する望ましくないアーチファクトが最小になるように調整され得る。
【００１０】
一実施形態によれば、ラウドネスコントロールシステムは、音声信号を処理するように構成され得る。ラウドネスコントロールシステムは、音声信号の短期的なラウドネス推定を生成するように構成されたラウドネス測定モジュールを備えることができる。ラウドネスコントロールシステムは、音声信号のコンテンツ対雑音分類を生成するように構成された雑音検出モジュールをさらに備えることができる。ラウドネスコントロールシステムは、コンテンツ対雑音分類結果に基づいて少なくとも１つの平滑化係数を調整し、短期的なラウドネス推定に基づいて、少なくとも１つの平滑化係数を使用して音声信号の長期的なラウドネス推定を生成するように構成された時間的平滑化モジュールをさらに備えることができる。ラウドネスコントロールシステムは、長期的なラウドネス推定に基づいて、時間的に変化する利得を音声信号に適用するように構成された利得補正モジュールをさらに備えることができる。雑音検出モジュールは、周波数領域雑音検出又は時間領域雑音検出を使用してコンテンツ対雑音分類結果を生じるように構成され得る。少なくとも１つの平滑化係数は、利得補正モジュールが利得レベルを高くすることができる速度を制御するリリース平滑化係数を含み得る。コンテンツ対雑音分類は、範囲［０，１］上で正規化され得る。ラウドネスコントロールシステムは、ラウドネス低下検出値を生成するように構成されたラウドネス低下検出モジュールをさらに備えることができ、時間的平滑化モジュールは、ラウドネス低下検出値に基づいて少なくとも１つの平滑化係数を調整するように構成され得る。
【００１１】
別の実施形態によれば、ラウドネスコントロールシステムは、音声信号を処理するように構成され得る。ラウドネスコントロールシステムは、音声信号の短期的なラウドネス推定を生成するように構成されたラウドネス測定モジュールを備えることができる。ラウドネスコントロールシステムは、ラウドネス低下検出値を生成するように構成されたラウドネス低下検出モジュールをさらに備えることができる。ラウドネスコントロールシステムは、ラウドネス低下検出値に基づいて少なくとも１つの平滑化係数を調整し、短期的なラウドネス推定に基づいて、少なくとも１つの平滑化係数を使用して音声信号の長期的なラウドネス推定を生成するように構成された時間的平滑化モジュールをさらに備えることができる。ラウドネスコントロールシステムは、長期的なラウドネス推定に基づいて、時間的に変化する利得を音声信号に適用するように構成された利得補正モジュールをさらに備えることができる。少なくとも１つの平滑化係数は、利得補正モジュールが利得レベルを高くすることができる速度を制御するリリース平滑化係数を含み得る。ラウドネス低下検出値は、範囲［０，１］上で正規化され得る。ラウドネスコントロールシステムは、音声信号のコンテンツ対雑音分類を生成するように構成された雑音検出モジュールをさらに備えることができ、時間的平滑化モジュールは、コンテンツ対雑音分類に基づいて少なくとも１つの平滑化係数を調整するように構成され得る。
【００１２】
別の実施形態によれば、システムは、周波数領域雑音検出を実行するように構成され得る。システムは、複数のチャネルを含む入力信号を受け取り、複数のチャネルを総和することによってモノ信号を生成するように構成された総和コンポーネントを備えることができる。システムは、短時間フーリエ変換（ＳＴＦＴ）コンポーネントをさらに備えることができ、このコンポーネントは、ＳＴＦＴをモノ信号に適用することによって周波数領域信号を生成するように構成され得る。システムは、周波数領域信号に基づいてパワースペクトルを生成し、そのパワースペクトルをデシベル（ｄＢ）領域に変換するように構成されたデシベルコンバータをさらに備えることができる。システムは、パワースペクトルのそれぞれの周波数帯のエネルギーの時間平均を推定することによって、時間的に平滑化されたパワースペクトルを生成するように構成された時間的平滑化コンポーネントをさらに備えることができる。システムは、パワースペクトルと時間的に平滑化されたパワースペクトルとの平均差を計算することによって、パワースペクトルのスペクトル束値を計算するように構成されたスペクトル束測定コンポーネントをさらに備えることができる。システムは、サブバンドの相対エネルギーをその近傍と比較して測定することによってパワースペクトルのそれぞれのサブバンドの音調特性を推定し、それによってピーキネス値を生成するように構成されたピーキネス測定コンポーネントをさらに備えることができる。システムは、パワースペクトルのスペクトル束値、ピーキネス値及びパワースペクトルに基づいて、雑音パワースペクトルを推定してＳ／Ｎ比を生成するように構成されたＳ／Ｎ比推定器コンポーネントをさらに備えることができる。システムは、Ｓ／Ｎ比に基づいて、平滑化されたＳ／Ｎ比を生成するように構成された時間的平滑化コンポーネントをさらに備えることができる。システムは、Ｓ／Ｎ比に基づいて入力信号に対するコンテンツ対雑音分類値を生成するように構成されたヒステリシスコンポーネントをさらに備えることができる。Ｓ／Ｎ比推定器コンポーネントは、所望のコンテンツの成分であると推測される信号のオリジナルスペクトルから任意の時間的ダイナミックス又は音調成分を取り除くことによって、信号の雑音パワースペクトルを推定するように構成され得る。コンテンツ対雑音分類は、範囲［０，１］上で正規化され得る。信号対雑音比推定器コンポーネントは、広帯域雑音レベル及び信号レベルを計算するように構成され得る。このシステムは、ラウドネスコントロールシステムに備えられるものとしてよく、ラウドネスコントロールシステムは、コンテンツ対雑音分類値に基づいて利得補正速度を調整するように構成された時間的平滑化コンポーネントを備えることができる。
【００１３】
別の実施形態によれば、システムは、時間領域雑音検出を実行するように構成され得る。システムは、複数のチャネルを含む入力信号を受け取り、複数のチャネルを総和することによってモノ信号を生成するように構成された総和コンポーネントを備えることができる。システムは、モノ信号を短期的なエンベロープ推定に変換するように構成された二乗平均平方根（ＲＭＳ）コンポーネントをさらに備えることができる。システムは、短期的なエンベロープ推定に対してデシベル（ｄＢ）変換を実行するように構成されたデシベルコンバータをさらに備えることができる。システムは、短期的なエンベロープ推定の平均を取って長期的な平均エンベロープ推定を生成するように構成された平滑化フィルターをさらに備えることができる。システムは、短期的なエンベロープ推定から長期的な平均エンベロープ推定を減算してエンベロープ値を生成するように構成された減算コンポーネントをさらに備えることができる。システムは、エンベロープ値を半波整流するように構成された半波整流器コンポーネントをさらに備えることができる。システムは、エンベロープ値に基づいてオンセットエネルギーの平均及びオフセットエネルギーの平均を推定するように構成された少なくとも２つの平滑化フィルターをさらに備えることができる。システムは、オンセットエネルギーの平均とオフセットエネルギーの平均との間の正規化平方誤差を計算するように構成された正規化誤差計算器をさらに備えることができる。システムは、この正規化平方誤差を時間的に平滑化するように構成された時間的平滑化コンポーネントをさらに備えることができる。システムは、平滑化された正規化平方誤差にヒステリシスを適用してコンテンツ対雑音分類を生成するように構成されたヒステリシスコンポーネントをさらに備えることができる。平滑化フィルターは、短期的なエンベロープ推定の指数移動平均（ＥＭＡ）を取るように構成され得る。時間的平滑化コンポーネントは、信号に依存する平滑化係数を使用する。平滑化係数は、アタックとリリースが異なる特性を有する。コンテンツ対雑音分類は、範囲［０，１］上で正規化される。請求対象のシステムは、ラウドネスコントロールシステムに備えられるものとしてよく、ラウドネスコントロールシステムは、コンテンツ対雑音分類値に基づいて利得補正速度を調整するように構成された時間的平滑化コンポーネントを含むことができる。
【００１４】
別の実施形態によれば、システムは、ラウドネス低下検出を実行するように構成され得る。システムは、入力信号を受け取り、入力信号に基づいて短期的なラウドネス推定を計算するように構成された短期的ラウドネス測定モジュールを備えることができる。システムは、低速平滑化ラウドネス推定及び高速平滑化ラウドネス推定を計算するように構成された少なくとも２つの時間的平滑化フィルターをさらに備えることができる。システムは、低速平滑化ラウドネス推定から高速平滑化ラウドネス推定を減算して差分値を生成するように構成された減算モジュールをさらに備えることができる。システムは、差分値を半波整流して整流された差分値を生成するように構成された半波整流器モジュールをさらに備えることができる。システムは、整流された差分値を正規化して低下検出値を生成するように構成された正規化モジュールをさらに備えることができる。短期的ラウドネス測定モジュールは、ＩＴＵ−Ｒ  ＢＳ．１７７０ラウドネス尺度を使用して短期的なラウドネス推定を計算するように構成され得る。少なくとも２つの時間的平滑化フィルターは、低速平滑化係数及び高速平滑化係数をそれぞれ使用するように構成されるものとしてよく、低速及び高速平滑化係数は、入力信号のダイナミックスに基づいて動的に修正され得る。低速平滑化係数及び高速平滑化係数は、信号ダイナミックスの高い尺度で入力信号に対して相互に低速化することができる。低速平滑化係数及び高速平滑化係数は、信号ダイナミックスの低い尺度で入力信号に対して相互に高速化することができる。正規化モジュールは、平行移動、拡大縮小及び飽和を使用して低下検出値を計算することができる。正規化モジュールは、［０，１］の範囲内で低下検出値を生成するように構成されるものとしてよく、１の低下検出値は、ラウドネス低下が検出されたことを示し、０の低下検出値は、ラウドネス低下が検出されなかったことを示す。このシステムは、ラウドネスコントロールシステムに備えられるものとしてよく、ラウドネスコントロールシステムは、低下検出値に基づいて利得補正速度を調整するように構成された時間的平滑化コンポーネントを含むことができる。
【図面の簡単な説明】
【００１５】
【図１】入力音波が音声処理システムを通過して出力音波を発生するブロック図である。
【図２】ラウドネスコントロールシステムのブロック図である。
【図３】一実施形態による、周波数領域雑音検出システムのブロック図である。
【図４Ａ】音楽の短いセグメントのパワースペクトルを示す図である。
【図４Ｂ】雑音の短いセグメントのパワースペクトルを示す図である。
【図４Ｃ】信号の音調及び過渡的構造が取り除かれている、音楽のセグメントに対する雑音パワースペクトルの推定を示す図である。
【図４Ｄ】信号の音調及び過渡的構造が取り除かれている、雑音のセグメントに対する雑音パワースペクトルの推定を示す図である。
【図４Ｅ】音楽のセグメントとその後に続く雑音のセグメントとからなる信号に対する周波数領域雑音検出システムからのコンテンツ対雑音分類出力を示す図である。
【図５】一実施形態による、時間領域雑音検出システムのブロック図である。
【図６Ａ】コンテンツ対雑音遷移上の信号エンベロープ及び平滑化された信号エンベロープを示す図である。
【図６Ｂ】図６Ａの信号に対応する時間領域雑音検出システムからの例示的な分類出力を示す図である。
【図７】一実施形態による、雑音検出を行うラウドネスコントロールシステムのブロック図である。
【図８】一実施形態による、ラウドネス低下検出システムのブロック図である。
【図９】ラウドネス低下検出システム内の短期的なラウドネス推定、２つの平滑化されたフィルター出力、及び結果として得られるラウドネス低下検出信号に対する例示的な信号をｄＢ単位で示す図である。
【図１０Ａ】ラウドネス低下検出システムにおける異なる平滑化係数選択に対する、短期的なラウドネス推定、平滑化されたフィルター出力、及びラウドネス低下検出信号の例をそれぞれ示す図である。
【図１０Ｂ】ラウドネス低下検出システムにおける異なる平滑化係数選択に対する、短期的なラウドネス推定、平滑化されたフィルター出力、及びラウドネス低下検出信号の例をそれぞれ示す図である。
【図１０Ｃ】ラウドネス低下検出システムにおける異なる平滑化係数選択に対する、短期的なラウドネス推定、平滑化されたフィルター出力、及びラウドネス低下検出信号の例をそれぞれ示す図である。
【図１０Ｄ】ラウドネス低下検出システムにおける異なる平滑化係数選択に対する、短期的なラウドネス推定、平滑化されたフィルター出力、及びラウドネス低下検出信号の例をそれぞれ示す図である。
【図１１】一実施形態による、動的平滑化係数を有するラウドネス低下検出システムのブロック図である。
【図１２Ａ】ラウドネス低下検出システムにおける、動的平滑化係数を有する、短期的なラウドネス推定、平滑化されたフィルター出力、及びラウドネス低下検出信号の例をそれぞれ示す図である。
【図１２Ｂ】ラウドネス低下検出システムにおける、動的平滑化係数を有する、短期的なラウドネス推定、平滑化されたフィルター出力、及びラウドネス低下検出信号の例をそれぞれ示す図である。
【図１３】一実施形態による、ラウドネス低下検出を行うラウドネスコントロールシステムのブロック図である。
【図１４】一実施形態による、雑音検出及びラウドネス低下検出を行うラウドネスコントロールシステムのブロック図である。
【発明を実施するための形態】
【００１６】
音波は、空気などの圧縮性媒質を伝搬する物体の振動によって引き起こされる一種の圧力波である。音波は、媒質（例えば空気）中の物質を周期的に変位し、物質を振動させる。音波の周波数は、１周期内の完全なサイクルの数を記述し、ヘルツ（Ｈｚ）で表される。１２Ｈｚから２０，０００Ｈｚの周波数範囲内の音波は、人間の耳に聞こえる。
【００１７】
図１は、入力音波１０５が音声処理システムを通過して出力音波１３５を発生する流れ図１００を示している。音声信号は、可聴音波を電圧として表したものである。例えばマイクロフォンなどのデバイス１１０は、機械的エネルギーである音圧波を受け取り、電気エネルギー又は音声信号１１５に変換する。同様に、スピーカー又はヘッドフォンなどのデバイス１３０は、電気的音声信号１２５を可聴音波１３５に変換する。音声信号処理ブロック１２０は、音声信号の可聴効果を変えるために音声信号１１５を意図的に操作する。音声信号処理は、アナログ又はデジタル領域において実行され得る。
【００１８】
アナログ音声信号は、例えば電圧、電流、又は電荷変化の形態で電気回路を流れるデータの連続的な流れによって表される。アナログ信号処理（ＡＳＰ）は、様々な電気的手段を介して電圧、電流又は電荷を変化させることによって物理的に連続的信号を変える。デジタル音声信号は、アナログ音声信号のサンプリングを通じて生成され、この信号は、記号列、典型的には２進数の列として表されるので、信号処理のためにマイクロプロセッサ及びコンピュータなどのデジタル回路を使用することができる。この場合、処理は、信号のデジタル表現に対して実行される。ラウドネスコントロールは、音声信号処理の一例である。
【００１９】
本明細書で説明されている実施形態は、ラウドネスコントロールシステム及び音声信号に適用される方法に関して説明されるが、これらの概念及び機能強化は、他の音声信号処理システム、例えばＡＧＣ及びＤＲＣのシステム及び方法にも同様に適用可能であるのは当然である。ラウドネスコントロールシステムは、ラウドネスレベルが変化する入力音声信号を操作し、リスナーにとってより心地よい均一なラウドネスレベルを有する出力音声信号を発生する働きをし得る。
【００２０】
本明細書で説明されている実施形態全体を通して、いくつかの表記法が使用される。信号ｘ［ｎ］は、サンプルインデックスｎ及びサンプルレートＦｓnを有する時系列である。信号ｘ［ｎ］は、複数の音声チャネルＣからなり、ｃがチャネルインデックス０≦ｃ≦Ｃ−１である特定のチャネルを指定するためにｘc［ｎ］と表記される。信号ｘ［ｍ］は、ｘ［ｍ］のサンプルレートがＦｓm＝Ｆｓn／Ｍとなるように、Ｍという因数によってダウンサンプリングされた時系列とする。
【００２１】
ラウドネスコントロールシステム２００の高水準ブロック図が図２に示されている。ラウドネスコントロールシステム２００は、少なくともラウドネス測定モジュール２０５、時間的平滑化モジュール２１０及び利得補正モジュール２１５の３つのコアモジュールを含み得る。ラウドネスコントロールシステム２００は、入力音声信号ｘ［ｎ］を修正して、改善されたラウドネス特性を有する出力音声信号ｙ［ｎ］を生成することができる。例えばラウドネスコントロールシステム２００は、図１の音声処理システム１００内の音声処理ブロック１２０の一部とすることができる。
【００２２】
図２を参照すると、ラウドネス測定モジュール２０５は、入力信号ｘ［ｎ］の短いセグメントを分析して短期的なラウドネス推定Ｌshort［ｍ］を生成できることがわかる。時間的平滑化モジュール２１０は、短期的なラウドネス推定を時間に関して平滑化することによって、長期的な平均ラウドネスレベルＬave［ｍ］の推定を提供し得る。利得補正モジュール２１５は、時間的に変化する補間された利得を入力信号ｘ［ｎ］に適用することができ、この利得は、出力信号ｙ［ｎ］の長期的な平均ラウドネスレベルが所定の目標ラウドネスレベルに等しくなるように制御され得る。
【００２３】
ラウドネス測定モジュール２０５は、音声信号の知覚ラウドネスを推定するために如何なるプロセスをも使用することができる。そのようなプロセスの例は以下のとおりである。
【００２４】
・国際電気標準会議（ＩＥＣ）によって定義されているようなＡ、Ｂ、又はＣ周波数重み付けと結び付けられ得るラウドネス等価尺度（Ｌeq）。
【００２５】
・国際標準化機構（ＩＳＯ）によって定義されている規格の基盤となったツウィッカー及びファストルラウドネスモデル。
【００２６】
・国際電気通信連合（ＩＴＵ）によって定義されているような改訂された低周波Ｂ−重み付け（ＲＬＢ）周波数重み付け及び前置フィルターに結び付けられているＬeq尺度。
【００２７】
例えばＩＴＵ勧告（ＩＴＵ−Ｒ）ＢＳ．１７７０ラウドネス測定システムは、ラウドネスコントロールシステム２００のラウドネス測定モジュール２０５で使用され得る。ＩＴＵ−Ｒ  ＢＳ．１７７０の方法は、高度テレビジョンシステムズ委員会及びヨーロッパ放送連合を含む放送業界によって広く採用されている国際規格である。ＩＴＵ−Ｒ  ＢＳ．１７７０の実装は、必要とされる計算能力及び記憶容量は一般的に低く、リスナーによるラウドネス知覚と適切に相関することが実証されている。
【００２８】
ラウドネス測定モジュール２０５は、入力信号ｘ［ｎ］の短いセグメント、例えば５〜１０ミリ秒のセグメントの知覚ラウドネスを推定することができる。その結果得られる短期的なラウドネス推定Ｌshort［ｍ］は、例えばラウドネスコントロールの設計及び実装に応じて、振幅、エネルギー又はデシベル（ｄＢ）領域で表され得る。
【００２９】
ラウドネスコントロールシステム２００の目的は、短期的な信号ダイナミックスを過剰に圧縮することなく、均一な平均ラウドネスレベルを有する出力信号ｙ［ｎ］を生成することである。したがって時間的平滑化モジュール２１０は、信号の長期的な平均ラウドネスレベルの推定を得るために、短期的なラウドネス推定を時間に関して平均化又は平滑化することができる。短期的なラウドネス推定に対して時間的な平滑化を実行するための方法は、例えば以下の数式に従って単極指数移動平均（ＥＭＡ）フィルターを適用することである。
【００３０】
【数１】
0006328627.tif 000002
ただしＬshort［ｍ］は、短期的なラウドネス推定であり、Ｌave［ｍ］は、長期的な平均ラウドネス推定であり、αは、時間的な平滑化の挙動を制御する平滑化係数である。
【００３１】
時間的平滑化モジュール２１０は、異なる平滑化係数α値を使用して、「アタック」及び「リリース」の挙動が別々に設計され得る。アタックフェーズは、前の平均ラウドネス推定Ｌave［ｍ］より大きい新たに取得された短期的なラウドネス推定Ｌshort［ｍ］を参照し得る。リリースフェーズは、前の平均ラウドネス推定Ｌave［ｍ］より小さい新たに取得された短期的なラウドネス推定Ｌshort［ｍ］を参照し得る。したがって以下のようになる。
【００３２】
【数２】
0006328627.tif 000003
アタック平滑化係数αattack及びリリース平滑化係数αreleaseは、平均ラウドネスレベルの長期的推定に近似するように設定され、人間の聴覚系の非対称的なラウドネス形成に近似するように、アタック平滑化係数αattackがリリース平滑化係数αreleaseより速い速度に設定され得る。
【００３３】
アタックリリース平滑化係数のチューニングは、アプリケーション特有のものであり、出力ラウドネスレベルの一貫性に影響し得る。比較的ゆっくりとしたアタックリリース平滑化係数では、平均ラウドネス推定が信号ラウドネスレベルを追跡する速度は遅すぎ、その結果、出力ラウドネスレベルはかなり変動する可能性がある。比較的速いアタックリリース平滑化係数では、平均ラウドネス推定が短期的な信号ダイナミックスを追跡するのが厳密すぎて、その結果、出力信号ｙ［ｎ］は、一貫したラウドネスレベルを有するが、信号ダイナミックスが過度に圧縮され得る。
【００３４】
ラウドネスコントロールシステム２００は、静的雑音閾値Ｔnoise,staticを含むものとしてよく、この閾値より低い入力信号は不要な雑音と推測され、この閾値より高い入力信号は所望のコンテンツであると推測される。ラウドネスコントロールシステムは、雑音と推測するレベルに反応することを回避するように設計され、これにより雑音の不快な増幅は低減され得る。したがって雑音閾値Ｔnoise,staticより低い値を測定する短期的なラウドネス推定は、長期的な平均ラウドネス推定に含まれず、事実上、平均ラウドネス推定を前の値に「凍結する」ことができる。
【００３５】
短期的なラウドネス推定Ｌshort［ｍ］が静的雑音閾値Ｔnoise,staticより低いときに平均ラウドネス推定を凍結する一方法では、時間的平滑化フィルターに条件を追加することができる。例えば以下のようにαをゼロに設定することによって、平均ラウドネス推定を事実上前の値に維持することができる。
【００３６】
【数３】
0006328627.tif 000004
これは、雑音と推測される低レベル信号への反応を回避するために使用することができる多くの方法のうちの１つに過ぎない。
【００３７】
利得補正モジュール２１５は、所定の目標ラウドネスレベルＴａｒdBと平均ラウドネス推定Ｌave,dB［ｍ］との差を取ることによって、時間的に変化する利得値ＧdB［ｍ］を計算することができる。下付文字ｄＢは、ラウドネス値がデシベル領域で表されることを示している。
【００３８】
【数４】
0006328627.tif 000005
サンプルレートＦｓmでダウンサンプリングされた利得値ＧdB［ｍ］は、線形領域に変換され、サンプルレートＦｓnで平滑化利得信号Ｇ［ｎ］を生成するように補間される。補間法としては、限定はしないが、例えばＥＭＡ平滑化法、線形補間法又は三次補間法が挙げられる。出力信号ｙ［ｎ］は、以下のように利得値Ｇ［ｎ］に入力信号ｘ［ｎ］を乗算することによって生成される。
【００３９】
【数５】
0006328627.tif 000006
ラウドネスコントロールシステムは、不要な雑音を相対的に増幅することによって、例えば中程度のレベルの背景雑音を含む会話等、特定の状況下でＳ／Ｎ比が低減し得る。図２を参照しつつ説明されているように、ラウドネスコントロールシステム２００は、雑音と推測される信号の増幅を制限する単純な方法として静的雑音閾値Ｔnoise,staticを含み得る。入力信号ラウドネスが静的雑音閾値Ｔnoise,staticより低く測定された場合、推定された平均ラウドネスレベルＬave［ｍ］及び利得信号Ｇ［ｎ］を凍結する。この凍結機構は、信号ｘ［ｎ］内の実際の雑音レベルが静的雑音閾値Ｔnoise,staticより低い限り、Ｓ／Ｎ比を維持する許容可能なジョブを実行することができる。しかし雑音レベルが雑音閾値Ｔnoise,staticより高い場合、不要な雑音が増幅され得る。現実世界の雑音は、極めて大きく、また予測できない場合があるため、静的閾値との単純な比較よりも精密な解決策を必要とする。
【００４０】
改善は、雑音及び雑音レベルを検出する高度な方法を通じて、ラウドネスコントロールシステムに対してなされ得る。音声のセグメントが所望のコンテンツなのか不要な雑音なのかの情報は、ラウドネスコントロールシステムにとって有用な情報となり得る。雑音検出の自動的な方法は、以下で説明されているように、音声のセグメントがコンテンツであるか雑音であるかを分類するために使用され得る。
【００４１】
不要な雑音の種類として、限定はしないが、例えば背景雑音、周辺雑音、環境雑音及びヒスノイズが挙げられる。不要な雑音の特性は、雑音を自動的に検出するために定義され得る。不要な雑音は、以下の特性を有するものとして定義され得る。
【００４２】
・定常：雑音の信号電力及びスペクトル形状は、時間に関して十分に静止していると推測される。
【００４３】
・低レベル：雑音は、所望のコンテンツに比べて十分にレベルが低いと推測される。
【００４４】
・広域／平坦スペクトル：雑音のスペクトルは、十分に広域で平坦な周波数であると推測される。著しいスペクトルの山や谷（例えば音調信号）を有する信号は、所望のコンテンツであると考えられる。
【００４５】
雑音検出システム又は方法は、上記推測の１つ又は複数を使用することができる。
【００４６】
雑音検出は、自明な作業ではなく、最適性能を得るために精密な分析を必要とする場合がある。一実施形態において、周波数領域雑音検出システムは、スペクトルの定常性及び広域性の推測を有効に使うことで正確な分類結果をもたらす。しかしラウドネスコントロールシステムは、計算能力及び電力が制約されている多くのアプリケーションにおいて必要とされる。これらのアプリケーションに関して、別の実施形態によれば、より効率的な時間領域雑音検出システムは、定常性の推測を有効に使う。
【００４７】
本明細書で説明されている雑音検出のための解決策は、「ソフト」なコンテンツ対雑音分類を生成することができる。この分類は、例えば範囲［０，１］上で定義されるものとしてよく、０は雑音を示し、１はコンテンツを示し、これらの間の値は、あまり信頼できない分類である。ソフトな判定は、雑音検出を積分するシステムに柔軟性をもたらす。
【００４８】
さらに本明細書で説明されている雑音検出システムは、レベル独立であるものとしてよい。言い換えると、入力信号に適用されるスカラーオフセットは、分類を変えないということである。コンテンツ及び雑音の予想されるレベルはアプリケーション毎に大きく異なるため、信号レベルに関して強い推測をすると、アプリケーションによっては性能の低下を引き起こし得ることから、これは重要な特性である。雑音検出システムは、レベル独立であるとしても、性能を安全に改善するために幾つかの注意レベルに依存するバイアスが含まれ得る。例えば非常に大きな信号（例えばフルスケール（ｄＢＦＳ）に関して−１２から０デシベル）は、１００％の信頼性でコンテンツとして解釈され得る。同様に、妥当な静的雑音閾値より低い信号（例えば−６０ｄＢＦＳ）は、１００％の信頼性で雑音とみなし得る。
【００４９】
一実施形態によれば周波数領域雑音検出は、雑音スペクトルを推定し、Ｓ／Ｎ比を計算することによって、信号をコンテンツ又は雑音として分類することができる。高いＳ／Ｎ比は、信号が主に所望のコンテンツからなることを示し、低いＳ／Ｎ比は、信号が主に雑音からなることを示す。雑音スペクトルは、所望のコンテンツの成分であると推測される信号のオリジナルスペクトルから時間的ダイナミックス又は音調成分を取り除く試みによって推定され得る。時間的ダイナミックスを推定するためにスペクトル束が使用され、音調成分を推定するためにピーキネス尺度が使用され得る。
【００５０】
一実施形態による、周波数領域雑音検出システム３００のブロック図が図３に示されている。周波数領域雑音検出システム３００は、音声信号ｘc［ｎ］を受け取り、ｍをインデックスとする分類推定クラス［ｍ］を出力することができる。分類クラス［ｍ］は、信号がコンテンツ又は雑音である可能性が高いかどうかを示す。この分類は、例えば範囲［０，１］上で定義されるものとし、０は雑音を示し、１はコンテンツを示し、これらの間の値はあまり信頼できない分類とし得る。しかし他の分類範囲、例えば［−１，１］又は［０，１００］を使用することができる。
【００５１】
周波数領域雑音検出システム３００は、チャネル総和コンポーネント３０５、短時間フーリエ変換（ＳＴＦＴ）コンポーネント３１０、デシベルコンバータ３１５、時間的平滑化コンポーネント３２０、スペクトル束測定コンポーネント３２５、ピーキネス測定コンポーネント３３０、Ｓ／Ｎ比推定器コンポーネント３３５、時間的平滑化コンポーネント３４０、正規化コンポーネント３４５及びヒステリシスコンポーネント３５０のいずれかを含むことができる。周波数領域雑音検出システム３００は、以下でさらに詳しく説明される。
【００５２】
チャネル総和コンポーネント３０５は、Ｃチャネル信号ｘc［ｎ］の全てのチャネル（低周波効果（ＬＦＥ）チャネルが含まれるなら、場合によっては除く）を総和して、以下のモノ信号を生成する。
【００５３】
【数６】
0006328627.tif 000007
ただしｎはサンプル時間インデックス、ｃはチャネルインデックス、Ｃはチャネルカウントであり、場合によってはＬＦＥチャネルを除く。チャネル総和コンポーネント３０５は、計算効率を改善し、リソース要求を削減することができる。
【００５４】
モノ信号ｘmono［ｎ］は、ＳＴＦＴコンポーネント３１０を適用する前に、オーバーラップする窓関数を掛け合わせたフレームに分割され得る。
【００５５】
【数７】
0006328627.tif 000008
ただしＭはサンプルホップサイズ、Ｆはサンプル窓サイズ、ｍはダウンサンプリングされた時間インデックス、ｋは０≦ｋ≦Ｋ−１の周波数インデックス、Ｋ＝（０．５・Ｆ＋１）は固有周波数インデックスの数、ｗは分析窓で例えば長さＦのＨａｎｎ窓である。ＳＴＦＴコンポーネント３１０の代わりに、他の種類のフィルターバンクコンポーネントを使用することができる。
【００５６】
デシベルコンバータ３１５は、ＳＴＦＴコンポーネント３１０の出力Ｘlin［ｍ，ｋ］からパワースペクトルを計算して、それぞれのインデックスｍ及びｋについてパワースペクトルをｄＢ領域に変換することができる。
【００５７】
【数８】
0006328627.tif 000009
あるいは必要な計算量及び記憶容量を減らすために、ＳＴＦＴコンポーネント３１０の均一な間隔で並ぶパワースペクトルを結合して、等価方形帯域幅（ＥＲＢ）、臨界帯域幅又は他の何らかの知覚帯域幅に近似するサブバンドにすることができる。
【００５８】
時間的平滑化コンポーネント３２０は、例えば時間に関するｄＢスペクトルＸ［ｍ，ｋ］の指数移動平均を使用して、それぞれの周波数帯のエネルギーの時間平均Ｘ’［ｍ，ｋ］を推定することができる。
【００５９】
【数９】
0006328627.tif 000010
ただしαsは、この数式に固有であり、望ましい平滑化特性を生成するために選択され得る平滑化係数である。
【００６０】
スペクトル束測定コンポーネント３２５は、時間に関するスペクトル変化の尺度であるスペクトル束ｓｆ［ｍ］を測定する。雑音信号は、０に近い束を測定する定常スペクトルを有する傾向があり、コンテンツ信号は、高スペクトル束の短い持続時間を示すオンセット、オフセット及び過渡成分を含むより動的なスペクトルを有する傾向がある。スペクトル束値は、短期的なスペクトルＸ［ｍ，ｋ］と時間的に平滑化されたスペクトルＸ’［ｍ，ｋ］との間の平均差として計算され得る。時間的に平滑化されたスペクトルは、スペクトル束を計算するときに、現在のフレームスペクトルの積分を防ぐために、１フレーム分遅延させることができる。
【００６１】
【数１０】
0006328627.tif 000011
スペクトル束ｓｆ［ｍ］は、ｄＢ領域において計算されるので、その測定はレベル独立としてよく、線形領域で実行される束の計算とは異なり、さらなる正規化を要しない。
【００６２】
ピーキネスＰ［ｍ，ｋ］は、その近傍と比較した周波数帯の相対エネルギーを測定することによって、周波数帯の音調特性を推定する。ピーキネスは、例えば典型的なコンテンツは２０Ｈｚから６ｋＨｚの範囲内で音調成分を含み得るため、制限された周波数帯の範囲にわたって推定され得る。ピーキネス測定コンポーネント３３０は、それぞれの周波数帯ｋの周囲の平均エネルギーＰSE［ｍ，ｋ］を最初に推定することによって、ピーキネスを計算することができる。
【００６３】
【数１１】
0006328627.tif 000012
ただし、２Ｗは平均する隣接周波数帯の数である。
【００６４】
隣接周波数帯ＰSE［ｍ，ｋ］の平均エネルギーを中心周波数帯エネルギーＸ’［ｍ，ｋ］から減算することができる。
【００６５】
【数１２】
0006328627.tif 000013
Ｐdelta［ｍ，ｋ］の大きな正値は、中心周波数帯ｋ内の音調成分の存在を示し、Ｐdelta［ｍ，ｋ］の負値は、隣接周波数帯内の音調成分の存在を示し得る。音調成分を対象とする雑音検出アプリケーションでは、ピーキネスを計算するときの周波数帯漏れを補償するために、負値はゼロに設定され、正値は隣接周波数帯内に分散され得る。
【００６６】
【数１３】
0006328627.tif 000014
Ｓ／Ｎ比推定器コンポーネント３３５は、ピーキネスＰ［ｍ，ｋ］及びスペクトル束ｓｆ［ｍ］尺度を入力パワースペクトルＸ［ｍ，ｋ］から減算することによって、雑音パワースペクトルＮ［ｍ，ｋ］を推定することができる。
【００６７】
【数１４】
0006328627.tif 000015
雑音スペクトルは、雑音レベルｎwide［ｍ］の広帯域推定を計算するために、周波数に関して平均され得る。
【００６８】
【数１５】
0006328627.tif 000016
さらに入力信号パワースペクトルは、信号レベルｘwide［ｍ］の広帯域推定を計算するために、周波数に関して平均され得る。
【００６９】
【数１６】
0006328627.tif 000017
Ｓ／Ｎ比推定器コンポーネント３３５は、推定された広帯域雑音レベルｎwide［ｍ］を推定された広帯域信号レベルｘwide［ｍ］から減算することによって、ｓｎｒ［ｍ］を計算することができる。
【００７０】
【数１７】
0006328627.tif 000018
その結果得られるＳ／Ｎ比、ｓｎｒ［ｍ］は、非常に分散が高い可能性がある。そのため時間的平滑化コンポーネント３４０は、指数移動平均フィルターをｓｎｒ［ｍ］に適用して分散を低減し、より大きなＳ／Ｎ比傾向を捕らえて平滑化されたＳ／Ｎ比、ｓｎｒ’［ｍ］を生成し得る。
【００７１】
【数１８】
0006328627.tif 000019
平滑化係数αattack,snr及びαrelease,snrは、時間的平滑化コンポーネント３４０で実行される平滑化Ｓ／Ｎ比計算に固有であり、望ましい平滑化特性を生み出すように選択され得る。
【００７２】
平滑化されたＳ／Ｎ比の値ｓｎｒ’［ｍ］は、正規化コンポーネント３４５によって中間分類値ｃ［ｍ］に変換され得る。例えばその値は、０が雑音を示し、１がコンテンツを示し、間の値はあまり信頼できない分類となるように、ｄＢ−線形領域変換、並びに拡大縮小及び平行移動を介して範囲［０，１］に正規化され得る。
【００７３】
【数１９】
0006328627.tif 000020
ヒステリシスコンポーネント３５０は、ヒステリシスのモデルを適用することによって最終分類結果を計算することができる。ヒステリシスモデルは、過去の分類に基づいて最終分類にバイアスをかける。より高いコンテンツ閾値Ｔcontent及びより低い雑音閾値Ｔnoiseの２つの閾値が使用され、これらの閾値は、スカラーバイアス計算（数式２１）に固有のものであってよい。中間分類値ｃ［ｍ］がコンテンツ閾値Ｔcontentを超える場合、最終分類クラス［ｍ］は、より低い雑音閾値Ｔnoiseよりも中間分類値ｃ［ｍ］が低くなるまでコンテンツ分類の方へバイアスされ、これによって再びコンテンツ閾値を横切るまで最終分類クラス［ｍ］が雑音分類の方へバイアスされ得る。
【００７４】
【数２０】
0006328627.tif 000021
ただし、
【００７５】
【数２１】
0006328627.tif 000022
及び
【００７６】
【数２２】
0006328627.tif 000023
数式２０〜２２について、クラス［ｍ］は最終分類結果であり、βcontentは、例えば１より大きい値として選択され得る正のバイアススカラーであり、βnoiseは、例えば１より小さい値として選択され得る正のバイアススカラーである。
【００７７】
３．５秒分のコンテンツ（調性音楽）とその後に続く３．５秒分の広帯域雑音からなる信号は、図３の周波数領域雑音検出システム３００の動作を図解するために使用されている。図４Ａ〜４Ｄは、周波数帯が等価方形帯域幅（ＥＲＢ）に変換された信号全体を通して、複数の時間インデックスにおけるパワースペクトルを示している。図４Ａは、音楽のパワースペクトルＸ［ｍ，ｋ］を示しており、時間インデックスｍ0は、スペクトル内の顕著なピークとして見られる音楽の音調の態様を示すために、信号の最初の３．５秒分で任意に選択されたものである。図４Ｂは、雑音のパワースペクトルＸ［ｍ1，ｋ］を示しており、時間インデックスｍ1は、顕著なピークを欠いた比較的平坦なスペクトルとして見られる広帯域雑音中の音調構造の欠如を示すために、信号の後半部で任意に選択されたものである。図４Ｃは、図４Ａと同じ時間インデックスにおいて、音楽の推定された雑音パワースペクトルＮ［ｍ0，ｋ］を示している。図４Ａにおいてピークとして見られた音調構造は、図４Ｃの推定された雑音パワースペクトルでは除去されており、これは図３で説明されているピーキネス測定コンポーネント３３０によって行われる。また図３のスペクトル束測定コンポーネント３２５で行われ得るように、過渡構造も図４Ｃで除去されている。しかしながら単一の時間インデックスしか示されていないので、過渡構造の除去は、図４Ａ及び４Ｃに明確には現れていない。図４Ｄは、図４Ｂと同じ時間インデックスにおける雑音の推定された雑音パワースペクトルＮ［ｍ1，ｋ］を示している。予想通り、図４Ｄの推定された雑音パワースペクトルは、図４Ｂの雑音の真のパワースペクトルとほぼ同一である。図４Ｅは、図３で説明されているように、３．５秒分の調性音楽とその後に続く３．５秒分の広帯域雑音とからなる完全な信号に対し、周波数領域雑音検出システム３００が出力するコンテンツ対雑音分類を示している。この例示的なシナリオでは、０の分類は雑音を示し、１の分類はコンテンツを示す。図４Ｅに図示されているように、図３の周波数領域雑音検出システム３００は、信号内のコンテンツから雑音への遷移を１秒以内に検出することが可能である。
【００７８】
別の実施形態によれば、雑音検出は、時間領域内で実行され得る。時間領域雑音検出システム又は方法は、計算能力に対する要件が低いことが望ましいシナリオにおいて使用することができる。時間領域雑音検出システムは、典型的な雑音信号が時間に関して適度な定常性を示す信号電力を有し、典型的なコンテンツ信号が時間的に変化するダイナミックスを示す信号電力を有するという推測を有効に使うことができる。
【００７９】
一実施形態による、時間領域雑音検出システム５００のブロック図が図５に示されている。時間領域雑音検出システム５００は、音声信号ｘc［ｎ］を受け取り、ｍをインデックスとする分類推定クラス［ｍ］を出力することができる。そのような分類クラス［ｍ］は、信号がコンテンツ又は雑音である可能性が高いかどうかを示す。この分類は、例えば範囲［０，１］上で定義されるものとしてよく、０は雑音を示し、１はコンテンツを示し、間の値は、あまり信頼できない分類である。しかし他の分類値も使用できる。
【００８０】
時間領域雑音検出システム５００は、チャネル総和コンポーネント５０５、二乗平均平方根（ＲＭＳ）コンポーネント５１０、デシベルコンバータ５１５、時間的平滑化フィルター５２０、減算コンポーネント５２５、半波整流コンポーネント５３０、時間的平滑化コンポーネント５３５及び５４０、正規化誤差計算器５４５、時間的平滑化コンポーネント５５０並びにヒステリシスコンポーネント５５５のいずれかを備えることができる。時間領域雑音検出システム５００は、以下でさらに詳しく説明される。
【００８１】
チャネル総和コンポーネント５０５は、Ｃチャネル信号ｘc［ｎ］の全てのチャネル（低周波効果（ＬＦＥ）チャネルが含まれるなら、場合によっては除く）を総和して以下のモノ信号を発生する。
【００８２】
【数２３】
0006328627.tif 000024
ただしｎはサンプル時間インデックス、ｃはチャネルインデックス、Ｃはチャネルカウントであり、場合によってはＬＦＥチャネルを除く。チャネル総和コンポーネント５０５は、計算効率を改善し、要求されるリソースを削減することができる。
【００８３】
二乗平均平方根（ＲＭＳ）コンポーネント５１０は、Ｆ個のサンプルの窓で二乗平均平方根（ＲＭＳ）を計算することによって、入力信号を線形領域の短期的なエンベロープ推定ｅｎｖlin［ｍ］に変換することができる。
【００８４】
【数２４】
0006328627.tif 000025
線形領域の短期的なエンベロープ推定ｅｎｖlin［ｍ］は、デシベルコンバータコンポーネント５１５を介して、ｄＢ領域の短期的なエンベロープ推定ｅｎｖ［ｍ］に変換され得る。
【００８５】
【数２５】
0006328627.tif 000026
入力信号の短期的なエンベロープを推定するために、他のエンベロープ推定器又は技術も使用できることに留意されたい。信号エンベロープは、コンテンツと雑音とを区別するのに役立ち得る。典型的な雑音信号の短期的なエンベロープは、長期的なエンベロープの平均を中心とする対称性を示す傾向があり、典型的なコンテンツ信号の短期的なエンベロープは、かなり不規則又は非対称になる傾向がある。
【００８６】
時間的平滑化コンポーネント５２０、例えば単極指数移動平均（ＥＭＡ）平滑化フィルターは、長期的な平均エンベロープ推定ｅｎｖ’［ｍ］を生成するために、短期的なエンベロープ推定ｅｎｖ［ｍ］に適用され得る。
【００８７】
【数２６】
0006328627.tif 000027
ただし平滑化係数αenvは、長期的な平均エンベロープ推定ｅｎｖ’［ｍ］の計算に固有であり、望ましい平滑化特性を生成するように選択され得る。
【００８８】
減算コンポーネント５２５は、短期的なエンベロープ値から長期的な平均エンベロープ推定を減算することによって、エンベロープデルタ値を計算することができる。
【００８９】
【数２７】
0006328627.tif 000028
半波整流コンポーネント５３０は、正の半波整流をエンベロープデルタ値に適用することができ、負の値がゼロに設定され、信号中の短期的なオンセットエネルギーの推定を与えることができる。
【００９０】
【数２８】
0006328627.tif 000029
時間的平滑化コンポーネント５３５は、オンセットエネルギーの長期的平均を推定するために、オンセットエネルギーに適用され得る。
【００９１】
【数２９】
0006328627.tif 000030
ただし平滑化係数αonsetは、数式２９の計算に固有であり、望ましい平滑化特性を生成するように選択され得る。
【００９２】
半波整流コンポーネント５３０は、負の半波整流をエンベロープデルタ値に適用することもでき、正の値がゼロに設定され、絶対値を取ることで、信号中の短期的なオフセットエネルギーの推定を生成することができる。
【００９３】
【数３０】
0006328627.tif 000031
時間的平滑化コンポーネント５４０は、オフセットエネルギーの長期的平均を推定するために、オフセットエネルギーに適用され得る。
【００９４】
【数３１】
0006328627.tif 000032
ただし平滑化係数αoffsetは、数式３１の計算に固有であり、望ましい平滑化特性を生成するように選択され得る。
【００９５】
オンセット平均エネルギーｏｎｓｅｔ’［ｍ］及びオフセット平均エネルギーｏｆｆｓｅｔ’［ｍ］は、典型的な雑音信号についてはレベルが類似しており、典型的なコンテンツ信号については顕著な差があり得る。正規化誤差計算器５４５は、オンセット平均エネルギーとオフセット平均エネルギーとの間の平方誤差ｅｒｒ［ｍ］を計算し、それを例えば平均エネルギーの最大値で除算することによって、０から１の間に正規化することができる。
【００９６】
【数３２】
0006328627.tif 000033
例えばコンテンツ信号の時間構造が不規則であると、ｅｒｒ［ｍ］は１に向かう傾向となり、定常雑音の時間構造が欠如していると、ｅｒｒ［ｍ］は０に向かう傾向となり得る。
【００９７】
時間的平滑化コンポーネント５５０は、分散を小さくするために平方誤差ｅｒｒ［ｍ］を時間的に平滑することによって、コンテンツ対雑音分類の生成を補助することができる。
【００９８】
【数３３】
0006328627.tif 000034
平滑化係数αerrは、アタック平滑化係数αattack,err及びリリース平滑化係数αrelease,errによって決定され、アタックとリリースが異なる特性を生成するために信号依存であってよい。
【００９９】
【数３４】
0006328627.tif 000035
時間領域雑音検出システム５００内で使用されるアタック平滑化係数αattack,err及びリリース平滑化係数αrelease,errは、数式３４に固有のものであり、例えば図２のラウドネスコントロールシステムの時間的平滑化モジュール２１０によって使用されるものよりも速い場合がある。これによって雑音検出システムは、ラウドネスコントロールシステムがレベルを補正するよりも速く、コンテンツ又は雑音として信号を分類することができる。
【０１００】
図５を参照すると、ヒステリシスコンポーネント５５５は、図３の周波数領域雑音検出システム３００のヒステリシスコンポーネント３５０と似た方法で、ヒステリシスのモデルをｅｒｒ’［ｍ］に適用することによって、最終的なコンテンツ対雑音分類クラス［ｍ］を計算することができる。
【０１０１】
図６Ａは、最初の半分が音楽のセグメントで後の半分が雑音のセグメントであるコンテンツ対雑音遷移からなる信号について、エンベロープｅｎｖ及び平滑化されたエンベロープｅｎｖ’をｄＢ単位で示している。図６Ａに図示されているように、０からおおよそ３．５秒までのエンベロープ信号の前半部は、長期的な平均エンベロープｅｎｖ’に対する短期的なエンベロープｅｎｖの不規則性を示し、３．５から７秒までの後半部は、長期的な平均エンベロープｅｎｖ’に対する短期的なエンベロープｅｎｖの対称性を示している。図６Ｂは、図６Ａの信号に対応する図５の時間領域雑音検出システム５００からの例示的なコンテンツ対雑音分類出力を図示しており、０は雑音、１はコンテンツを示す。
【０１０２】
例えば図３の周波数領域雑音検出システム３００によって生成され、或いは図５の時間領域雑音検出システム５００によって生成されるような雑音検出分類結果クラス［ｍ］は、図２のラウドネスコントロールシステム２００などのラウドネスコントロールシステムに組み込まれ得る。
【０１０３】
例えば図７は、一実施形態により、雑音検出モジュール７２０をラウドネスコントロールシステム７００に組み込んだ高水準ブロック図である。ラウドネスコントロールシステム７００は、ラウドネス測定モジュール７０５、雑音検出モジュール７２０、時間的平滑化モジュール７１０及び利得補正モジュール７１５を含むことができる。ラウドネス測定モジュール７０５及び利得補正モジュール７１５は、図２で説明されているラウドネス測定モジュール２０５及び利得補正モジュール２１５と同様の動作をし得る。雑音検出モジュールは、雑音検出技術を使用して、図３及び５の周波数領域及び時間領域アプローチをそれぞれ含むコンテンツ対雑音分類結果クラス［ｍ］の生成を行うことができる。次いで時間的平滑化モジュール７１０は、以下で説明されているように、雑音検出モジュール７２０からの最終分類出力クラス［ｍ］を考慮することができる。
【０１０４】
ラウドネスコントロールシステム７００の時間的平滑化モジュール７１０は、図２のラウドネスコントロールシステム２００の時間的平滑化モジュール２１０と同様に、別々の「アタック」及び「リリース」平滑化係数を備えることができる。リリース平滑化係数αreleaseは、ラウドネスコントロールで利得レベルを高めるときの許容速度を制御し得る。高速なリリース平滑化係数αrelease値は、ラウドネスコントロールで利得レベルを速く高めることを可能にし、低速なリリース平滑化係数αrelease値は、利得レベルを高める速度を制約し得る。極端な場合、リリース平滑化係数は、ラウドネスコントロールを凍結し、利得レベルの上昇が事実上生じないようにするために、０に設定され得る。
【０１０５】
信号がコンテンツ又は雑音からなるかどうかに関する情報が欠如している場合、図２のラウドネスコントロールシステム２００は、所望のコンテンツ及び不要な雑音に対する利得レベルを同じ速度で高めるように強制され得る。しかし図７のラウドネスコントロールシステム７００は、信号がコンテンツ又は雑音からなるかどうかに関する情報を有している場合、仮に不要な雑音あったとしても、不要な雑音の利得レベルは著しく遅い速度で高めつつ所望のコンテンツの利得レベルは速い速度で高くする改善された決定を下すことができる。
【０１０６】
一実施形態において、雑音依存利得レベルは、雑音検出モジュール７２０から受け取ったコンテンツ対雑音分類クラス［ｍ］に基づいて、時間的平滑化モジュール７１０でリリース平滑化係数値αreleaseを動的に修正することによって実装され得る。
【０１０７】
雑音検出モジュール７２０が高い信頼度で所望のコンテンツとして信号を検出したとき、αrelease［ｍ］値は、利得レベル増加の既定速度に対応する所定の値αrelease,defに設定され得る。高い信頼度で不要な雑音として信号が検出されたとき、αrelease［ｍ］値は、利得レベルの増加を事実上生じさせないように０に設定され得る。それに加えて雑音検出の「ソフト」分類が使用される場合、信頼度の低い雑音検出は、雑音検出の信頼度に比例して利得レベルの増加を遅くしてよい。例えば範囲［０，１］上でソフト分類を使用すると、クラス［ｍ］＝０．５の雑音分類結果は、信号がコンテンツであることの信頼度が５０％及び信号が雑音であることの信頼度が５０％あることを示し得る。この場合、αrelease［ｍ］値は、既定値と０との間の補間値に設定され、それによって利得レベルを上昇させることができる速度を中間量で制約することができる。
【０１０８】
【数３５】
0006328627.tif 000036
不要な雑音に対して利得レベルの増加を許可しないことは、入力信号ｘ［ｎ］のＳ／Ｎ比を維持する効果をもたらし得る。例えばコンテンツ対雑音遷移の間において、雑音レベルがコンテンツレベルより低い場合、ラウドネスコントロールシステム７００は、等しい利得レベルをコンテンツ及び雑音の両方のセグメントに適用することができ、それは利得レベルが雑音信号について増加するのが妨げられるからである。したがって入力信号中に存在するコンテンツと雑音の相対的なレベルは、出力信号中でも維持される。
【０１０９】
Ｓ／Ｎ比の維持は、コンテンツ対雑音分類で達成され得る唯一の機能向上ではない。雑音抑圧などの他の機能向上も同様に、雑音信号が検出されたときに相対的減衰を適用することによって、ラウドネスコントロールの範囲内で実現することができる。
【０１１０】
別の実施形態によれば、ラウドネス低下検出システム又は方法は、図２のラウドネスコントロールシステム２００などのラウドネスコントロールシステムにおいて、利得補正速度を動的に修正するために使用され得る。
【０１１１】
ラウドネスコントロールシステム２００の設計目標は、オリジナルの信号ダイナミックスを維持しながら長期的なラウドネスレベルを正規化することであるとしてよい。しかしコンテンツ内ダイナミックスを制限することによる悪影響を生じさせることなく、コンテンツ間遷移に起因する大きなラウドネス低下を制御することは簡単ではない。大きな長期的なラウドネス低下の後、速く回復するには、十分に高速な時定数を使用して、時間的平滑化モジュール２１０のリリース平滑化係数αreleaseが計算され得る。しかし短期的な信号ダイナミックスを維持するには、十分に低速な時定数を使用して、リリース平滑化係数αreleaseが計算され得る。これらの相反する目標に対処するために、ラウドネス低下検出モジュールは、動的かつ信号に依存する方法でリリース平滑化係数αreleaseを修正すべく、ラウドネスコントロールシステム２００に含まれ得る。
【０１１２】
一実施形態によれば、ラウドネス低下検出システムは、短期的な信号ダイナミックスに起因するラウドネス変動が生じている間の検出を回避しつつ、大きな長期的なラウドネス低下を確実に検出することができる。図８は、一実施形態によるラウドネス低下検出システム８００のブロック図を示している。図８のラウドネス低下検出システム８００は、音声信号ｘ［ｎ］を受け取り、ｍをインデックスとして、時間的に変化するラウドネス低下検出推定ｄｒｏｐ［ｍ］を出力することができる。このようなｄｒｏｐ［ｍ］は、顕著なラウドネスレベルの低下が生じているかどうかを示す。ラウドネス低下検出推定ｄｒｏｐ［ｍ］は、例えば範囲［０，１］上で定義され、０は、ラウドネス低下がないことを示し、１は、大きなラウドネス低下がちょうど生じたばかりであることを示し、これらの間の値は、より小さな又はより穏やかなラウドネス低下を示す指標である。しかし他の低下検出値も使用できる。
【０１１３】
ラウドネス低下検出システム８００は、短期的ラウドネス測定モジュール８０５、時間的平滑化コンポーネント８１０及び８１５、減算モジュール８２０、半波整流モジュール８２５並びに正規化モジュール８３０のいずれかを含み得る。
【０１１４】
短期的ラウドネス測定モジュール８０５は、図２のラウドネスコントロールシステム２００のラウドネス測定モジュール２０５と同様に、短期的なラウドネス推定を計算することができる。短期的ラウドネス測定モジュール８０５は、例えば既に説明したＩＴＵ−Ｒ  ＢＳ．１７７０ラウドネス尺度又はＲＭＳを含むラウドネス測定技術を使用することができる。現在のダウンサンプリングされたインデックスｍで計算された短期的なラウドネス推定は、Ｌshort,dB［ｍ］で表すことができる。
【０１１５】
時間的平滑化コンポーネント８１０及び８１５は、時間的な平滑化を短期的なラウドネス推定Ｌshort,dB［ｍ］に適用することができる。時間的平滑化コンポーネント８１０及び８１５は、例えば異なる平滑化係数を持つ２つの指数移動平均（ＥＭＡ）フィルターとしてよい。時間的平滑化コンポーネント８１０及び８１５の各々は、比較的低速な平滑化係数αslow及び比較的高速な平滑化係数αfastを使用して、平滑化ラウドネス推定μslow［ｍ］及びμfast［ｍ］をそれぞれ計算することができる。
【０１１６】
【数３６】
0006328627.tif 000037
【０１１７】
【数３７】
0006328627.tif 000038
平滑化されたラウドネス推定μslow［ｍ］及びμfast［ｍ］は、異なる速度でラウドネスダイナミックスを追跡することができる。μslow［ｍ］の目標は、例えば話し言葉の間の休止のような短期的なダイナミックを追跡することなく、ラウドネス推定の長期的平均に追随することとしてよい。μfast［ｍ］の目標は、より速くラウドネス推定の平均を追跡し、μfast［ｍ］のレベルがμslow［ｍ］に比べて十分に低いときにおけるラウドネス低下を推測できることとしてよい。減算モジュール８２０は、入力信号のラウドネスの変化を捕捉するために、平滑化ラウドネス推定μslow［ｍ］とμfast［ｍ］との差分信号ｄｉｆｆ［ｍ］を計算し得る。
【０１１８】
【数３８】
0006328627.tif 000039
例えば正のｄｉｆｆ［ｍ］値は、ラウドネス低下を示し、負の値は、ラウドネス増加を示し得る。半波整流モジュール８２５は、正の半波整流を差分信号ｄｉｆｆ［ｍ］に適用して、信号中のラウドネス増加の影響を受けていない間のラウドネス低下を示す信号ｄｉｆｆrect［ｍ］を生成し得る。
【０１１９】
【数３９】
0006328627.tif 000040
正規化モジュール８３０は、整流された差分ｄｉｆｆrect［ｍ］を正規化して、ｄＢ範囲から所望の検出範囲に変換し、低下検出値ｄｒｏｐ［ｍ］を生成し得る。例えば検出範囲［０，１］について、以下のように、単純な平行移動、拡大縮小及び飽和を正規化に使用し得る。
【０１２０】
【数４０】
0006328627.tif 000041
ただし、
【０１２１】
【数４１】
0006328627.tif 000042
またＤmin及びＤmaxは、例えば０及び１の検出値にそれぞれマップするラウドネス低下閾値を表す。この例では、１のラウドネス低下検出値ｄｒｏｐ［ｍ］は、Ｄmaxより大きいラウドネス低下が生じていることを示し、これは例えば音の大きなテレビコマーシャルから静かな番組に遷移するようなコンテンツ間遷移の際に生じ得る。０の値は、低下がないことを示し、これは例えば単一のコンテンツ全体を通して共通である。０と１との間の値は、中間レベルのラウドネス低下を示す。
【０１２２】
図９は、２秒の大きなラウドネス低下からなる音声信号に適用され、図８のラウドネス低下検出システム８００に対する短期的なラウドネス推定Ｌshort,dB［ｍ］（実線）、２つの平滑化されたフィルター出力μslow［ｍ］（鎖線）及びμfast［ｍ］（破線）、並びにラウドネス低下検出信号ｄｒｏｐ［ｍ］（下側のプロット）を示している。ここで注目すべき点は、短期的なラウドネス推定Ｌshort,dB［ｍ］（実線）は、約−１０ｄＢから−３０ｄＢまで２秒でほぼ瞬間的に低下し、時間的に平滑化されたフィルター出力μfast［ｍ］（破線）は、時間的に平滑化されたフィルター出力μslow［ｍ］（鎖線）よりも速く−３０ｄＢに到達することである。下側プロットのラウドネス低下検出信号ｄｒｏｐ［ｍ］は、２秒から始まるラウドネス低下、及び大きなラウドネス低下が生じていることを示す約２．５秒のピーキングを示している。平滑化係数αslow及びαfastは、比較的高速になるように相互に選択されており、これはラウドネス低下検出が可能な速度を直接的に制御する。
【０１２３】
図９の例は、ラウドネス低下検出システム、例えば図８のシステム８００の能力を図示したものであり、αslow及びαfastに比較的高速な値を用いることでラウドネスの大きな低下を速く識別できることを示している。しかし、これらの相互に高速な平滑化係数が同じでは、その検出性能は、会話などの非常に動的な信号については最適とは言えず、自然な信号変動がラウドネス低下として誤って検出されるといった誤検出が頻発し得る。
【０１２４】
図１０Ａ〜１０Ｄは、図９と同様に、例えば図８のラウドネス低下検出システム８００などのラウドネス低下検出システムにおける短期的なラウドネス推定Ｌshort,dB［ｍ］（実線）、２つの平滑化されたフィルター出力μslow［ｍ］（鎖線）及びμfast［ｍ］（破線）、並びにラウドネス低下検出信号ｄｒｏｐ［ｍ］（下側のプロット）をαslow及びαfastの異なる平滑化係数選択のそれぞれについて示している。図９の２秒のラウドネス低下からなる音声信号は、図１０Ａ及び１０Ｃで再び使用されており、図１０Ａは、相互に高速な平滑化係数αslow及びαfastを使用した結果を示し、図１０Ｃは、相互に低速な平滑化係数αslow及びαfastを使用した結果を示している。図１０Ａ及び１０Ｃに示されている音声信号からすれば、できる限り速くラウドネス低下を検出することがラウドネス低下検出システムにとって望ましいであろう。図１０Ｂ及び１０Ｄでは、動的な会話のセグメントが使用されており、図１０Ｂは、相互に高速な平滑化係数αslow及びαfastを使用した結果を示し、図１０Ｄは、相互に低速な平滑化係数αslow及びαfastを使用した結果を示している。約−４０ｄＢのより静寂な周辺環境雑音で区切られた約−１０ｄＢの一連の大きな話し言葉でコンテンツが構成されているときは、動的音声信号における短期的なラウドネスレベルＬshort,dB［ｍ］の大きな変動に留意すべきである。動的音声信号は、長期的なラウドネス低下を含まないので、理想的なラウドネス低下検出システムであるならば、ラウドネス低下を検出しないであろう。
【０１２５】
図１０Ａの低下検出信号ｄｒｏｐ［ｍ］は、図８のラウドネス低下検出システム８００において、大きな長期的なラウドネス低下を含む信号に対して相互に高速な平滑化係数を用いた場合、速く正確に約２．５秒でラウドネス低下を検出することを可能にすることを示している。しかし図１０Ｂの低下検出信号ｄｒｏｐ［ｍ］は、ラウドネス低下検出システムにおいて、非常に動的な信号に対して相互に高速な平滑化係数を用いた場合、μfast［ｍ］が過度に速く反応して会話中の単語間の休止を追跡することとなり、多数の部分的な検出を不正確に報告する要因となることを示している。
【０１２６】
前述したように相互に高速な平滑化係数は、ラウドネス低下の誤検出が生じる可能性がより高いので、非常に動的な信号については最適ではあり得ない。図１０Ｃ及び１０Ｄは、相互により低速な平滑化係数を使用した結果を示している。図１０Ｃのラウドネス低下検出信号ｄｒｏｐ［ｍ］は、図８のラウドネス低下検出システム８００において、大きな長期的なラウドネス低下を含む信号に対して相互に低速な平滑化係数を使用した場合、相互に高速な平滑化係数を使用した場合の２．５秒とは対照的に、約４秒までラウドネス低下を完全には検出できない可能性があることを示している。図１０Ｄのラウドネス低下検出信号ｄｒｏｐ［ｍ］は、ラウドネス低下検出システムにおいて、非常に動的な信号に対して相互に低速な平滑化係数を使用した場合、長期的なラウドネス低下がないことを正確に報告することが可能になることを示している。
【０１２７】
図１０Ｃ及び１０Ｄの例において、注目すべき点は、相互に低速な平滑化係数が使用される場合、平滑化係数αfastは、アタック速度が比較的高速なままでリリース速度のみが遅くなるように独自に修正されており、アタック速度及びリリース速度が両方とも平滑化係数αslowに対して等しく遅くなっていることである。αfastに対して独立した高速なアタック速度及び低速なリリース速度を許容した場合、平滑化された結果であるμfast［ｍ］がラウドネス推定のピークの方へバイアスされ、通常はμfast［ｍ］がμslow［ｍ］より高いままとなる。この修正は、非常に動的なコンテンツに対するラウドネス低下の誤検出率を改善し得る。
【０１２８】
上記の分析は、ラウドネス低下検出システムにおける平滑化係数速度のチューニングにトレードオフが存在することを示唆している。ラウドネス低下検出システムの改善は、非常に動的なコンテンツ（例えば、図１０Ｄ）のときには遅くなるように平滑化係数速度を動的に修正して、ラウドネス低下の誤検出を制限し、あまり動的でないコンテンツのときには速くなるように平滑化係数速度を動的に修正して、ラウドネス低下をより速く検出する（例えば、図１０Ａ）ことによって達成され得る。平滑化係数を動的に修正するラウドネス低下検出システムの一例を以下説明する。
【０１２９】
動的平滑化係数は、ラウドネス低下検出性能を改善するために、図８のシステム８００に組み込まれ得る。図１１は、一実施形態による、動的平滑化係数を有するラウドネス低下検出システム１１００のブロック図である。特に図１１は、標準偏差モジュール１１３５をラウドネス低下検出システム１１００に一体化することを示している。標準偏差モジュール１１３５は、信号依存の方法で時間的平滑化コンポーネント１１１０及び１１１５が平滑化係数αslow及びαfastを動的に修正し得るように、信号ダイナミックスの推定を提供することができる。ラウドネス低下検出システム１１００は、ラウドネス測定モジュール１１０５、減算モジュール１１２０、半波整流モジュール１１２５及び正規化モジュール１１３０も含むことができる。
【０１３０】
ラウドネス低下検出システム１１００は、音声信号ｘ［ｎ］を受け取り、ｍをインデックスとして、時間的に変化するラウドネス低下検出推定ｄｒｏｐ［ｍ］を出力することができ、これによりｄｒｏｐ［ｍ］は、顕著なラウドネスレベル低下が生じているかどうかを示す。ラウドネス低下検出推定は、例えば範囲［０，１］上で定義され、０はラウドネス低下が存在しないことを示し、１は大きなラウドネス低下がちょうど生じたばかりであることを示し、これらの間の値は、より小さな、又はより穏やかなラウドネス低下を示す指標である。しかし他の低下検出値も使用できる。ラウドネス測定モジュール１１０５、時間的平滑化コンポーネント１１１０及び１１１５、減算モジュール１１２０、半波整流モジュール１１２５並びに正規化モジュール１１３０は、図８で説明されているラウドネス測定モジュール８０５、時間的平滑化コンポーネント８１０及び８１５、減算モジュール８２０、半波整流モジュール８２５並びに正規化モジュール８３０と同様の動作をすることができる。
【０１３１】
前述したように平滑化されたラウドネス推定μslow［ｍ］及びμfast［ｍ］の相対的挙動は、検出されるラウドネス低下の頻度及び程度に影響を及ぼし得る。したがって平滑化係数αslow及びαfastに適切な値を使用することで、異なる種類の入力信号に対して適切な性能を達成することができる。
【０１３２】
信号ダイナミックスは、短期的なラウドネス推定の修正された標準偏差尺度を計算することによって、標準偏差モジュール１１３５を介して推定され得る。ラウドネス平均は、短期的なラウドネス推定Ｌshort,dB［ｍ］を時間的に平滑することによって推定され得る。平滑化係数αLは、数式４２に固有であり、μL［ｍ］が所望の平均窓長に近似するように選択され得る。
【０１３３】
【数４２】
0006328627.tif 000043
短期的なラウドネス推定とその推定された平均との差を取ることができる。
【０１３４】
【数４３】
0006328627.tif 000044
この差は、正に半波整流され、平方され得る。
【０１３５】
【数４４】
0006328627.tif 000045
半波整流は、一般的な標準偏差尺度の一部でない場合があるが、ラウドネス低下とラウドネス増加とを区別するのに役立ち得る。差分信号ｄ［ｍ］は、ラウドネス低下中は負であり、したがって正の半波整流を適用することによって、その結果得られる平方された差分値は、ラウドネス増加にのみ基づき得る。この計算において効果的にラウドネス低下を取り除くことによって、レベルが低い短期的なダイナミックス及び場合によっては大きな長期的なラウドネス低下（例えば図１０Ａ及び１０Ｃに示されているラウドネス低下）の信号では、低い平方された差分値ｄrect［ｍ］が得られ、レベルが高い短期的なダイナミックス（例えば、図１０Ｂ及び１０Ｄに示されているラウドネス低下）の信号では、高い平方された差分値ｄrect［ｍ］が得られる。
【０１３６】
整流され、平方された差分ｄrect［ｍ］は、数式４５に固有の平滑化係数αstdで時間的に平滑化され、その平方根を取ることによって、短期的なラウドネス推定の標準偏差σ［ｍ］の推定を得ることができる。
【０１３７】
【数４５】
0006328627.tif 000046
推定された標準偏差σ［ｍ］は、次いで、前述したｄｒｏｐ［ｍ］と同様に、平行移動、拡大縮小及び飽和などの方法を使用して、例えば範囲［０，１］に正規化され得る。
【０１３８】
一例において、その結果得られる正規化標準偏差σnorm［ｍ］は、時間的平滑化コンポーネント１１１０及び１１１５のそれぞれにおいて、平滑化係数αslow［ｍ］及びαfast［ｍ］を動的に変調するために使用され得る。例えば平滑化係数αslow［ｍ］及びαfast［ｍ］は、２つの所定の平滑化係数速度の間、最低速度と最高速度との間で線形補間され得る。前述したように平滑化係数αslow［ｍ］は、等しいアタックリリース速度を有するのが望ましいので、最低速度と最高速度との間で単純に線形補間され得る。
【０１３９】
【数４６】
0006328627.tif 000047
ただしαslow,max＞αslow,min、換言すればαslow,maxは、αslow,minより高速である。標準偏差尺度が高い場合、例えばσnorm［ｍ］＝１である場合、αslow［ｍ］は、低速の値αslow,minに設定され得る。標準偏差尺度が低い場合、例えば、σnorm［ｍ］＝０である場合、αslow［ｍ］は、高速の値αslow,maxに設定され得る。標準偏差尺度がこれらの間にある場合、例えば０＜σnorm［ｍ］＜１である場合、αslow［ｍ］は、最低速度と最高速度との間で線形補間され得る。
【０１４０】
前述したように性能は、正規化標準偏差に基づいてリリース係数が最低速度と最高速度との間で線形補間される間、アタック係数が高速に維持されるように、平滑化係数αfast［ｍ］のアタック速度とリリース速度が独立して計算されるときに改善され得る。
【０１４１】
【数４７】
0006328627.tif 000048
ただしαfast,max及びαfast,minは、所定の平滑化係数であり、αfast,max＞αfast,min、換言すればαfast,maxは、αfast,minより高速である。
【０１４２】
図１２Ａ及び１２Ｂは、これらの動的平滑化係数の修正を適用した結果の例を示している。図１２Ａ及び１２Ｂは、図９及び図１０Ａ〜１０Ｄと同様に、例えば図１１のラウドネス低下検出システム１１００等のラウドネス低下検出システムにおける短期的なラウドネス推定Ｌshort,dB［ｍ］（実線）、２つの平滑化されたフィルター出力μslow［ｍ］（鎖線）及びμfast［ｍ］（破線）、並びにラウドネス低下検出信号ｄｒｏｐ［ｍ］（下側のプロット）を示している。図１２Ａのラウドネス低下検出信号ｄｒｏｐ［ｍ］は、真のラウドネス低下の発生から０．５秒以内の正確な検出を示している。図１２Ｂのラウドネス低下検出信号ｄｒｏｐ［ｍ］は、短期的な信号ダイナミックスで誤検出がないことを示している。図１２Ａ及び１２Ｂは、図１０Ａ〜１０Ｄに示されている静的平滑化係数に対し、信号依存の動的平滑化係数を使用することによって行える改善を図示している。
【０１４３】
図８のラウドネス低下検出システム８００及び図１１のラウドネス低下検出システム１１００は、図２に示されているラウドネスコントロールシステム２００のように、ラウドネスコントロールシステムに一体化することができる。図１３は、図８で説明されているラウドネス低下検出システム８００又は図１１で説明されているラウドネス低下検出システム１１００などのラウドネス低下検出モジュール１３２５を備えるラウドネスコントロールシステム１３００の高水準ブロック図を示している。
【０１４４】
ラウドネスコントロールシステム１３００は、ラウドネス測定モジュール１３０５、ラウドネス低下検出モジュール１３２５、時間的平滑化モジュール１３１０及び利得補正モジュール１３１５を含み得る。ラウドネス測定モジュール１３０５及び利得補正モジュール１３１５は、図２で説明されているラウドネス測定モジュール２０５及び利得補正モジュール２１５に関して説明されている動作と同様の動作をし得る。
【０１４５】
図２のラウドネスコントロールシステム２００に関して説明されているように、時間的平滑化モジュール１３１０は、別々の「アタック」及び「リリース」平滑化係数を備えることができる。リリース平滑化係数αreleaseは、ラウドネスコントロールで利得レベルを高めることができる速度を制御し得る。高速なαrelease値は、ラウドネスコントロールで利得レベルを速く高めることを可能にし、低速なαrelease値は、利得レベルを高めることができる速度を制限し得る。
【０１４６】
単純なラウドネスコントロールシステムは、コンテンツ内及びコンテンツ間のダイナミックスをバランスさせるように選択された信号独立の所定値に平滑化係数αreleaseを設定し得るが、これは最適な性能を妥協することになる。ラウドネス低下検出を一体化することによってラウドネスコントロールシステムは、コンテンツ間ダイナミックス及びコンテンツ内ダイナミックスの両方が適切に処理されるように、平滑化係数αrelease［ｍ］を動的に修正することができる。ラウドネス低下検出がない間、例えばｄｒｏｐ［ｍ］＝０の場合、αrelease［ｍ］は、コンテンツ内ダイナミックスを維持する所定の既定値αrelease,defに設定され得る。ラウドネス低下が検出された場合、例えばｄｒｏｐ［ｍ］＝１のとき、αrelease［ｍ］は、所定の値αrelease,maxまで加速され、それによって例えばコンテンツ間遷移の際に、利得レベルを速く高めることができる。部分的低下検出の間、例えば０＜ｄｒｏｐ［ｍ］＜１の場合には、αrelease［ｍ］値が極値と極値との間で線形補間され得る。
【０１４７】
【数４８】
0006328627.tif 000049
大きなラウドネス低下に対してラウドネス低下検出値が高い場合には、より小さなラウドネス低下に比べて利得回復が速くなる可能性がある。これは、ランプの持続時間を短縮することによって顕著な「ランピング」アーチファクトを軽減する働きをし得る。
【０１４８】
ラウドネス低下からの回復は、固定された長さの時間内に広範囲のラウドネス低下から回復することによっても達成し得る。例えばラウドネス低下からの回復は、ラウドネス低下の及ぶ範囲にかかわらず、３秒以内に行われるのが望ましい。ラウドネス低下の推定を使用することで、ラウドネス低下の及ぶ範囲と無関係に、この長さの時間内の回復を確実にする適切な平滑化係数αrelease［ｍ］を計算し得る。
【０１４９】
別の実施形態によれば、図３のシステム３００又は図５のシステム５００などの雑音検出システム、及び図８のシステム８００又は図１１のシステム１１００などのラウドネス低下検出システムは、いずれも図２のシステム２００などのラウドネスコントロールシステムに一体化され得る。図１４は、一実施形態による、雑音検出及びラウドネス低下検出を行うラウドネスコントロールシステム１４００のブロック図である。
【０１５０】
ラウドネスコントロールシステム１４００は、ラウドネス測定モジュール１４０５、雑音検出モジュール１４２０、ラウドネス低下検出モジュール１４２５、時間的平滑化モジュール１４１０及び利得補正モジュール１４１５を含み得る。ラウドネス測定モジュール１４０５及び利得補正モジュール１４１５は、図２で説明されているラウドネス測定モジュール２０５及び利得補正モジュール２１５に関して説明されている動作と同様の動作をし得る。雑音検出モジュール１４２０は、図３で説明されている周波数雑音検出システム３００又は図５で説明されている周波数雑音検出システム５００に関して説明されている動作と同様の動作をし得る。ラウドネス低下検出モジュール１４２５は、図８で説明されているラウドネス低下検出システム８００又は図１１で説明されているラウドネス低下検出システム１１００に関して説明されている動作と同様の動作をし得る。
【０１５１】
時間的平滑化モジュール１４１０は、図７で説明されている時間的平滑化モジュール７１０及び図１３で説明されている時間的平滑化モジュール１３１０に関して説明されている動作と同様の動作をし得る。時間的平滑化モジュール１４１０は、図７の説明で示されているような平滑化係数を遅くすることができるコンテンツ対雑音分類値を受け取り、図１３の説明で示されているような平滑化係数の速度を高めることができるラウドネス低下検出値も受け取ることができる。コンテンツ対雑音分類に基づいて平滑化係数を遅くするか、又はラウドネス低下検出に基づいて平滑化係数の速度を高めるか、或いはこれら２つの組合せを介して新しい速度を計算するかの決定は、多数のトレードオフを伴う決定であり、アプリケーション特有であり得る。一実施形態において、時間的平滑化モジュール１４１０のリリース平滑化係数αrelease［ｍ］は、以下のように、数式３５及び４８の結果の平均を介するコンテンツ対雑音分類値とラウドネス低下検出値との一次結合によって、動的に修正され得る。
【０１５２】
【数４９】
0006328627.tif 000050
特定の組合せで特徴及び構成要素が上記説明されているが、当業者であれば、それぞれの特徴又は構成要素は単独で、あるいは他の特徴及び要素と組み合わせて使用できることを理解するであろう。本明細書で説明されている特徴及び構成要素は、いずれも個別のモジュールとして実装され得るか、又は特徴のセット若しくは一部が組み合わされて共通のプログラム可能なモジュールに実装され得る。
【０１５３】
さらに本明細書で説明されているシステム及び方法は、コンピュータ又はプロセッサにより実行できるようにコンピュータ可読媒体内に組み込まれたコンピュータプログラム、ソフトウェア又はファームウェアでハードウェアに実装され得る。コンピュータ可読媒体の例としては、電子信号（有線又はワイヤレス接続で送信される）及びコンピュータ可読記憶媒体が挙げられる。コンピュータ可読記憶媒体の例としては、特にこれらに限定はされないが、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスク及びリムーバブルディスクなどの磁気媒体、光磁気媒体、並びにＣＤ−ＲＯＭディスク及びデジタル多用途ディスク（ＤＶＤ）などの光学媒体が挙げられる。
【図１】
0006328627.tif 000051
【図２】
0006328627.tif 000052
【図３】
0006328627.tif 000053
【図４Ａ】
0006328627.tif 000054
【図４Ｂ】
0006328627.tif 000055
【図４Ｃ】
0006328627.tif 000056
【図４Ｄ】
0006328627.tif 000057
【図４Ｅ】
0006328627.tif 000058
【図５】
0006328627.tif 000059
【図６Ａ】
0006328627.tif 000060
【図６Ｂ】
0006328627.tif 000061
【図７】
0006328627.tif 000062
【図８】
0006328627.tif 000063
【図９】
0006328627.tif 000064
【図１０Ａ】
0006328627.tif 000065
【図１０Ｂ】
0006328627.tif 000066
【図１０Ｃ】
0006328627.tif 000067
【図１０Ｄ】
0006328627.tif 000068
【図１１】
0006328627.tif 000069
【図１２Ａ】
0006328627.tif 000070
【図１２Ｂ】
0006328627.tif 000071
【図１３】
0006328627.tif 000072
【図１４】
0006328627.tif 000073