(57)【要約】  本発明は、オーディオ信号の感知音量及び／又は感知スペクトルバランスの計測と制御に関する。オーディオ信号は、少なくとも部分的には感知（音響心理学的）音量領域でなされた計算に応答して修正する。本発明は、例えば、音量補償ボリューム制御、自動ゲイン制御、ダイナミックレンジ制御（例えば、リミッター、圧縮器、伸張器、等を含む）、ダイナミックイコライゼーション、及び、オーディオ再生環境における暗騒音の相殺、のうちの１つ以上で有用である。本発明には方法が含まれるのみならず対応するコンピュータプログラム及び装置が含まれる。
2008518565.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ信号の特定ラウドネスを制御するのに有用な情報を導き出す方法であって、
特定ラウドネスは、周波数と時間の関数としての感知音量の指標であり、
オーディオ信号の特定ラウドネスと目標特定ラウドネスとの差を縮めるために、前記オーディオ信号を修正するのに有用な修正パラメータを導き出すステップを具備することを特徴とする方法。
【請求項２】
オーディオ信号の部分特定ラウドネスを制御するのに有用な情報を導き出す方法であって、
特定ラウドネスは、周波数と時間の関数としての感知音量の指標であり、信号の部分特定ラウドネスは、２次的な干渉性のあるサウンドの存在下で周波数と時間の関数としてのその信号の感知音量の指標であり、
オーディオ信号の部分特定ラウドネスと目標特定ラウドネスとの差を縮めるために、前記オーディオ信号を修正するのに有用な修正パラメータを導き出すステップを具備することを特徴とする方法。
【請求項３】
オーディオ信号の特定ラウドネスを制御する方法であって、
特定ラウドネスは、周波数と時間の関数としての感知音量の指標であり、
オーディオ信号の特定ラウドネスと目標特定ラウドネスとの差を縮めるために、オーディオ信号を修正するステップを具備することを特徴とする方法。
【請求項４】
オーディオ信号の部分特定ラウドネスを制御する方法であって、
特定ラウドネスは、周波数と時間の関数としての感知音量の指標であり、信号の部分特定ラウドネスは、２次的な干渉性のあるサウンドの存在下で周波数と時間の関数としてのその信号の感知音量の指標であり、
オーディオ信号の部分特定ラウドネスと目標特定ラウドネスとの差を縮めるために、オーディオ信号を修正するステップを具備することを特徴とする方法。
【請求項５】
前記修正するステップ又は導き出すステップでは、前記オーディオ及び目標特定ラウドネス又は目標特定ラウドネスを代理するものを、伝達系から受け取り又は保存媒体から再生することを特徴とする請求項１乃至請求項４のいずれか１項に記載の方法。
【請求項６】
前記修正するステップでは、修正したオーディオ信号を供給するために修正パラメータに従い前記オーディオ信号を修正し、かつ、前記修正するステップでは、前記オーディオ及び前記修正パラメータを、伝達系から受け取り又は保存媒体から再生することを特徴とする請求項３又は請求項４に記載の方法。
【請求項７】
前記修正するステップは、修正パラメータの生成を含むことを特徴とする請求項３又は請求項４に記載の方法。
【請求項８】
前記目標特定ラウドネスは、前記オーディオ信号の関数ではないことを特徴とする請求項１乃至請求項７のいずれか１項に記載の方法。
【請求項９】
前記修正するステップ又は前記導き出すステップは、目標特定ラウドネスを保存するステップを含むことを特徴とする請求項８に記載の方法。
【請求項１０】
前記修正するステップ又は前記導き出すステップは、前記方法の外部源から目標特定ラウドネスを受け取るステップを含むことを特徴とする請求項８に記載の方法。
【請求項１１】
前記修正するステップ又は前記導き出すステップは、特定ラウドネス及び／又は部分特定ラウドネスを明示的に計算する処理を含むことを特徴とする請求項８乃至請求項１０のいずれか１項に記載の方法。
【請求項１２】
前記修正するステップ又は前記導き出すステップは、特定ラウドネス及び／又は部分特定ラウドネスを黙示的に計算する処理を含むことを特徴とする請求項８乃至請求項１０のいずれか１項に記載の方法。
【請求項１３】
前記処理は、本質的に特定ラウドネス及び／又は部分特定ラウドネスを決定するようなルックアップテーブルを採用する採用することを特徴とする請求項１２に記載の方法。
【請求項１４】
特定ラウドネス及び／又は部分特定ラウドネスは、前記処理で採用された閉形式の数学表現で本質的に決定されることを特徴とする請求項１２に記載の方法。
【請求項１５】
前記目標特定ラウドネスは、時間的に不変であり周波数的に不変であることを特徴とする請求項８乃至請求項１４のいずれか１項に記載の方法。
【請求項１６】
前記目標特定ラウドネスは、時間的に不変であることを特徴とする請求項８乃至請求項１４のいずれか１項に記載の方法。
【請求項１７】
オーディオ信号を処理する方法であって、
目標特定ラウドネスを生成するために１以上の処理と１以上のプロセス制御パラメータにより前記オーディオ信号又は前記オーディオ信号の指標を処理するステップを具備し、特定ラウドネスは、周波数と時間の関数としてのオーディオ信号の感知音量の指標であることを特徴とする、方法。
【請求項１８】
前記目標特定ラウドネスは、前記オーディオ信号の関数又は前記オーディオ信号の指標の関数であることを特徴とする請求項１乃至請求項７及び請求項１７のいずれか１項に記載の方法。
【請求項１９】
前記オーディオ信号の指標は、前記オーディオ信号の特定ラウドネスであることを特徴とする請求項１８に記載の方法。
【請求項２０】
前記オーディオ信号の関数又は前記オーディオ信号の指標の関数は、オーディオ信号又はオーディオ信号の指標の１以上の圧伸であることを特徴とする請求項１８又は請求項１９に記載の方法。
【請求項２１】
2008518565.tif 000076
【請求項２２】
前記圧伸は、少なくとも一部は、好ましい複数帯域音量と前記オーディオ信号の複数帯域音量との比により定められることを特徴とする請求項２１に記載の方法。
【請求項２３】
前記圧伸は、以下のような関係で、Ｌｏ［ｂ，ｔ］／Ｌｉ［ｂ，ｔ］として表現でき、
【数１】
2008518565.tif 000077
2008518565.tif 000078
【請求項２４】
Ｌｏ［ｂ，ｔ］は、Ｌｉ［ｂ，ｔ］の関数であることを特徴とする請求項２３に記載の方法。
【請求項２５】
Ｌｉ［ｂ，ｔ］の関数としてのＬｏ［ｂ，ｔ］は、下記のように表現することができ、
Ｌｏ［ｂ，ｔ］＝ＤＲＣ｛Ｌｉ［ｂ，ｔ］｝
ここで、ＤＲＣ｛｝は、Ｌｉ［ｂ，ｔ］からＬｏ［ｂ，ｔ］ヘの写像するダイナミックレンジ関数であることを特徴とする請求項２４に記載の方法。
【請求項２６】
Ｌｉ［ｂ，ｔ］は、前記オーディオ信号の前記特定ラウドネスの時間的に平滑化したもの及び／又は周波数的に平滑化したものであることを特徴とする請求項２３に記載の方法。
【請求項２７】
前記方法は、前記修正するステップ又は、前記修正パラメータを生成する応用例又は、目標特定ラウドネスが、前記感知されたオーディオスペクトル又は干渉性信号の存在下で感知されたオーディオスペクトルが異なった特定ラウドネスの圧伸の値に対して異なる値となることができるオーディオ信号に対応する、ダイナミックレンジ制御として有用であることを特徴とする請求項２２乃至請求項２６のいずれか１項に記載の方法。
【請求項２８】
前記ダイナミックレンジ関数は、各帯域に適用した平均変化がすべての帯域で実質的に等しいとき、各帯域に適用した短期変化が帯域間で独立に変化するよう各帯域の音量を制御することを特徴とする請求項２７に記載の方法。
【請求項２９】
Ｌｉ［ｂ，ｔ］の関数としてのＬｏ［ｂ，ｔ］は、下記のように表現することができ、
【数２】
2008518565.tif 000079
2008518565.tif 000080
【請求項３０】
前記方法は、前記修正するステップ又は、前記修正パラメータを生成する応用例又は、目標特定ラウドネスが、前記感知されたオーディオスペクトル又は干渉性信号の存在下で感知されたオーディオスペクトルが異なった特定ラウドネスの圧伸の値に対して、前記オーディオ信号の感知されたオーディオスペクトルの圧伸と実質的に同じ値となることができるオーディオ信号に対応する、ダイナミックレンジ制御として有用であることを特徴とする請求項２８又は請求項２９に記載の方法。
【請求項３１】
前記特定ラウドネスは、好ましいスペクトル形状の指標の前記オーディオ信号のスペクトル形状の指標に対する比で圧伸されることを特徴とする請求項２１に記載の方法。
【請求項３２】
前記方法は、オーディオ信号の感知されたスペクトルを時間的に変化する感知されたスペクトルから時間的に変化しない感知されたスペクトルへと変換することを特徴とする請求項３１に記載の方法。
【請求項３３】
2008518565.tif 000081
【請求項３４】
前記パラメータβは前記方法の外部源により選択又は制御されることを特徴とする請求項３３に記載の方法。
【請求項３５】
前記外部源は、前記方法のユーザであることを特徴とする請求項３４に記載の方法。
【請求項３６】
前記方法は、前記修正するステップ又は、前記修正パラメータを生成する応用例又は、前記目標特定ラウドネスが、感知されたオーディオスペクトル又は干渉性信号の存在下での感知されたオーディオスペクトルが異なった特定ラウドネスの圧伸の値に対して異なる値となることができるオーディオ信号に対応する、ダイナミックイコライザーとして有用であることを特徴とする請求項３１乃至請求項３５のいずれか１項に記載の方法。
【請求項３７】
前記オーディオ信号の複数帯域音量は、前記オーディオ信号をクリティカル帯域に分割し前記クリティカル帯域のいくつかについて周波数平滑化することにより、概算することを特徴とする請求項２１乃至請求項３６のいずれか１項に記載の方法。
【請求項３８】
特定の帯域ｂで複数帯域音量の帯域平滑化したもの、すなわちＬ［ｂ，ｔ］は、全帯域ｃでの畳み込み積算として以下のように表現され、
【数３】
2008518565.tif 000082
ここで、Ｎ［ｂ，ｔ］は、前記オーディオ信号の特定ラウドネスであり、Ｑ（ｂ−ｃ）は前記平滑フィルターの帯域シフトした応答であることを特徴とする請求項３７に記載の方法。
【請求項３９】
前記１以上の平滑化は、下式の関係で特定ラウドネスを圧伸する時間的に変化し周波数的に変化しないスケールファクタを含み
【数４】
2008518565.tif 000083
2008518565.tif 000084
【請求項４０】
前記圧伸は、少なくとも一部は、好ましい広帯域音量と前記オーディオ信号の広帯域音量との比により定められることを特徴とする請求項３９に記載の方法。
【請求項４１】
前記オーディオ信号の特定ラウドネスの関数における前記圧伸は、下式のような関係で、Ｌｏ［ｂ，ｔ］／Ｌｉ［ｂ，ｔ］として表現でき、
【数５】
2008518565.tif 000085
2008518565.tif 000086
【請求項４２】
Ｌｏ［ｔ］は、Ｌｉ［ｔ］の関数であることを特徴とする請求項４１に記載の方法。
【請求項４３】
Ｌｉ［ｔ］の関数としてのＬｏ［ｔ］は、下式のように表現することができ、
Ｌｏ［ｔ］＝ＤＲＣ｛Ｌｉ［ｔ］｝
ここで、ＤＲＣ｛｝は、Ｌｉ［ｔ］からＬｏ［ｔ］ヘの写像するダイナミックレンジ関数であることを特徴とする請求項４２に記載の方法。
【請求項４４】
Ｌｉ［ｔ］は、前記オーディオ信号の前記特定ラウドネスの時間的に平滑化したものであることを特徴とする請求項４１に記載の方法。
【請求項４５】
Ｌｉ［ｔ］は、前記オーディオ信号の長期音量の指標であることを特徴とする請求項４１に記載の方法。
【請求項４６】
Ｌｉ［ｔ］は、前記オーディオ信号の短期音量の指標であることを特徴とする請求項４１に記載の方法。
【請求項４７】
前記方法は、前記修正するステップ又は、前記修正パラメータを生成する応用例又は、前記目標特定ラウドネスが、感知されたオーディオスペクトル又は干渉性信号の存在下での感知されたオーディオスペクトルが前記オーディオ信号の感知されたオーディオスペクトルの圧伸の値として異なった特定ラウドネスの圧伸の値又は異なった部分特定ラウドネスの圧伸の値に対して実質的に同じ値となることができるオーディオ信号に対応する、自動ゲイン制御又はダイナミックレンジ制御として有用であることを特徴とする請求項３９乃至請求項４６のいずれか１項に記載の方法。
【請求項４８】
前記スケールファクタは、前記オーディオ信号の関数又は前記オーディオ信号の指標の関数であることを特徴とする請求項２１乃至請求項４７のいずれか１項に記載の方法。
【請求項４９】
前記１以上の圧伸は、下式の関係の特定ラウドネスの圧伸を行う、時間的に変化せず周波数的に変化するスケールファクタΘ［ｂ］を含み、
【数４】
2008518565.tif 000087
2008518565.tif 000088
【請求項５０】
前記修正するステップ又は前記導き出すステップは、スケールファクタΘ［ｂ］を保存するステップを含むことを特徴とする請求項４９に記載の方法。
【請求項５１】
前記スケールファクタΘ［ｂ］は、前記方法の外部源から受け取ることを特徴とする請求項４９に記載の方法。
【請求項５２】
前記１以上の圧伸は、下式の関係の特定ラウドネスの圧伸を行う、時間的に変化せず周波数的に変化しないスケールファクタαを含み、
【数７】
2008518565.tif 000089
2008518565.tif 000090
【請求項５３】
前記修正するステップ又は前記導き出すステップは、スケールファクタαを保存するステップを含むことを特徴とする請求項５２に記載の方法。
【請求項５４】
前記スケールファクタαは、前記方法の外部源から受け取ることを特徴とする請求項５２に記載の方法。
【請求項５５】
前記方法は、前記修正するステップ又は、前記修正パラメータを生成する応用例又は、前記目標特定ラウドネスが、感知されたオーディオスペクトル又は干渉性信号の存在下での感知されたオーディオスペクトルが前記オーディオ信号の感知されたオーディオスペクトルの圧伸の値として異なった特定ラウドネスの圧伸の値又は異なった部分特定ラウドネスの圧伸の値に対して実質的に同じ値となることができるオーディオ信号に対応する、音量制御として有用であることを特徴とする請求項４９乃至請求項５４のいずれか１項に記載の方法。
【請求項５６】
前記スケールファクタは、前記オーディオ信号の関数でも前記オーディオ信号の指標の関数でもないことを特徴とする請求項４９乃至請求項５５のいずれか１項に記載の方法。
【請求項５７】
前記修正するステップ又は、前記導き出すステップ又は、前記生成するステップは、（１）特定ラウドネス、及び／又は、（２）部分特定ラウドネス、及び／又は、（３）目標特定ラウドネスを明示的に計算することを特徴とする請求項１乃至請求項５６のいずれか１項に記載の方法。
【請求項５８】
前記修正するステップ又は、前記導き出すステップ又は、前記生成するステップは、（１）特定ラウドネス、及び／又は、（２）部分特定ラウドネス、及び／又は、（３）目標特定ラウドネスを黙示的に計算することを特徴とする請求項１乃至請求項５６のいずれか１項に記載の方法。
【請求項５９】
前記修正するステップ又は、前記導き出すステップ又は、前記生成するステップは、本質的に（１）特定ラウドネス、及び／又は、（２）部分特定ラウドネス、及び／又は、（３）目標特定ラウドネスを決定するルックアップテーブルを採用することを特徴とする請求項５８に記載の方法。
【請求項６０】
前記修正するステップ又は、前記導き出すステップ又は、前記生成するステップは、本質的に（１）特定ラウドネス、及び／又は、（２）部分特定ラウドネス、及び／又は、（３）目標特定ラウドネスを決定する閉形式の数学表現を採用することを特徴とする請求項５８に記載の方法。
【請求項６１】
前記修正するステップ又は、前記導き出すステップは、前記オーディオ信号と前記修正パラメータを（１）伝達しそして受け取り、又は（２）保存しそして再生することを特徴とする、請求項１及び請求項２及び請求項７のいずれか１項、及び、請求項１又は請求項２又は請求項７の従属項としての請求項８乃至請求項１６と請求項１８乃至請求項６０のいずれか１項に記載の方法。
【請求項６２】
前記修正パラメータは時間的に平滑化されていることを特徴とする、請求項１及び請求項２及び請求項６及び請求項７のいずれか１項、及び、請求項１又は請求項２又は請求項６又は請求項７の従属項としての請求項８乃至請求項１６と請求項１８乃至請求項６０のいずれか１項に記載の方法。
【請求項６３】
前記修正パラメータは、前記オーディオ信号の周波数帯域に関する複数の振幅スケールファクタを具備することを特徴とする請求項６２に記載の方法。
【請求項６４】
前記複数の振幅スケールファクタの少なくともいくつかは、時間的に変化することを特徴とする請求項６３に記載の方法。
【請求項６５】
前記修正パラメータは、１以上のフィルターを制御するためのフィルター係数を含むことを特徴とする請求項６２に記載の方法。
【請求項６６】
前記１以上のフィルターの少なくともいくつかは時間的に変化し、前記フィルター係数の少なくともいくつかは時間的に変化することを特徴とする請求項６５に記載の方法。
【請求項６７】
前記修正するステップ又は、前記導き出すステップ又は、前記生成するステップは、
干渉性オーディオ信号の指標と、
目標特定ラウドネスと、
前記修正されたオーディオ信号の前記特定ラウドネス又は前記部分特定ラウドネスから導き出された修正されていないオーディオ信号の特定ラウドネスの推定値と、
前記修正されていないオーディオ信号の特定ラウドネスと、
前記修正されたオーディオ信号の前記特定ラウドネス又は前記部分特定ラウドネスから導き出された目標特定ラウドネスの近似値と、
のうちの１以上と独立であることを特徴とする請求項１乃至請求項６６のいずれか１項に記載の方法。
【請求項６８】
前記修正するステップ又は、前記導き出すステップは、少なくとも部分的には、
干渉性オーディオ信号の指標と、
目標特定ラウドネスと、
前記修正されたオーディオ信号の前記特定ラウドネス又は前記部分特定ラウドネスから導き出された修正されていないオーディオ信号の特定ラウドネスの推定値と、
前記修正されていないオーディオ信号の特定ラウドネスと、
前記修正されたオーディオ信号の前記特定ラウドネス又は前記部分特定ラウドネスから導き出された目標特定ラウドネスの近似値と、
のうちの１以上から修正パラメータを導き出すことを特徴とする、請求項１乃至請求項４及び請求項７、及び、請求項１乃至請求項４又は請求項７のいずれか１項の従属項としての請求項８乃至請求項１６と請求項１８乃至請求項６０のいずれか１項に記載の方法。
【請求項６９】
前記修正するステップ又は、前記導き出すステップは、少なくとも部分的には、
（１）目標特定ラウドネスと、
前記修正されたオーディオ信号の前記特定ラウドネスから受け取った修正されていないオーディオ信号の特定ラウドネスの推定値と、
のうちの１つと、
（２）前記修正されていないオーディオ信号の特定ラウドネスと、
前記修正されたオーディオ信号の前記特定ラウドネスから導き出された目標特定ラウドネスの近似値と、
のうちの１つと、
から修正パラメータを導き出すことを特徴とする、請求項６８に記載の方法。
【請求項７０】
前記修正するステップ又は、前記導き出すステップは、少なくとも部分的には、
（１）干渉性オーディオ信号の指標と、
（２）目標特定ラウドネスと、
前記修正されたオーディオ信号の前記部分特定ラウドネスから導き出された修正されていないオーディオ信号の特定ラウドネスの推定値と、
のうちの１つと、
（３）前記修正されていないオーディオ信号の特定ラウドネスと、
前記修正されたオーディオ信号の前記部分特定ラウドネスから導き出された目標特定ラウドネスの近似値と、
のうちの１つと、
から修正パラメータを導き出すことを特徴とする、請求項６８に記載の方法。
【請求項７１】
前記方法は、前記特定ラウドネスを前記オーディオ信号から導き出すフィードフォワード構成を採用し、前記修正するステップ又は前記導き出すステップが目標特定ラウドネスを保存するステップを含むとき、前記目標特定ラウドネスを前記方法の外部源又は保存場所から受け取ることを特徴とする請求項６９又は請求項７０に記載の方法。
【請求項７２】
前記方法は、前記目標特定ラウドネスの近似値を前記修正されたオーディオ信号から導き出すフィードフォワード／フィードバックのハイブリッド構成を採用し、前記修正するステップ又は前記導き出すステップが目標特定ラウドネスを保存するステップを含むとき、前記目標特定ラウドネスを前記方法の外部源又は保存場所から受け取ることを特徴とする請求項６９又は請求項７０に記載の方法。
【請求項７３】
前記修正するステップ又は前記導き出すステップは、それにより明示的又は黙示的に前記オーディオ信号の関数又は前記オーディオ信号の指標の関数を計算する目標特定ラウドネスを明示的又は黙示的に取得するための処理を含むことを特徴とする請求項６９又は請求項７０に記載の方法。
【請求項７４】
前記方法は、前記特定ラウドネスと目標特定ラウドネスとを前記オーディオ信号から導き出すフィードフォワード構成を採用し、前記目標特定ラウドネスの導出は、前記オーディオ信号の関数又は前記オーディオ信号の指標の関数を採用することを特徴とする請求項７３に記載の方法。
【請求項７５】
前記方法は、前記目標特定ラウドネスの近似値を前記修正されたオーディオ信号から導き出して、前記目標特定ラウドネスをオーディオ信号から導き出すフィードフォワード／フィードバックのハイブリッド構成を採用し、前記目標特定ラウドネスの導出は、前記オーディオ信号の関数又は前記オーディオ信号の指標の関数を採用することを特徴とする請求項７３に記載の方法。
【請求項７６】
前記修正するステップ又は前記導き出すステップは、それにより明示的又は黙示的に前記オーディオ信号の逆関数又は前記オーディオ信号の指標の逆関数を計算する、前記修正されたオーディオ信号に応答して前記修正されていないオーディオ信号の特定ラウドネスの推定値を明示的又は黙示的に取得するための処理を含むことを特徴とする請求項６９又は請求項７０に記載の方法。
【請求項７７】
前記方法は、前記修正されていないオーディオ信号の特定ラウドネスの推定値と前記目標特定ラウドネスの近似値とを前記修正されたオーディオ信号から導き出す、フィードバック構成を採用し、特定ラウドネスの推定値を前記オーディオ信号の逆関数又は前記オーディオ信号の指標の逆関数を用いて計算することを特徴とする請求項７６に記載の方法。
【請求項７８】
前記方法は、前記特定ラウドネスを前記オーディオ信号から導き出し、前記修正されていないオーディオ信号の特定ラウドネスの推定値を修正されたオーディオ信号から導き出す、フィードフォワード／フィードバックのハイブリッド構成を採用し、前記推定値の導出を前記オーディオ信号の逆関数又は前記オーディオ信号の指標の逆関数を用いて計算することを特徴とする請求項７６に記載の方法。
【請求項７９】
前記修正するステップ又は導き出すステップは、前記オーディオ信号及び前記目標特定ラウドネスを（１）伝達し及び受け取るか又は、（２）保存し及び再生する、ことを特徴とする請求項１乃至請求項４及び請求項１７及び請求項１乃至請求項４又は請求項１７に従属する請求項１８乃至請求項７８のいずれか１項に記載の方法。
【請求項８０】
前記目標特定ラウドネスを代理するものは、オーディオ信号又はオーディオ信号の指標を圧伸する１以上のスケールファクタであることを特徴とする、請求項２０、請求項２１、請求項３９、請求項４９、又は請求項５２に従属する請求項７９に記載の方法。
【請求項８１】
修正されたオーディオ信号を生成するために前記修正パラメータを前記オーディオ信号に適用するステップをさらに具備することを特徴とする請求項１及び請求項２及び請求項６及び請求項７、及び、請求項１又は請求項２又は請求項６又は請求項７のいずれか１項の従属項としての請求項８乃至請求項１６と請求項１８乃至請求項８０のいずれか１項に記載の方法。
【請求項８２】
前記オーディオ信号及び前記目標特定ラウドネス又は前記目標特定ラウドネスを代理するものを伝達又は保存するステップをさらに具備することを特徴とする請求項１乃至請求項４及び請求項１７及び請求項１乃至請求項４又は請求項１７に従属する請求項１８乃至請求項７８のいずれか１項に記載の方法。
【請求項８３】
オーディオ信号及び前記目標特定ラウドネス又は前記目標特定ラウドネスを代理するものを受信又は再生するステップをさらに具備することを特徴とする請求項８２に記載の方法。
【請求項８４】
オーディオ信号の特定ラウドネスと前記目標特定ラウドネスとの差を減少させるために、前記オーディオ信号と前記目標特定ラウドネス又はそれを代理するものに応答して前記オーディオ信号を修正するステップをさらに具備することを特徴とする請求項８３に記載の方法。
【請求項８５】
前記目標特定ラウドネスを代理するものは、前記オーディオ信号又は前記オーディオ信号の指標を圧伸する１以上のスケールファクタであることを特徴とする請求項２０乃至請求項６０のいずれか１項に従属する請求項８２乃至請求項８４のいずれか１項に記載の方法。
【請求項８６】
前記オーディオ信号と前記修正パラメータとを伝達又は保存するステップをさらに具備することを特徴とする、請求項１及び請求項２及び請求項７及び、請求項１及び請求項２及び請求項７に従属する請求項１８乃至請求項６０のいずれか１項に記載の方法。
【請求項８７】
前記伝達又は保存されたオーディオ信号と前記修正パラメータとを受信し再生するステップをさらに具備することを特徴とする請求項８６に記載の方法。
【請求項８８】
前記修正パラメータに応答して前記オーディオ信号を修正するステップをさらに具備することを特徴とする請求項８７に記載の方法。
【請求項８９】
請求項１乃至請求項８８のいずれか１項に記載の方法を実施するための装置。
【請求項９０】
請求項１乃至請求項８８のいずれか１項に記載の方法をコンピュータに実行させるための、コンピュータ読取可能な媒体に保存されたコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はオーディオ信号処理に関する。さらに詳細には、本発明はオーディオ信号の感知音量及び／又は感知スペクトルバランスの計測と制御に関する。本発明は、例えば、音量補償ボリューム制御、自動ゲイン制御、ダイナミックレンジ制御（例えば、リミッター、圧縮器、伸張器、等を含む）、ダイナミックイコライゼーション、及び、オーディオ再生環境における暗騒音の相殺、のうちの１つ以上で有用である。本発明には方法が含まれるのみならず対応するコンピュータプログラム及び装置が含まれる。
【０００２】
なお、本願は米国暫定特許出願Ｓ．Ｎ．６０／６２２，４５８：２００４年１０月２６日出願、及びＳ．Ｎ．６０／６３８，６０７：２００４年１２月２１日出願、に基づく優先権を主張する。
【背景技術】
【０００３】
音量を計測する十分客観的な方法を開発する試みは何度もなされてきた。フレッチャーとマンソンは、人間の聴覚は中間周波（又は音声周波）より低周波又は高周波において感度が鈍くなることを１９３３年に明らかにした。彼らはまた、サウンドのレベルが上がってゆくにつれて感度が相対的に下がってゆくことも発見した。初期の音量メータは、マイクロフォン、増幅器、及び、低サウンドレベル、中間サウンドレベル、及び高サウンドレベルにおける聴覚の周波数応答を大雑把に模倣するよう組み合わせたフィルターにより構成されていた。
【０００４】
このような装置が単一で孤立したトーンの一定レベルの音量の計測を行なうが、もっと複雑なサウンドの計測においては、音量の主観的な印象とうまく合致しなかった。このタイプのサウンドレベルメータは標準化されているが、工業的なノイズの監視と制御のような特定の目的にのみ使われる。
【０００５】
１９５０年代前半、中でもツビッカーとスチーブンスが、フレッチャーとマンソンの研究を拡張して音量認識プロセスのより現実的なモデルを開発した。スチーブンスは、１９５６年に、Journal  of  the  Acoustical  Society  of  Americaに、「複合ノイズの音量の測定」方法を発表し、ツビッカーは、１９５８年に、Acousticaに、彼の「音量の心理的理論」の論文を発表した。１９５９年にツビッカーは、音量計算の図式的な手順を発表し、そのすぐ後いくつかの類似の論文を発表した。スチーブンスとツビッカーの方法は、ＩＳＯ  ５３２の（それぞれ）パートＡ及びパートＢとして規格化された。両方法は、同様の方法を必要とする。
【０００６】
まず、エキサイテーションと言われる、内耳基底膜に沿う時間的に変化するエネルギーの分布が、クリティカル帯域レートスケール上で均一な間隔を持つ中央周波数の通過帯域聴覚フィルターのバンクにオーディオを通すことによりシミュレートされる。各聴覚フィルターは、フィルターのその位置に対応する中央周波数を持ち、内耳基底膜に沿う特定の位置に対応する周波数応答をシミュレートするよう設計される。クリティカル帯域幅は、このようなフィルターの帯域幅として定義される。ヘルツ（Ｈｚ）で計測されて、これらの聴覚フィルターのクリティカル帯域幅は中央周波数の増大と共に増加する。したがって、全ての聴覚フィルターにおいてこのゆがんだスケールで計測したクリティカル帯域幅が一定になるようなゆがんだ周波数スケールを定義することは有益である。このようなゆがんだスケールは、クリティカル帯域レートスケールと称され、広い範囲の音響心理学的現象を理解しシミュレートする上で有益である。例えば、Ｅ．ツビッカーとＨ．ファステルによる「音響心理学‐実際とモデル」１９９０年ベルリン、を参照のこと。スチーブンスとツビッカーの方法は、バークスケールと称されるクリティカル帯域レートスケールを用い、そこでは、クリティカル帯域幅は５００Ｈｚ以下では一定であり、５００Ｈｚを越えると増大する。最近ではムーアとグラスバーグは、クリティカル帯域レートスケールを定義し、彼等はそれを等価直角帯域幅（Ｅｑｕｉｖａｌｅｎｔ  Ｒｅｃｔａｎｇｕｌａｒ  Ｂａｎｄｗｉｄｔｈ）（ＥＲＢ）スケールと名づけた。（B.  C.  J.  Moore,  B.  Glasberg,  T.  Baer,  「閾値音量と部分音量の予想のためのモデル」Journal  of  the  Audio  Engineering  Society,  Vol.  45,  No.  4,  １９９７年４月,  ２２４〜２４０ページ）。ノッチ雑音マスカーを用いた音響心理学的実験を通して、ムーアとグラスバーグは、バークスケールにおいてクリティカル帯域幅が一定であるのに対して、クリティカル帯域幅が５００Ｈｚ以下で減少し続けることを示した。
【０００７】
エキサイテーションの計算に続くのが、「特定ラウドネス」と称される量を生成する、非線形圧縮機能である。特定ラウドネスは、周波数及び時間の関数としての感知音量の指標であり、上述のバークスケール又はＥＲＢスケールのような、クリティカル帯域レートスケールに沿って単位周波数毎の感知音量を単位として測定することができる。最終的に時間的に変化する「トータル音量」は周波数横断的に特定ラウドネスを積算することで計算される。特定ラウドネスは、クリティカル帯域レートスケールに沿って一様に配分された有限個の聴覚フィルターから推定され、トータル音量は、各フィルターからの特定ラウドネスを単純に積算することにより計算することができる。
【０００８】
音量はフォンの単位で計測される。フォン単位の所定のサウンドの音量は、そのサウンドの音量に等しい主観的音量を持つ１ｋＨｚ毎の音圧レベル（ＳＰＬ）である。普通、ＳＰＬで０ｄＢは、２×１０−５パスカルの２乗平均平方根圧力であり、したがって０フォンでもある。１ｋＨｚにおける音量を持つ１ｋＨｚ以外の周波数のトーンの音量を比較するためにこの定義を用いて、等しい音量の曲線を所定のフォンレベルで定めることができる。図１１は、２０Ｈｚと１２．５ｋＨｚとの間の周波数、及び、４．２フォン（聴覚の閾値を考慮した）から１２０フォン（ＩＳ０２２６:１０８７（Ｅ）、「音質‐標準等音量レベル曲線」）までのフォンレベルにおける等音量レベルの曲線を示す。フォンの計測は、周波数の変化に対する人間の聴覚の感度の変化を考慮しているが、ＳＰＬにおける音量の増大の非直線性を補正する試み、すなわち曲線の間隔が変化するということに対する補正の試みがなされていないので、計測結果で、レベルが変化したときにサウンドの主観的相対音量を評価することはできない。
【０００９】
音量は、「ソーン」の単位で計測してもよい。図１１に示すように、フォン単位とソーン単位とでは１対１対応が成り立つ。１ソーンは、１ｋＨｚの純粋なサイン波で４０ｄＢ（ＳＰＬ）の音量で定義され、４０フォンと等価である。ソーン単位は感知する音量が２倍になったときソーン単位で２倍になるような単位である。例えば、４ソーンは２ソーンの２倍の大きさで感知される。このようにソーンで音量レベルを表現することはより参考になる。特定ラウドネスを感知音量の指標として、周波数と時間の関数として定義すると、特定ラウドネスは、単位周波数当たりのソーン単位で計測してもよい。したがって、バークスケールを用いたとき、特定ラウドネスは、ソーン毎バークとなり、同様にＥＲＢスケールを用いたとき、単位はソーン毎ＥＲＢとなる。
【００１０】
上述のように、人間の耳の感度は周波数とレベルの両方で変化し、この事実は音響心理学の文献によく記載されている。１つの結果によれば、感知された所定のサウンドのスペクトル又は音質は、そのサウンドを聞いたときの音量レベルと共に変化する。例えば、低周波数、中間周波数、及び高周波数を含むサウンドについて、このような周波数成分に相対的に比例する感知成分は、そのサウンドの全体的な音量と共に変化する。静かなときの低周波数成分のサウンドと高周波数成分のサウンドは、うるさいときの中間周波数より静かである。この現象はよく知られており、サウンドを再生する機器においていわゆる音量制御により緩和される。音量制御は、ボリュームを下げるとき、低周波、ときには高周波も強めるボリューム制御である。したがって、周波数の極限で耳の感度が低くなるのをそれらの周波数で人工的に増大させることにより補償する。このような制御は完全に受動的であり、補償の程度は、ボリューム制御の設定値又は他のユーザが操作する制御の設定値の関数であり、オーディオ信号内容の関数ではない。
【００１１】
実際には、低周波数、中間周波数、及び高周波数における感知される相対的スペクトルのバランスに変化は信号、特に、その実際のスペクトル及び意図しているのが大きな音か穏やかな音かに依存する。交響楽団のレコーディングを考える。聴衆の一員がコンサートホールで聞いたときと同じレベルで再生されたとすると、この交響楽団が大きな音で又は穏やかな音のどちらで演奏しているかによってスペクトル横断的なバランスを修正することができる。もし、例えばこの音楽が１０ｄＢ静かに再生されたならば、感知されたスペクトル横断的なバランスを、大きな音の部分に対してある方法で、静かな音の部分に対して別の方法で変化させる。従来の受動的音量制御では、音楽の関数として異なった補償を適用することはない。
【００１２】
シーフェルト他による、２００４年５月２７日に出願された国際特許出願Ｎｏ．ＰＣＴ／ＵＳ２００４／０１６９６４であって、２００４年１２月２３日にＷＯ２００４／１１１９９４Ａ２として国際公開されたものには、特に、オーディオ信号の感知音量を計測し調整するシステムが開示されている。米国を指定国とする前記ＰＣＴ出願は、その全てを参照として本出願に組み込む。前記出願において、音響心理学的モデルにより、知覚単位でオーディオ信号の音量が計算される。加えて、この出願は、オーディオに適用したとき、ゲインにより補正されたオーディオが実質的に参照音量と同じ音量となる、広帯域に乗算できるゲインを計算する技術が導入されている。しかしながら、このような広帯域ゲインを適用することにより、感知されるオーディオのバランスが変化する。
【発明の開示】
【００１３】
１つの特徴として、本発明は、その特定ラウドネスと目標特定ラウドネスとの差を縮めるために、オーディオ信号を修正することで、オーディオ信号の特定ラウドネスを制御するのに有用な情報を導き出すものである。特定ラウドネスとは、周波数と時間の関数としての感知音量の指標である。実際の実施の形態において、修正されたオーディオ信号の特定ラウドネスを、目標特定ラウドネスに近似させる。この近似は、以下に既述するように、通常の信号処理の検討に影響されるだけでなく、この修正に用いた時間平滑及び／又は周波数平滑にも影響される。
【００１４】
特定ラウドネスは周波数と時間の関数としての感知音量の指標なので、オーディオ信号の特定ラウドネスと目標特定ラウドネスとの差を縮めるために、前記修正では、 周波数の関数としてこのオーディオ信号を修正してもよい。場合によって目標特定ラウドネスは時間不変であるかもしれず、オーディオ信号自身は定常的な時間不変信号かもしれないが、一般に、この修正では、時間の関数としてオーディオ信号を修正してもよい。
【００１５】
本発明の特徴は、オーディオ再生環境における暗騒音を相殺するために採用することができることである。暗騒音がある状態でオーディオを聞くとき、オーディオのレベルとスペクトル及びノイズのレベルとスペクトルの両方に依存するような形で部分的に又は完全にノイズがオーディオをマスクすることがある。その結果、感知されるオーディオスペクトルの変化があらわれる。音響心理学的研究によれば、（B.  C.  J.  Moore,  B.  Glasberg,  T.  Baer,  「閾値音量と部分音量の予想のためのモデル」Journal  of  the  Audio  Engineering  Society,  Vol.  45,  No.  4,  １９９７年４月参照）ノイズのような２次的な干渉性のあるサウンド信号の存在下でオーディオの感知音量として、オーディオの「部分的特定ラウドネス」を定義することができる。
【００１６】
このように、他の特徴として、本発明は、その特定ラウドネスと目標特定ラウドネスとの差を縮めるために、オーディオ信号を修正することで、オーディオ信号の部分的特定ラウドネスを制御するのに有用な情報を導き出すものである。このようにすることで、知覚的に正確な方法でノイズの影響を緩和する。干渉性のあるノイズ信号を考慮に入れる本発明のこの特徴又は他の特徴において、オーディオ信号自身への及び２次的な干渉信号自身へのアクセスを仮定している。
【００１７】
他の特徴として、本発明は、その特定ラウドネスと目標特定ラウドネスとの差を縮めるために、オーディオ信号を修正することで、オーディオ信号の特定ラウドネスを制御するものである。
【００１８】
他の特徴として、本発明は、その部分的特定ラウドネスと目標特定ラウドネスとの差を縮めるために、オーディオ信号を修正することで、オーディオ信号の部分的特定ラウドネスを制御するものである。
【００１９】
目標特定ラウドネスがオーディオ信号の関数ではない場合、目標特定ラウドネスを保存又は受信してもよい。目標特定ラウドネスがオーディオ信号の関数ではない場合、前記修正又は前記導き出しにより、明示的又は黙示的に特定ラウドネス又は部分的特定ラウドネスを計算する。黙示的な計算の例には、特定ラウドネス及び／又は部分的特定ラウドネスを本来的に決定するルックアップテーブル又は「クローズドフォーム」の数学的表現が含まれる（クローズドフォームの用語は、指数関数や正弦関数のように、有限個の標準的な数学的演算及び関数を用いて正確に表現することのできる数学的表現の記述を意味する）。さらに、目標特定ラウドネスがオーディオ信号の関数ではない場合、目標特定ラウドネスは、時間及び周波数的に不変であっても、時間に対してのみ不変であってもよい。
【００２０】
さらに他の特徴として、本発明は、目標特定ラウドネスを生成するための１以上のプロセスパラメータ及び１以上のプロセス制御パラメータに従い、オーディオ信号を処理すること又はオーディオ信号を計測することによりオーディオ信号を処理するものである。目標特定ラウドネスが時間的に不変（「固定」）であっても、目標特定ラウドネスは、都合よく、オーディオ信号の特定ラウドネスの関数とすることができる。それが静的で、時間及び周波数的に不変であるかもしれないが、一般に、オーディオ信号自身は時間及び周波数的に変化し、したがって、目標特定ラウドネスがオーディオ信号の関数であるとき、目標特定ラウドネスは時間及び周波数的に変化する。
【００２１】
オーディオ及び目標特定ラウドネス又は目標特定ラウドネスを代理するものは、伝達により受け取り、又は記憶媒体から再生するることができる。目標特定ラウドネスを代理するものは、オーディオ信号又はオーディオ信号の尺度を圧伸する１以上のスケールファクタとすることができる。
【００２２】
本発明の上記特徴を持つ目標特定ラウドネスは、オーディオ信号の関数又はオーディオ信号の尺度とすることができる。適切なオーディオ信号の尺度の１つが、オーディオ信号の目標特定ラウドネスである。オーディオ信号の関数又はオーディオ信号の尺度の関数は、オーディオ信号の圧伸又はオーディオ信号の尺度の圧伸とすることができる。例えば、この圧伸は、以下の圧伸のうちの１つ又はこれらの組合せとすることができる。
【数１】
2008518565.tif 000003
【００２３】
（ｂ）時間的に変化し、周波数的に不変であるスケールファクタΦ[t]は、以下のように特定ラウドネスを圧伸する。
【数２】
2008518565.tif 000004
【００２４】
（ｃ）時間的に不変であり、周波数的に変化するスケールファクタΘ[t]は、以下のように特定ラウドネスを圧伸する。
【数３】
2008518565.tif 000005
【００２５】
（ｄ）時間的に不変であり、周波数的に不変であるスケールファクタα[t]は、以下のように特定ラウドネスを圧伸する。
【数４】
2008518565.tif 000006
【００２６】
2008518565.tif 000007
【００２７】
（ａ）の時間及び周波数的に変化するスケールファクタの場合、圧伸は、少なくとも部分的には、好ましい複数帯域音量のそのオーディオ信号の複数帯域音量に対する比により決定することができる。このような圧伸はダイナミックレンジ制御として利用することができる。ダイナミックレンジ制御として本発明の特徴を採用することについての詳細を以下に説明する。
【００２８】
（ａ）の時間及び周波数的に変化するスケールファクタの場合はまた、特定ラウドネスは、好ましいスペクトル形状の指標とそのオーディオ信号のスペクトル形状の指標との比により圧伸することができる。このような圧伸は、時間的に変化する感知されたスペクトルから実質的に時間的に不変である感知されたスペクトルへと、感知されたオーディオ信号のスペクトルを変換するために採用される。特定ラウドネスが、好ましいスペクトル形状と指標のそのオーディオ信号のスペクトル形状の指標との比により圧伸された場合、このような圧伸は、ダイナミックイコライザーとして利用することができる。ダイナミックイコライザーとして本発明の特徴を採用することについての詳細を以下に説明する。
【００２９】
（ｂ）の時間的に変化し、周波数的に不変であるスケールファクタの場合、圧伸は、少なくとも部分的には、好ましい広帯域音量とそのオーディオ信号の広帯域音量との比により決定することができる。このような圧伸は、自動ゲイン制御又はダイナミックレンジ制御として利用することができる。自動ゲイン制御又はダイナミックレンジ制御として本発明の特徴を採用することについての詳細を以下に説明する。
【００３０】
（ａ）の場合（時間及び周波数的に変化するスケールファクタ）、又は、（ｂ）の場合（時間的に変化し、周波数的に不変であるスケールファクタ）、スケールファクタは、オーディオ信号の関数又はオーディオ信号の指標の関数とすることができる。
【００３１】
（ｃ）の時間的に不変であり、周波数的に変化するスケールファクタの場合、又は（ｄ）の時間的に不変であり、周波数的に不変であるスケールファクタの場合、両方の場合において、前記修正または前記導き出しには、スケールファクタの保存が含まれることがあり、又は、スケールファクタは外部から受信することができる。
【００３２】
（ｃ）及び（ｄ）のどちらも、スケールファクタはオーディオ信号の関数又はオーディオ信号の指標の関数でなくてもよい。
【００３３】
本発明の全ての特徴及びその修正したものにおいて、修正、導き出し、又は生成には、明示的に又は黙示的に（１）特定ラウドネス、及び／又は、（２）部分的特定ラウドネス、及び／又は、（３）目標特定ラウドネスの計算を行う。黙示的な計算の例には、ルックアップテーブル又はクローズドフォームの数学的表現が含まれる。
【００３４】
修正パラメータは時間的に平滑化されてもよい。修正パラメータは、マルチタップのＦＩＲフィルター又はマルチポールのＨＲフィルターのような、例えば、（１）オーディオ信号の周波数帯域に関する複数の振幅スケールファクタ、又は（２）１以上のフィルターを制御する複数のフィルター係数とすることができる。このスケールファクタ又はフィルター係数（及び、これらが用いられるフィルター）は時間的に変化するものであってもよい。
【００３５】
目標特定ラウドネスを定義するオーディオ信号の特定ラウドネスの関数又はその逆演算の計算において、このような計算処理は、感知（音響心理学的）音量領域として特徴づけられるような処理、すなわち、計算の入力及び出力が特定ラウドネスとなるような処理で行われる。一方、オーディオ信号の周波数帯域に振幅スケールファクタを適用することにより、あるいは、オーディオ信号の制御可能なフィルタリング処理にフィルター係数を適用することにより、修正パラメータが作用して、電気信号領域として特徴づけられる感知（音響心理学的）音量領域の外のオーディオ信号を修正する。オーディオ信号の修正が電気信号領域で行われるかもしれないが、電気信号領域でのこのような変化は、修正されたオーディオ信号が好ましい目標特定ラウドネスに近似する特定ラウドネスような、感知（音響心理学的）音量領域における計算結果から導き出される。
【００３６】
音量領域での計算から修正パラメータを導き出すことにより、このような修正パラメータを電気信号領域で導き出すのに比べて、感知音量と感知スペクトルバランスに対する卓越した制御を行うことができる。加えて、音量領域での計算を行うに当たって基底膜をシミュレートする音響心理学的フィルターバンク又はその等価物を用いることにより、電気信号領域で修正パラメータを導き出す構成より、感知スペクトルの詳細な制御を行うことができる。
【００３７】
修正、導出、及び生成の各々は、干渉性のあるオーディオ信号の指標、目標特定ラウドネス、特定ラウドネスから導き出された修正されていないオーディオ信号又は修正されたオーディオ信号の部分特定ラウドネスの推定値、修正されていないオーディオ信号の特定ラウドネス、及び特定ラウドネス又は修正されたオーディオ信号の部分特定ラウドネスから導き出された目標特定ラウドネスの概算値のうちの１つ以上に依存する。
【００３８】
この修正又は導出により、少なくとも部分的には、干渉性のあるオーディオ信号の指標、目標特定ラウドネス、特定ラウドネスから導き出された修正されていないオーディオ信号又は修正されたオーディオ信号の部分特定ラウドネスの推定値、修正されていないオーディオ信号の特定ラウドネス、及び特定ラウドネス又は修正されたオーディオ信号の部分特定ラウドネスから導き出された目標特定ラウドネスの概算値のうちの１つ以上から修正パラメータを導くことができる。
【００３９】
もっと具体的には、この修正又は導出により、少なくとも部分的には、
（１）目標特定ラウドネスと、
修正されたオーディオ信号の特定ラウドネスから受け取った修正されていないオーディオ信号の特定ラウドネスの推定値と、
のいずれか１つと、
（２）修正されていないオーディオ信号の特定ラウドネスと、
修正されたオーディオ信号の特定ラウドネスから導き出された目標特定ラウドネスの概算値と、
のいずれか１つと、
から修正パラメータを導くことができ、
又は、
干渉性のあるオーディオ信号を考慮に入れるときは、この修正又は導出により、少なくとも部分的には、
（１）干渉性のあるオーディオ信号の指標と、
（２）目標特定ラウドネスと、
修正されたオーディオ信号の特定ラウドネスから受け取った修正されていないオーディオ信号の特定ラウドネスの推定値と、
のいずれか１つと、
（３）修正されていないオーディオ信号の特定ラウドネスと、
修正されたオーディオ信号の特定ラウドネスから導き出された目標特定ラウドネスの概算値と、
のいずれか１つと、
から修正パラメータを導くことができる。
【００４０】
オーディオ信号から特定ラウドネスから導き出され、目標特定ラウドネスがこの方法以外の音源から受け取られるか、又は、修正又は導出に目標特定ラウドネスの保存が含まれているときには保存したものから受け取られるようなフィードフォワード構成を採用することができる。代替的に、フィードフォワード／フィードバック構成を採用することもでき、ここでは、目標特定ラウドネスの推定が修正されたオーディオ信号から導き出され、目標特定ラウドネスがこの方法以外の音源から受け取られるか、又は、修正又は導出に目標特定ラウドネスの保存が含まれているときには保存したものから受け取られる。
【００４１】
この修正又は導出には、明示的又は黙示的に、目標特定ラウドネスを取得する１つ以上の処理が含まれることがあり、この１つ以上の処理では、明示的又は黙示的に、オーディオ信号の関数又はオーディオ信号の指標の計算を行う。１つの代替的形態では、フィードフォワード構成を採用することができ、ここでは、特定ラウドネスと目標特定ラウドネスとは、オーディオ信号から導き出され、目標特定ラウドネスの導出ではオーディオ信号の関数又はオーディオ信号の指標を採用する。他の代替的形態では、フィードフォワード／フィードバックのハイブリッド構成を採用することができ、ここでは、目標特定ラウドネスの概算値は修正されたオーディオ信号から導き出され、目標特定ラウドネスはオーディオ信号から導き出され、目標特定ラウドネスの導出ではオーディオ信号の関数又はオーディオ信号の指標を採用する。
【００４２】
この修正又は導出には、明示的又は黙示的に、修正されたオーディオ信号に応答して修正されていないオーディオ信号の特定ラウドネスの推定値を取得する１つ以上の処理が含まれることがあり、この１つ以上の処理では、明示的又は黙示的に、オーディオ信号の関数の逆演算又はオーディオ信号の指標の逆演算を行う。１つの代替的形態では、フィードバック構成を採用することができ、ここでは、修正されていないオーディオ信号の特定ラウドネスの推定値と目標特定ラウドネスの概算値は、修正されたオーディオ信号から導き出され、特定ラウドネスの推定値は、オーディオ信号の関数の逆演算又はオーディオ信号の指標の逆演算を用いて計算される。他の代替的形態では、フィードフォワード／フィードバックのハイブリッド構成を採用することができ、ここでは、特定ラウドネスは、オーディオ信号から導き出され、修正されていないオーディオ信号の特定ラウドネスの推定値は、修正されたオーディオ信号から導き出され、この推定値の導出はオーディオ信号の関数の逆演算又はオーディオ信号の指標の逆演算を用いて行われる。
【００４３】
修正されたオーディオ信号を生成させるために修正パラメータをオーディオ信号に適用することができる。
【００４４】
本発明の他の特徴は、実質的なエンコーダ又はエンコーディング処理及びデコーダ又はデコーディング処理となるように、処理又は装置の時間的及び／又は空間的分割ができるという点である。例えば、エンコーディング／デコーディングシステムがあり、そこでは、修正又は導出では、伝達及び受信又は保存を行い、さらに、オーディオ信号と（１）修正パラメータ又は（２）目標特定ラウドネス又は目標特定ラウドネスを代理するものを複製する。代替的に、実質的にエンコーダ又はエンコーディング処理のみがあり、そこでは、オーディオ信号及び（１）修正パラメータ又は（２）目標特定ラウドネス又は目標特定ラウドネスを代理するものの伝達又は保存を行う。代替的に、上述のように、デコーダ又はデコーディング処理のみがあり、そこでは、オーディオ信号及び（１）修正パラメータ又は（２）目標特定ラウドネス又は目標特定ラウドネスを代理するものの受信及び複製を行う。
【発明を実施するための最良の形態】
【００４５】
図１から４は、本発明の特徴による実行可能なフィードフォワード構成、フィードバック構成、及びフィードフォワード／フィードバックの２つのハイブリッド構成の実施例を示す機能ブロックダイアグラムである。
【００４６】
図１のフィードフォワードトポロジーの例を参照すると、オーディオ信号は２つの経路に用いられる。すなわち、（１）修正パラメータに応答してオーディオを修正することのできる処理又は装置２（「オーディオ信号の修正」）を有する信号経路、と（２）このような修正パラメータを生成することのできる処理又は装置４（「修正パラメータの生成」）有する信号経路、である。図１のフィードフォワードトポロジーの例と図２〜４の例における修正パラメータの生成２は、修正パラメータの生成４（図２〜４の例ではそれぞれ、コンピュータ処理又はコンピュータ４’、４’’、４’’’）から受け取った修正パラメータＭに応じて周波数及び／又は時間を変更する方法で、オーディオ信号、例えば、その振幅を修正する処理又は装置とすることができる。修正パラメータの生成４とそれに相当する図２〜４のコンピュータは、それぞれ少なくとも部分的には感知音量領域で動作する。オーディオ信号の修正２は、電気信号領域で動作し、図１〜４の各例における修正されたオーディオ信号を生成する。図１〜４の例においてもオーディオ信号の修正２と修正パラメータの生成４（又はそれに相当するコンピュータ）はオーディオ信号を修正し、その特定ラウドネスと目標特定ラウドネスとの差を減少させる。
【００４７】
図１のフィードフォワードの例では、処理又は装置４には、いくつかの処理及び／又装置が含まれる。すなわち、オーディオ信号又はオーディオ信号の特定ラウドネスのようなオーディオ信号の指標に応答して目標特定ラウドネスを計算する「目標特定ラウドネスの計算」処理又は装置と、オーディオ信号又はそのエキサイテーションのようなオーディオ信号の指標に応答して特定ラウドネスを計算する「特定ラウドネスの計算」処理又は装置８と、特定ラウドネスと目標特定ラウドネスとに応答して修正パラメータを計算する「修正パラメータの計算」処理又は装置１０と、である。目標特定ラウドネスの計算６は、それぞれが関数パラメータを持つことのできる１以上の関数「Ｆ」を実行することができる。例えば、オーディオ信号の特定ラウドネスを計算してそれに１以上の関数Ｆを適用して目標特定ラウドネスを算出する。これは図１に図解的に示したように、「関数Ｆと関数パラメータの選択」として処理又は装置６に入力される。処理又は装置６で計算する代わりに、目標特定ラウドネスは、修正パラメータの生成４に含まれるかあるいはこれに関連づけられた（図解的に「保存」として処理又は装置１０に入力する）保存処理又は保存装置、又は全体的な処理又は装置の外部の供給源（図解的に「外部」として処理又は装置１０に入力する）から提供されてもよい。このように、修正パラメータは、少なくとも部分的には、感知（音響心理学的）音量領域での計算（すなわち、少なくとも特定ラウドネスと、場合によって、目標特定ラウドネスの計算）に基づく。
【００４８】
処理又は装置６，８及び１０（及び、図２の例では処理又は装置１２，１４，１０’、図３の例では処理又は装置６，１４，１０’’、及び、図４の例では処理又は装置８，１２，１０’’’）によりなされる計算は、明示的及び／又は黙示的に行うことができる。黙示的に行う例には、（１）項目が特定ラウドネス及び／又は目標特定ラウドネス及び／又は修正パラメータの全体又は部分的に基づいているルックアップテーブルと、（２）特定ラウドネス及び／又は目標特定ラウドネス及び／又は修正パラメータの全体又は部分的に本質的に基づいている閉形式の数学的表現と、が含まれる。
【００４９】
図１の例の計算処理又は装置６，８及び１０（及び、図２の例では処理又は装置１２，１４，１０’、図３の例では処理又は装置６，１４，１０’’、及び、図４の例では処理又は装置８，１２，１０’’’）は、図解的に示され、ここに説明されているが、これは説明のためだけのものである。これらの処理又は装置のいくつか又は全てを、単一の処理又は装置あるいは、複数の処理又は装置の様々な結合に統合してもよいことは了解されよう。例えば、以下の図９の構成、すなわち、図１の例におけるフィードフォワードトポロジーにおいて、修正パラメータを計算する処理又は装置では、オーディオ信号と目標特定ラウドネスとから導き出された平滑化されたエキサイテーションに応答してそれを行う。図９の例では、修正パラメータを計算する処理又は装置では、オーディオ信号の特定ラウドネスを黙示的に計算する。
【数５】
2008518565.tif 000008
【００５０】
時間的に変化し、周波数的に不変であるスケールファクタΦ[t]は、以下の関係を持つ特定ラウドネスの圧伸となる、
【数６】
2008518565.tif 000009
【００５１】
時間的に不変で、周波数的に変化するスケールファクタΘ[b]は、以下の関係を持つ特定ラウドネスの圧伸となる、
【数７】
2008518565.tif 000010
【００５２】
スケールファクタαは、以下の関係を持つオーディオ信号の特定ラウドネスの圧伸となる、
【数８】
2008518565.tif 000011
【００５３】
ここで、ｂは周波数の尺度であり（例えば帯域数）、ｔは時間の尺度である（例えば、ブロック数）。特定の圧伸及び／又は特定の圧伸の組み合わせの事例を用いて複数の圧伸を採用することができる。このような複数の圧伸の例を以下に示す。場合によって、以下にさらに説明するように、この圧伸はオーディオ信号又はオーディオ信号の指標の関数とすることができる。他の場合では、以下にさらに説明するように、圧伸がオーディオ信号の指標の関数でないとき、圧伸は、別の方法で定められるか又は提供される。例えば、時間と周波数的に不変なスケールファクタα、又は、時間的に不変で、周波数的に変化するスケールファクタΘ[b]での圧伸を選択又は適用することができる。
【００５４】
このようにして、目標特定ラウドネスはオーディオ信号の１以上の関数又はオーディオ信号の指標を表現することができる（特定ラウドネスはオーディオ信号の１つの指標である）。
【数９】
2008518565.tif 000012
【００５５】
以下に示すように、逆関数すなわち関数Ｆ−１は、図２及び４の例におけるフィードバック構成及びフィードフォワード／フィードバックのハイブリッド構成において計算される。
【００５６】
目標特定ラウドネスの計算６へ入力する「関数と関数パラメータの選択」は、１以上の関数パラメータに従い１以上の関数を適用することにより装置又は処理６は特定ラウドネスの計算を行うことができることを示すために記載されている。例えば、特定ラウドネスの計算８は、目標特定ラウドネスを定義するためにオーディオ信号の特定ラウドネスの関数「Ｆ］を計算することができる。例えば、「関数と関数パラメータの選択」入力は、その関数に関連する定数（例えばスケールファクタ）のような、１以上の関数パラメータと共に、１以上の上記形式の圧伸に該当する１以上の特定の関数を選択することができる。
【００５７】
上述の通り、圧伸に関係するスケールファクタは、目標特定ラウドネスが特定ラウドネスの圧伸として計算される限り、目標特定ラウドネスを代理するものとして機能を果たす。このように、図９の例において、以下に説明し上記したように、特定ラウドネスと目標特定ラウドネスがテーブル内で固有であるルックアップテーブルは、スケールファクタ及びエキサイテーションにより索引付けることができる。
【００５８】
ルックアップテーブル、閉形式の数学的表現、あるいは他の技術を採用したとしても、修正パラメータ４（及び各々図２〜４の例におけるそれに対応する処理又は装置４’，４’’，及び４’’’）は、特定ラウドネス及び目標特定ラウドネスが明示的に計算されないとしても、感知（音響心理学的）音量領域で計算される。そこには明示的な特定ラウドネス又は、概念的黙示的な特定ラウドネスが存在する。同様に、そこには明示的な目標特定ラウドネス又は、概念的黙示的な目標特定ラウドネスが存在する。いずれにせよ、修正パラメータの計算は、修正パラメータを生成し、特定ラウドネスと目標特定ラウドネスとの差を減少させるようオーディオ信号を修正することを目的とする。
【００５９】
ノイズのような２次的な干渉性のあるオーディオ信号を有する再生環境において、修正パラメータの計算１０（及び各々図２〜４の例におけるそれに対応する処理又は装置１０’，１０’’，及び１０’’’）は、付加的な入力として、２次的な干渉性のあるオーディオ信号の指標又は２次的な干渉信号それ自身もその入力として受け取ることができる。このような付加的な入力は図１（及び図２〜４）に破線で示されている。２次的な干渉性のあるオーディオ信号の指標は、以下に説明する、図１７の例におけるそのエキサイテーションでもよい。修正パラメータの計算１０（及び各々図２〜４の例におけるそれぞれに対応する処理又は装置１０’，１０’’，及び１０’’’）に対する干渉性のある信号の指標又は信号それ自身（この干渉性のある信号は別に処理することが可能であると仮定する）の処理は、以下に表題「ノイズ補償」でさらに説明するように干渉性信号を考慮に入れた修正パラメータを計算するよう適切に構成した処理又は装置を許容する。図２〜４の例において、部分特定ラウドネスの計算では、適切な干渉性信号の指標をそれぞれ修正パラメータの処理又は装置１０’，１０’’，又は１０’’’に適用するのみならず、この処理又は装置によって、部分特定ラウドネスの計算を容易にするために「修正されていないオーディオの特定ラウドネスの近似値の計算」処理又は装置１２及び／又は「目標特定ラウドネスの近似値の計算」処理又は装置１４にも用いられる。図１のフィードフォワード例において、部分特定ラウドネスは明示的に計算されない。すなわち、図１の修正パラメータの計算は、修正されたオーディオの部分特定ラウドネスを目標特定ラウドネスに近似させるために、修正パラメータの近似値を計算する。これについては、先に言及した表題「ノイズ補償」でさらに以下に説明する。
【００６０】
上述のように、各図１〜４の例において、修正パラメータＭは、信号修正演算２をオーディオ信号に適用するとき、オーディオ修正の結果生じた特定ラウドネス又は部分特定ラウドネスと、目標特定ラウドネスとの差を縮小させる。修正されたオーディオ信号の特定ラウドネスが目標特定ラウドネスに極めて近似するか又は同じとなることが理想である。修正パラメータＭは、例えば、フィルターバンクから導き出された周波数帯域又は時間的に変動するフィルターの係数に適用する時間的にて変動するゲインの形をとる。したがって、図１〜４の全ての例において、オーディオ信号の修正２は、例えば、それぞれ周波数低域で動作する複数の振幅圧伸器又は時間的に変化するフィルター（例えば、複数タップのＦＩＲフィルター又は複数極のＩＩＲフィルター）として実施してもよい。
【００６１】
ここで、又は本明細書の他の部分で、同じ参照番号の使用しているものは、その装置又は処理が実質的に同じ参照番号を持つものと同じであることを示す。主要な番号（例えば「１０」）の参照番号は、その装置又は処理が構成又は機能において類似するが、同一の基本番号又はその最上位桁が同一の番号を持つ他のものを修正していることを示す。
【００６２】
ある構成では、図１のフィードフォワード例とほぼ等しいフィードバック構成を実現することができる。図２は、信号経路中のオーディオ信号の修正装置又は処理２にもオーディオ信号が用いられるような例を示す。この装置又は処理２は、フィードバック構成において修正パラメータの生成装置又は処理４’がその入力として、オーディオ信号の修正装置又は処理２の出力から修正されたオーディオ信号も受け取る。このようにして、図２の例では、修正されていないオーディオ信号ではなく修正されたオーディオ信号が制御経路に用いられる。オーディオ信号の修正装置又は処理２と修正パラメータの生成装置又は処理４’とは、オーディオ信号を修正し、その特定ラウドネスと目標特定ラウドネスとの差を減少させる。処理又は装置４’には、いくつかの機能又は装置を含むことができる。すなわち、「修正されていないオーディオの特定ラウドネスの近似値の計算」処理又は装置１２、「目標特定ラウドネスの近似値の計算」処理又は装置１４、及び修正パラメータを計算する「修正パラメータの計算」処理又は装置１０’である。
【００６３】
関数Ｆが可逆であるという条件で、処理又は装置１２は、修正されたオーディオ信号の特定ラウドネス又は部分特定ラウドネスに逆関数Ｆ−１を適用することにより、修正されていないオーディオ信号の特定ラウドネスを推定する。処理又は装置１２は、上述のように、逆関数Ｆ−１を計算することができる。これは、図２に処理又は装置１２への入力「逆関数Ｆ−１と逆関数パラメータの選択」として概略的に示されている。「目標特定ラウドネスの近似値の計算」１４は、修正されたオーディオ信号の、特定ラウドネス又は部分特定ラウドネスの計算により動作する。このような特定ラウドネス又は部分特定ラウドネスは、目標特定ラウドネスの近似値となる。修正されていないオーディオ信号の特定ラウドネス及び目標特定ラウドネスの近似値は、修正パラメータの計算１０’で使われ、オーディオ信号の修正２に適用された場合は、修正されたオーディオ信号の特定ラウドネス又は部分特定ラウドネスと目標特定ラウドネスとの差を減少させる。上述の通り、修正パラメータＭは、例えば、フィルターバンクの周波数帯域に用いられる時間的に変化するゲイン又は時間的に変化するフィルターの係数の形を取る。修正パラメータの計算１０’’の実際の形態において、フィードバックループでは、修正パラメータの計算と適用の間に時間遅れを導入することもできる。
【００６４】
上述したように、雑音のような２次的な干渉性のあるオーディオ信号を有する再生環境において、修正パラメータの計算１０’、目標特定ラウドネスの近似値の計算１２、及び目標特定ラウドネスの近似値の計算１４ではそれぞれ、付加的な入力として、２次的な干渉性のあるオーディオ信号又はその入力の１つとしての２次的な干渉性のある信号自身のような指標を受け取ることができ、処理又は装置１２及び処理又は装置１４は、それぞれ修正されたオーディオ信号の部分特定ラウドネスの計算を行うことができる。このような付加的な入力は図２に破線で示されている。
【００６５】
上述したように、本発明のフィードフォワード／フィードバックのハイブリッド構成の実施例が可能である。図３及び４は、このような実施の形態の２つの例を示す。図３及び４の例において、図１及び２の例のように、オーディオ信号はやはり信号経路中のオーディオ信号の修正処理又は装置２に用いられるが、それぞれの制御経路中の修正パラメータの生成（図３における４’’、図４における４’’’）では修正されていないオーディオ信号と修正されたオーディオ信号の両方を受信する。図３及び４の両方において、オーディオ信号の修正２と修正パラメータの生成（それぞれ４’’と４’’’）では、黙示的であることもある特定ラウドネスと、これも黙示的であることもある目標特定ラウドネスとの差を減少させるためにオーディオ信号を修正する。
【００６６】
図３の例では、修正パラメータの生成処理又は装置４’には、いくつかの機能と装置を含むことができる。すなわち、図１の例のような目標特定ラウドネスの計算６、図２のフィードバック例のような、目標特定ラウドネスの近似値の計算１４、及び「修正パラメータの計算」処理又は装置１０’’である。図１の例のように、このフィードフォワード／フィードバックのハイブリッド構成例のフィードフォワード部分において、目標特定ラウドネスの計算６では、それぞれが関数パラメータを有することができる１以上の関数「Ｆ」を実行する。これは図３に処理又は装置６に入力する「関数Ｆと関数パラメータの選択」として図解的に示されている。このフィードフォワード／フィードバックのハイブリッド構成例のフィードバック部分において、図２のフィードバックの例のように、修正されたオーディオ信号が、目標特定ラウドネスの近似値の計算１４に用いられる。処理又は装置１４は、修正されたオーディオ信号の特定ラウドネス又は部分特定ラウドネスを計算することにより、図３の例において、図２の例で行ったような動作を行う。このような特定ラウドネス又は部分特定ラウドネスは、目標特定ラウドネスの１つの近似値となる。（処理又は装置６からの）目標特定ラウドネスと（処理又は装置１４からの）目標特定ラウドネスの近似値とは、修正パラメータの計算１０’’に適用され、修正パラメータＭを導き出す。修正パラメータは、オーディオ信号の修正２によりオーディオ信号に用いられると、修正されないオーディオ信号の特定ラウドネスと目標特定ラウドネスとの差を減少させる。上述のように、これらの修正パラメータＭは、例えば、フィルターバンクの周波数帯域に用いられる時間的に変化するゲイン又は時間的に変化するフィルターの係数の形を取る。実際の実施の形態において、フィードバックループでは、修正パラメータＭの、計算と適用との間に時間遅れを導入することもできる。上述したように、ノイズのような２次的な干渉性のあるオーディオ信号を有する再生環境において、修正パラメータの計算１０’’及び目標特定ラウドネスの近似値の計算１４ではそれぞれまた、２次的な干渉性のあるオーディオ信号又はその入力の１つとしての２次的な干渉性のある信号自身のような指標を受け取ることができ、処理又は装置１４では、修正されたオーディオ信号の部分特定ラウドネスを計算することができる。このような付加的な入力は図３において破線で示されている。
【００６７】
修正パラメータの計算１０’’では、目標特定ラウドネスと目標特定ラウドネス近似値入力との差が、目標特定ラウドネスの近似値と「実際の」目標特定ラウドネスとの差を減少させるように修正パラメータを調整するように、誤差検出装置又は機能を採用することができる。このような調整は、黙示的かもしれないが、修正されていないオーディオ信号の特定ラウドネスと目標特定ラウドネスとの差を減少させる。このようにして、修正パラメータＭは、関数Ｆを用いて元のオーディオの特定ラウドネスからのフィードフォワード経路で計算された目標特定ラウドネスと、修正されたオーディオの特定ラウドネス又は部分特定ラウドネスからのフィードバック経路で計算された目標特定ラウドネスの近似値との誤差に基づいて修正してもよい。
【００６８】
図４の例では、代替的なフィードフォワード／フィードバック構成例が示されている。この代替案は、フィードフォワード経路で関数Ｆが計算されるのではなく、フィードバック経路で逆関数Ｆ−１が計算される点で図３の例とは異なる。図４の例では、修正パラメータの生成処理又は装置４’には、いくつかの関数と装置とを含むことができる。すなわち、図１のフィードフォワード例のような特定ラウドネスの計算８、図２のフィードバック例のような修正されていないオーディオの特定ラウドネスの近似値の計算１２、及び修正パラメータの計算１０’’’である。図１のフィードフォワード例のような特定ラウドネスの計算８では、修正パラメータの計算１０’’’の入力として、修正されないオーディオ信号の特定ラウドネスを与える。図２のフィードバック例のように、関数Ｆが可逆であることを条件として、処理又は装置１２は、修正されたオーディオ信号に特定ラウドネス又は部分特定ラウドネス逆関数Ｆ−１を適用することにより、修正されていないオーディオ信号の特定ラウドネスを推定する。修正されていないオーディオの特定ラウドネスの近似値の計算処理又は装置１２に入力される「逆関数及び逆関数パラメータの選択」は、処理又は装置１２が上述のように逆関数Ｆ−１を計算することのできることを示すために示されている。これは、図４において、処理又は装置１２への「逆関数Ｆ−１逆関数パラメータの選択」入力として図解的に示されている。このように、処理又は装置１２は、もう１つの修正パラメータの計算１０’’’の入力として、修正されていないオーディオ信号の特定ラウドネスの近似値を提供する。
【００６９】
図１〜３の例のように、修正パラメータの計算１０’’’では、この例では黙示的となるが、オーディオ信号の修正２に適用すると、修正されていないオーディオ信号の特定ラウドネスと目標特定ラウドネスとの差を減少させる修正パラメータＭを導き出す。上述のように、修正パラメータＭは、例えば、フィルターバンクの周波数帯域に用いられる時間的に変化するゲイン又は時間的に変化するフィルターの係数の形を取る。実際の実施の形態において、フィードバックループでは、修正パラメータＭの、計算と適用との間に時間遅れを導入することもできる。上述のように、ノイズのような２次的な干渉性のあるオーディオ信号を有する再生環境において、修正パラメータの計算１０’’’及び修正されていないオーディオの特定ラウドネスの近似値の計算１２ではそれぞれまた、付加的な入力として、２次的な干渉性のあるオーディオ信号又はその入力の１つとしての２次的な干渉性のある信号自身のような指標を受け取ることができ、処理又は装置１２では、修正されたオーディオ信号の部分特定ラウドネスを計算することができる。このような付加的な入力は図４において破線で示されている。
【００７０】
修正パラメータの計算１０’’’では、特定ラウドネスと特定ラウドネス近似値入力との差が、特定ラウドネスの近似値と「実際の」特定ラウドネスとの差を減少させるように修正パラメータを調整する出力を生じさせるように、誤差検出装置又は機能を採用することができる。目標特定ラウドネスの近似値と考えることのできる、特定ラウドネスの近似値は、修正されたオーディオの特定ラウドネス又は部分特定ラウドネスから導き出されるので、本質的に関数Ｆ−１であるこのような調整により、修正されたオーディオの特定ラウドネスと目標特定ラウドネスとの差を減少させる。このようにして、修正パラメータＭは、特定ラウドネス同士の差に基づいて更新され、元のオーディオからのフィードフォワード経路で計算され、そして、特定ラウドネスの近似値は、逆関数Ｆ−１を用いて修正されたオーディオの特定ラウドネス又は部分特定ラウドネスからのフィードバック経路で計算される。フィードバック経路により、現実的な実施例では修正パラメータの、更新と適用との間に時間遅れを導入する。
【００７１】
図１〜４の例における修正パラメータＭは、オーディオ信号の修正処理又は装置２に適用されたとき、オーディオ信号の特定ラウドネスと目標特定ラウドネスとの差を減少させるとはいえ、現実的な実施例では、同じオーディオ信号に応答して生じた対応する修正パラメータはお互いに同じである必要はない。
【００７２】
本発明の重要で本質的な特徴ではないが、オーディオ信号又は修正されたオーディオ信号の特定ラウドネスの計算では、前記国際特許出願Ｎｏ．ＰＣＴ／ＵＳ２００４／０１６９６４であって、ＷＯ２００４／１１１９６４Ａ２として国際公開された技術を採用することが有利であり、ここでは、計算において、２以上の特定ラウドネスモデル関数のグループ、２以上の特定ラウドネスモデル関数の１つ又はその組み合わせ、から選択し、その選択は、入力オーディオ信号の特性の指標により制御される。図１の特定ラウドネスの記述１０４は、以下のように、このような構成について説明する。
【００７３】
本発明のさらなる特徴によれば、修正されていないオーディオ信号及び、（１）修正パラメータ、又は、（２）目標特定ラウドネス又は目標特定ラウドネスを代理するもの（例えば、目標特定ラウドネスを、明示的又は黙示的に計算するのに使うことのできるスケールファクタ）のどちらか一方を、例えば一時的に及び／又は空間的に分離した装置又は処理において使用するために、保存又は伝達することができる。修正パラメータ又は、目標特定ラウドネス又は、目標特定ラウドネスを代理するものは、例えば、上述の図１〜４のフィードフォワード構成、フィードバック構成、及びフィードフォワードとフィードバックのハイブリッド構成のうちの１つような、適切な方法で決定することができる。実際には、図１の例のようなフィードフォワード構成が、修正されたオーディオ信号に基づく計算を避ける限りにおいて、最も簡単で速い。修正されていないオーディオと修正パラメータの伝達と保存の例を図５に示し、修正されていないオーディオと目標特定ラウドネス又は目標特定ラウドネスを代理するものの伝達と保存の例を図６に示す。
【００７４】
図５の例のような構成は、オーディオ信号への修正パラメータの適用とこのような修正パラメータの生成とを一時的に及び／又は空間的に分離するために用いることができる。図６の例のような構成は、修正パラメータの生成と適用の両方と、目標特定ラウドネス又は目標特定ラウドネスを代理するものとを一時的に及び／又は空間的に分離するために用いることができる。両方の構成形式により、修正パラメータの生成や目標特定ラウドネスの生成における複雑さを避けた単純な低価格の再現又は受信構成が可能となる。図５の形式の構成のほうが図６の形式の構成より簡単であるが、図６の構成は、保存又は伝達に必要とされる情報がより少なく、特に、１以上のスケールファクタのような目標特定ラウドネスを代理するものが保存又は伝達されるとき、有利となる。このような、情報の保存と伝達の削減は、低ビットレートのオーディオ環境で特に有用である。
【００７５】
したがって、本発明のさらなる特徴によれば、（１）保存又は伝達装置又は処理から修正パラメータＭを受け取り、それを、受け取ったオーディオ信号に適用する装置又は処理、又は、（２）保存又は伝達装置又は処理から、目標特定ラウドネス又は目標特定ラウドネスを代理するものを受け取り、受け取ったオーディオ信号に（又は、このオーディオ信号〜導き出される特定ラウドネスのようなオーディオ信号の指標に）この目標特定ラウドネス又はそれを代理するものを適用することにより、修正パラメータＭを生成し、この修正パラメータＭをオーディオ信号に適用する装置又は処理を提供するものである。このような装置又は処理は、デコーディング処理又はデコーダとして特徴づけることができ、保存又は伝達された情報を生成するために必要な装置又は処理は、エンコーディング処理又はエンコーダとして特徴づけることができる。このようなエンコーディング処理又はエンコーダは、それぞれのデコーディング処理又はデコーダで必要とされる情報を生成するのに有効な、図１〜４の構成例の一部となる。このようなデコーディング処理又はデコーダは、サウンドを処理及び／又は再生する事実上すべての装置又は処理に関係付けること又は動作させることができる。
【００７６】
本発明の１つの特徴によれば、図５の例において、例えば、図１の修正パラメータの生成４、図２の４’、図３の４’’、図４の４’’’のような、修正パラメータの生成処理又は生成装置により作られた修正されていないオーディオ信号及び修正パラメータＭは、適切な保存装置又は伝達装置（「保存又は伝達」）１６に適用することができる。エンコーディング処理又はエンコーダとして図１のフィードフォワード例を用いる場合、オーディオ信号の修正２は、修正されたオーディオを生成するためには必要なく、エンコーダ又はエンコーディング処理の時間的又は空間的位置にこの修正されたオーディオを供給する必要がなければ削除することができる。保存又は伝達１６には、例えば、適切な磁気記憶再生装置、光学的記憶装置再生装置、又は、半導体記憶再生装置、あるいは、適切な電線による伝達受信装置、ワイヤレス伝達受信装置を含めることができるが、これらの選択は本発明に重要ではない。再生した修正パラメータ又は受信した修正パラメータは、次いで、その特定ラウドネスが、修正パラメータが導き出された構成における目標特定ラウドネス又はこの構成において本質的な目標特定ラウドネスに近似するように、再生した修正パラメータ又は受信した修正パラメータを修正するために、図１〜４の例において採用されたオーディオ信号の修正２に用いられる。この修正パラメータはさまざまな方法で保存又は伝達することができる。例えば、これらはオーディオ信号に伴うメタデータとして保存又は伝達することができ、これらは、別の経路又はチャンネルで送ってもよく、オーディオ中に電子迷彩技術によりエンコードしてもよく、マルチプレクックスしてもよい。オーディオ信号を修正する修正パラメータの使用は任意としてもよく、もし任意とするならば、例えばユーザによりその使用を選択できるようにしてもよい。例えば、オーディオ信号に修正パラメータが用いられる場合は、オーディオ信号のダイナミックレンジを下げるかもしれない。このようなダイナミックレンジを採用するかどうかはユーザにより選択可能にすることができる。
【００７７】
図６の例のように、本発明の他の特徴によれば、修正されていないオーディオ信号と目標特定ラウドネス又は目標特定ラウドネスを代理するものは、適切な保存又は伝達装置又は機能（「伝達又は保存」）１６に適用することができる。図１の例のように、エンコーディング処理又はエンコーダとしてフィードフォワード構成を用いる場合は、修正パラメータの計算型の処理又は装置もオーディオ信号の修正型の処理又は装置も必要ではなく、エンコーダ又はエンコーディング処理の時間的又は空間的位置に修正パラメータ又は修正されたオーディオを供給することを必要としないならば、削除してもよい。図５の例の場合のように、保存又は伝達１６には、例えば、適切な磁気記憶再生装置、光学的記憶装置再生装置、又は、半導体記憶再生装置、あるいは、適切な電線による伝達受信装置、ワイヤレス伝達受信装置を含めることができるが、これらの選択は本発明に重要ではない。再生した目標特定ラウドネス又は目標特定ラウドネスを代理するもの又は受信した目標特定ラウドネス又は目標特定ラウドネスを代理するものは、次いで、図１〜４の例において採用された形式のオーディオ信号の修正２に適用する修正パラメータＭを供給するために、再生したオーディオ信号又は受信したオーディオ信号の特定ラウドネスが、修正パラメータを導き出す構成において目標特定ラウドネスに近似するか又は本質的となるよう、再生したオーディオ信号又は受信したオーディオ信号を修正するために、図１の例で採用された形式の、修正パラメータの計算１０に、又は図３の例で採用された形式の、修正パラメータの計算１０’’に修正されていないオーディオと共に用いられる。目標特定ラウドネス又はその代理をするものが図１の例の形式のエンコーディング処理又はエンコーダで極簡単に取得できるかもしれないが、目標特定ラウドネス又はその代理をするもの又は目標特定ラウドネス又はその代理をするものの近似値は、図２から４までの例の形式のエンコーディング処理又はエンコーダで（近似値は図２及び３の処理又は装置１４、及び図４の処理又は装置１２で）取得することができる。目標特定ラウドネス又はその代理をするものは、種々の方法で保存又は伝達される。例えば、これらはオーディオ信号に伴うメタデータとして保存又は伝達することができ、これらは、別の経路又はチャンネルで送ってもよく、オーディオ中に電子迷彩技術によりエンコードしてもよく、マルチプレクックスしてもよい。オーディオ信号を修正するために、保存又は伝達された目標特定ラウドネス又はその代理をするものから導き出された修正パラメータの使用は任意としてもよく、もし任意とするならば、例えばユーザによりその使用を選択できるようにしてもよい。例えば、オーディオ信号に修正パラメータが用いられる場合は、オーディオ信号のダイナミックレンジを下げるかもしれない。このようなダイナミックレンジを採用するかどうかはユーザにより選択可能にすることができる。
【００７８】
開示された発明をディジタルシステムとして実施する場合は、フィードフォワード構成が最も実用的なので、そのような構成の例を以下に詳細に説明するが、これは本発明をそれに限定するものではないことは了解されよう。
【００７９】
本明細書を通じて、ここで「フィルター」又は「フィルターバンク」のような用語には、本質的にＩＩＲフィルター又は変換のようなあらゆる再帰的及び非再帰的なフィルター処理が含まれ、「フィルターされた」情報は、このようなフィルターを適用した結果得られたものである。以下に記載の実施の形態では、変換により実行されたフィルターバンクを採用する。
【００８０】
図７は、フィードフォワード構成で実施した本発明の特徴の模範的な実施の形態の詳細を示したものである。オーディオは、まず分析フィルターバンク機能又は装置（「分析フィルターバンク」）１００を通過し、そこでオーディオ信号を複数の周波数帯域に分割する（したがって、図５は、各出力が周波数低域を表す、分析フィルターバンク１００からの複数の出力を示し、その出力が種々の機能又は装置を通って合成フィルターバンクに伝わり、以下に説明するように、その帯域を加算して結合された広帯域の信号となる）。分析フィルターバンク１００における各周波数帯域に関連するフィルターの応答は、内耳における基底膜の特定の位置の応答をシミュレートするよう設計している。分析フィルターバンク１００の各フィルターの出力は、次に、外耳又は中耳を通るオーディオの伝達における効果のフィルター処理をシミュレートする伝達フィルター又は伝達フィルター機能（「伝達フィルター」）１０１に入る。このオーディオのラウドネスが計測されさえすれば、伝達フィルターを分析フィルターバンクに先立って適用することができるが、分析フィルターバンクの出力は、修正されたオーディオの合成に用いられるので、このフィルターバンクの後に伝達フィルターを適用する方が好都合である。伝達フィルター１０１の出力は、次に、エキサイテーション機能又は装置（「エキサイテーション」）１０２に入り、その出力は基底膜に沿ってのエネルギーの分布をシミュレートする。エキサイテーションエネルギー値は、平滑化機能又は装置（「平滑化」）１０３により時間的に平滑化される。平滑化機能の時定数は、必要なアプリケーションでの要求にしたがって設定される。平滑化されたエキサイテーション信号は、続いて、特定ラウドネス機能又は装置（「特定ラウドネス（ＳＬ）」）１０４の特定ラウドネスに変換される。特定ラウドネスは、ソーン毎単位周波数の単位で表現される。各帯域に関連づけられたこの特定ラウドネスの成分は、特定ラウドネス修正機能又は装置（「ＳＬ修正」）１０５に入る。ＳＬ修正は元の特定ラウドネスをその入力とし、本発明の特徴に従い、元の特定ラウドネスの関数であることが好ましい（次の「目標特定ラウドネス」の見出しの表題を参照のこと）、好ましい又は「目標」特定ラウドネスを出力する。ＳＬ修正１０５は、各帯域で独立に動作することができ、好ましい効果によっては、帯域間で相互依存が存在していてもよい（図７の相互接続ラインで示唆したような周波数平滑化）。入力としてエキサイテーション１０２から平滑化されたエキサイテーション周波数帯域と、ＳＬ修正１０５から目標特定ラウドネスとを取り込み、ゲインソルバー機能又は装置（「ゲインソルバー」）１０６は、計測した特定ラウドネスを目標特定ラウドネスに変換するために、分析フィルターバンク１００の出力の各大域に適用する必要のあるゲインを決定する。ゲインソルバーはさまざまな方法で実行することができる。例えば、ゲインソルバーには、前記国際特許出願Ｎｏ．ＰＣＴ／ＵＳ２００４／０１６９６４であって、ＷＯ２００４／１１１９６４Ａ２として国際公開されたものに開示された方法のような反復的な方法、又は、代替的にルックアップテーブルを見る方法が含まれる。ゲインソルバー１０６により作られた帯域毎のゲインを、感知できるアーティファクトを最小限にするために任意的な平滑化機能又は装置（「平滑化」）１０７により時間的にさらに平滑化することができるが、他で説明したように、処理又は装置全体の他の場所で時間的平滑化を適用することが好ましい。最後に、それぞれの乗算結合機能又は結合器１０８を介して分析フィルターバンク１００のそれぞれの帯域にゲインが適用され、処理又は「修正された」オーディオは、合成フィルターバンク機能又は装置（「合成フィルターバンク」）１１０において、ゲイン修正された帯域から合成される。加えて、分析フィルターバンクからの出力は、ゲインの計算における待ち時間を埋め合わせるために、ゲインを適用する前に時間遅れ機能又は装置（「時間遅れ」）１０９により時間遅れが加えられる。代替的に、周波数帯域でのゲイン修正の適用に用いるためにゲインを計算する代わりに、ゲインソルバー１０６は、複数タップのＦＩＲフィルターまたは複数極のＩＩＲフィルターのような時間的に変化するフィルターを制御するフィルター係数を計算してもよい。説明を簡単にするために、本発明の特徴は主に周波数帯域に用いられるゲイン要素を採用するような記載となっているが、このフィルター係数と時間的に変化するフィルターを実際的な実施の形態に採用することもできる。
【００８１】
実際的な実施の形態において、オーディオの処理は、ディジタル領域で実行するかもしれない。したがって、オーディオ入力信号は、オーディオ源からサンプリング周波数ｆｓでサンプルされた離散的な時間シーケンスｘ[n]で表される。下式で与えられるｘ[n]のｒｍｓパワーが人間のリスナに聴取されるｄＢ単位の音圧レベルに等しくなるように、シーケンスｘ[n]は適切に圧伸されていると仮定する。
【数１０】
2008518565.tif 000013
【００８２】
加えて、オーディオ信号は説明を簡単にするためにモノラルであると仮定する。
【００８３】
分析フィルターバンク１００、伝達フィルター１０１、エキサイテーション１０２、特定ラウドネス１０４、特定ラウドネス修正１０５、ゲインソルバー１０６、及びフィルターバンク１１０については以下に詳細を説明する。
【００８４】
［分析フィルターバンク１００］
オーディオ入力信号は分析フィルターバンク又は機能（「分析フィルターバンク」）１００に用いられる。分析フィルターバンク１００の各フィルターは、内耳の基底膜に沿う特定の位置での周波数応答をシミュレートするよう設計されている。分析フィルターバンク１００には、MooreとGlasbergとBaerが定義したような（B.  C.  J.  Moore,  B.  Glasberg,  T.  Baer,  「閾値音量と部分音量の予想のためのモデル」参照）、等価矩形帯域幅（ＥＲＢ）で帯域幅と間隔が一定の線形フィルターが含まれる。
【００８５】
ＥＲＢ周波数スケールは、人間の知覚にしっかりと合致しており、より主観的な音量に合致することとなる客観的な音量計測を行う上で性能の改善を示しているが、性能を下げてバーク周波数スケールを適用してもよい。
【００８６】
ヘルツ単位の中心周波数ｆ、ヘルツ単位のＥＲＢの１つの帯域幅は以下のように近似できる。
【数１１】
2008518565.tif 000014
【００８７】
この関係から、歪んだ周波数スケールが、歪んだスケールのどの点でも歪んだスケールの１つにおける対応するＥＲＢが等しくなるように定義される。ヘルツ単位の線形周波数からこのＥＲＢ周波数スケールへの変換のための関数は式（１）の逆数を積分することにより得られる。
【数１２】
2008518565.tif 000015
【００８８】
ｆについて式（２ａ）を解くことによりＥＲＢスケールから線形周波数スケールに戻す変換を表現することもまた有益である。
【数１３】
2008518565.tif 000016
【００８９】
ここで、ｅは、ＥＲＢスケールの単位である。図９は、ＥＲＢスケールとヘルツ単位の周波数との関係を示す。
【００９０】
分析フィルターバンク１００には、ＥＲＢスケールに沿って一定間隔の中央周波数ｆｃ［Ｉ］．．．ｆｃ［Ｂ］で表されるＢ聴覚フィルターを含むことができる。より具体的には
【数１４】
2008518565.tif 000017
【００９１】
ここで、Δは、分析フィルターバンク１００の好ましいＥＲＢ間隔であり、ｆｍｉｎとｆｍａｘとはそれぞれ好ましい最大中央周波数と最小中央周波数である。Δ＝１を選び、人間の耳が感知できる周波数範囲を考慮に入れて、ｆｍｉｎ＝５０Ｈｚそしてｆｍａｘ＝２００００Ｈｚに設定することができる。このようなパラメータにより、例えば、式（３ａ）〜（３ｃ）に適用してＢ＝４０の聴覚フィルターが得られる。
【００９２】
各聴覚フィルターの振幅周波数応答は、MooreとGlasbergが示したように、端数を切り捨てた指数関数により特徴づけることができる。具体的には、中央周波数ｆｃ［ｂ］を持つしルターの振幅応答は、以下のように計算される、
【数１５】
2008518565.tif 000018
【００９３】
ここで、
【数１６】
2008518565.tif 000019
【００９４】
このようなＢ聴覚フィルターの振幅応答は、ＥＲＢスケールでのクリティカル帯域を近似し、図１０に示される。
【００９５】
分析フィルターバンク１００のフィルター処理は、一般に短時間離散フーリエ変換（ＳＴＤＦＴ）と称される有限長の離散フーリエ変換を用いて適切に近似される。なぜなら、フルレート実施と称される、オーディオ信号のサンプリングレートでこのフィルターを実施することは、正確な音量計測に必要とする以上の時間分解能が得られると信じられているからである。フルレート実施の代わりにＳＴＤＦＴを用いることにより、効率を改善し計算の複雑さを緩和することができる。
【００９６】
入力オーディオ信号ｘ［ｎ］のＳＴＤＦＴは以下のように定義される、
【数１７】
2008518565.tif 000020
【００９７】
ここで、ｋは周波数インデックスであり、ｔは時間ブロックインデックスであり、ＮはＤＦＴのサイズであり、Ｔはホップサイズであり、ｗ［ｎ］は、以下のように規格化した長さＮの窓である。
【数１８】
2008518565.tif 000021
【００９８】
ここで、式（５ａ）の変数ｔは、秒での時間尺度に対立するＳＴＤＦＴの時間ブロックを表す離散インデックスであることに留意すべきである。ｔにおける増加は、信号ｘ［ｎ］に沿ってＴサンプルのホップを表す。それに続くインデックスｔの参照はこの定義を想定する。実施の形態の詳細に応じて、異なったパラメータの設定と窓の形を用いることができるが、ｆｓ＝４４１００Ｈｚ、Ｎ＝２０４８、Ｔ＝１０２４、そしてｗ［ｎ］を
ハニング窓にすることで、適切な時間分解能と周波数分解能とのバランスが得られる。上述のＳＴＤＦＴは、高速フーリエ変換（ＦＦＴ）を用いるとより効率的になる。
【００９９】
ＳＴＤＦＴの代わりに、変形離散コサイン変換（ＭＤＣＴ）を分析フィルターバンクを実施するために用いることができる。ＭＤＣＴは、ドルビーＡＣ−３のような、知覚オーディオコーダに一般的に用いられる変換である。開示したシステムがこのような知覚的にコード化されたオーディオを実施する場合、開示した音量計測と修正により、コード化されたオーディオの既存のＭＤＣＴ係数をより効率的に処理することができ、それにより、分析フィルターバンク変換が削除される。入力信号ｘ［ｎ］のＭＤＣＴは下式で得られる。
【数１９】
2008518565.tif 000022
【０１００】
一般にホップサイズＴは、信号ｘ［ｎ］の完全な再構成が可能となるよう変換長Ｎのちょうど２分の１となるよう選ばれる。
【０１０１】
［伝達フィルター１０１］
分析フィルターバンク１００の出力は、フィルターバンクの各帯域が外耳及び中耳を通るオーディオの伝達に合致するようにフィルター処理する、伝達フィルター又は伝達フィルター機能（「伝達フィルター」）１０１に用いられる。図８は、可聴周波数レンジでの伝達フィルターＰ（ｆ）の適切な振幅周波数応答を示す。この応答は１ｋＨｚ以下で一定であり、１ｋＨｚ以上では、ＩＳＯ２２６標準で定義された聴覚閾値の逆数に従い、この閾値は、１ｋＨｚで一致するよう正規化される。
【０１０２】
［エキサイテーション１０２］
入力オーディオ信号の音量を計算するためには、伝達フィルター１０１を適用した後の分析フィルターバンク１００の各フィルターにおけるオーディオ信号の短時間エネルギーの指標が必要である。この時間的にまた空間的に変化する指標はエキサイテーションと称される。分析フィルターバンク１００の各フィルターにおける短時間エネルギー出力は、周波数領域でのフィルター応答に入力信号のパワースペクトルを乗算することにより、エキサイテーション関数１０２に近似させることができる。
【数２０】
2008518565.tif 000023
【０１０３】
ここで、ｂは帯域数、ｔはブロック数、Ｈｂ［ｋ］とＰ［ｋ］は、ＳＴＤＦＴビンインデックスｋ又はＭＤＣＴビンインデックスｋに対応する周波数でサンプルされた、それぞれ聴覚フィルター及び聴覚伝達フィルターの周波数応答である。ここで、同様の結果を得るために、式（４ａ）〜（４ｃ）で説明したものとは違う聴覚フィルターの振幅応答の形を式（７）で用いることに留意すべきである。例えば、前記国際特許出願Ｎｏ．ＰＣＴ／ＵＳ２００４／０１６９６４であって、国際公開番号ＷＯ２００４／１１１９６４Ａ２として国際公開されたものでは、２つの代案が記載されている。すなわち、１２次のＩＩＲ変換で特徴づけられる聴覚フィルターと、低価格の「レンガ壁（ｂｒｉｃｋ−ｗａｌｌ）」帯域通過近似値である。
【０１０４】
要約すると、エキサイテーション関数１０２の出力は、時間間隔ｔ毎のそれぞれのＥＲＢ帯域におけるエネルギーＥの周波数領域での表現である。
【０１０５】
［時間平均化（「平滑化」）１０３］
開示された発明の応用において、以下に説明するように、それを特定ラウドネスに変換する前に、エキサイテーションＥ［ｂ，ｔ］を平滑化することが好ましい。例えば、下式により、平滑化関数１０３を再帰的に行うことで平滑化を実行することができる。
【数２１】
2008518565.tif 000024
【０１０６】
ここで、帯域ｂでの時定数λｂは、望みの応用例に応じて選定する。多くの場合帯域ｂ内で人の音量感知の時間積分に比例して選定することが好都合である。WatsonとGengelが、この時間積分が低周波数（１２５〜２００Ｈｚ）で１５０〜１７５ｍｓ以内であり、高周波数で４０〜６０ｍｓであることを実験的に示した(Charles  S.  Watson及びRoy  W.  Gengelの「聴覚感度に関連する信号継続と信号周波数」，Journal  of  the  Acoustical  Society  of  America，Vol.46,  No.4  (Part2),
1969,  pp.989-997)。
【０１０７】
［特定ラウドネス１０４］
特定ラウドネス変換又は変換関数（「特定ラウドネス」）１０４において、エキサイテーションの各周波数帯域は、ソーン毎ＥＲＢで計測される、特定ラウドネスの成分値に変換される。
【０１０８】
2008518565.tif 000025
【数２２】
2008518565.tif 000026
【０１０９】
ここで、Ｔ１ｋＨｚ（Ｅ，ｆ）は、周波数ｆではレベルＥの音量に等しい１ｋＨｚでのレベルを生成する関数である。実際にはＴ１ｋＨｚ（Ｅ，ｆ）は、伝達フィルターにより正規化された等音量曲線のルックアップテーブルの補間として実行される。１ｋＨｚでの等価なレベルに変換することで、以下の特定ラウドネスの計算が簡単になる。
【０１１０】
次に、各帯域の特定ラウドネスは以下のように計算される。
【数２３】
2008518565.tif 000027
【０１１１】
ここで、ＮＮＢ［ｂ，ｔ］とＮＷＢ［ｂ，ｔ］は、それぞれ狭帯域信号モデルと広帯域信号モデルに基づく特定ラウドネス値である。値α［ｂ，ｔ］は、オーディオ信号から計算される０と１との間の補間係数である。前記国際特許出願Ｎｏ．ＰＣＴ／ＵＳ２００４／０１６９６４であって、国際公開番号ＷＯ２００４／１１１９６４Ａ２で国際公開されたものには、エキサイテーションのスペクトルの平坦性からα［ｂ，ｔ］を計算する技術が記載されている。また、「狭帯域信号」信号モデルと「広帯域」信号モデルについても詳細に記載されている。
【０１１２】
狭帯域特定ラウドネス値と広帯域特定ラウドネス値、ＮＮＢ［ｂ，ｔ］とＮＷＢ［ｂ，ｔ］は、指数関数を用いて変換されたエキサイテーションから推定することができる。
【数２４】
2008518565.tif 000028
【０１１３】
ここでＴＱ１ｋＨｚは、１ｋＨｚのトーンに対する静音の閾値でのエキサイテーションレベルである。等音量曲線（図１１と１２）ＴＱ１ｋＨｚからは４．２ｄＢである。これらの特定ラウドネス関数は両方とも、エキサイテーションが静音の閾値に等しいとき、ゼロに等しいことに留意すべきである。静音の閾値より大きなエキサイテーションに対して、両方の関数は、感覚の強さについてのスチーブンスの法則に従うパワーの法則により単調に増大する。狭帯域関数の指数は広帯域関数より大きくなるよう選定し、狭帯域関数を広帯域関数より速く増大させる。狭帯域と広帯域の場合の指数βとゲインＧの具体的な選定は、トーンに対する音量とノイズの増大に対する経験的なデータと適合するように選択される。
【０１１４】
MooreとGlasbergが示したように、特定ラウドネスはエキサイテーションが聴覚の閾値にあるとき、ゼロの代わりの小さな値にしておくべきである。エキサイテーションがゼロに向かって減少するにつれて、特定ラウドネスは単調にゼロに向かって減少してゆく。この理由は、聴覚の閾値が蓋然的な閾値であり（トーンが５０％の回数で検出される点）、一緒に現れた、各々閾値である複数のトーンが、個々のトーンより可聴であるサウンドの和であるかもしれないからである。開示した本出願において、この特性を有する特定ラウドネスの増大により、以下に説明するように、エキサイテーションが閾値に近いときゲインソルバーに、より適切な振る舞いをさせるという利点が加えられる。エキサイテーションが閾値又は閾値以下にあるとき、特定ラウドネスをゼロに定めると、ゲインソルバーの一意的な解は存在しない。一方、MooreとGlasbergが示したように、特定ラウドネスをゼロ以上のすべてのエキサイテーションの値に対して単調増加するように定めた場合、一意的な解が存在する。音量の圧伸が一定以上であればゲインは一定以上となり、その逆も成り立つ。式（１１ａ）と（１１ｂ）の特定ラウドネス関数は、下記の好ましい特性を持つよう修正することができる。
【数２５】
2008518565.tif 000029
【数２６】
2008518565.tif 000030
【０１１５】
2008518565.tif 000031
【０１１６】
特定ラウドネスから、すべての帯域に亘って特定ラウドネスを積算することにより、全体の又は「トータル」音量Ｌ［ｔ］が得られる。
【数２７】
2008518565.tif 000032
【０１１７】
2008518565.tif 000033
【０１１８】
以下に詳細に説明するように、例えば音量制御の場合、スケールファクタαを用いて目標特定ラウドネスを計算することができる。以下の式（１６）及びそれについての説明を参照のこと。自動ゲイン制御及びダイナミックレンジ制御の場合、目標特定ラウドネスは、好ましい出力音量と入力音量との比を用いて計算することができる。以下の式（１７）と（１８）及びそれらについての説明を参照のこと。ダイナミックイコライゼーションの場合は、式（２３）及びそれについての説明に示した関係を用いて目標特定ラウドネスを計算する。
【０１１９】
2008518565.tif 000034
【数２８】
2008518565.tif 000035
【０１２０】
ゲインソルバーは以下となるようにＧ［ｂ，ｔ］を求める。
【数２９】
2008518565.tif 000036
【０１２１】
ゲインソルバー１０６は、元のエキサイテーションに適用したとき、特定ラウドネスが理想的には目標特定ラウドネスに等しくなるような特定ラウドネスが結果的に得られるような周波数的に変化し時間的に変化するゲインを定める。実際には、ゲインソルバーは、周波数領域でのオーディオ信号に適用したとき、特定ラウドネスと目標特定ラウドネスとの差を減少させるようにオーディオ信号を修正する結果となるような周波数的に変化し時間的に変化するゲインを定める。理想的には、修正されたオーディオ信号が目標特定ラウドネスに非常に近似した特定ラウドネスを持つように、修正を行う。式（１４ａ）の解は、さまざまな方法で実行できる。例えば、Ψ−１｛．｝で表される、特定ラウドネスの逆数の閉形式数学的表現が存在するなら、式（１４ａ）を再構成することにより直接的にゲインを計算することができる。
【数３０】
2008518565.tif 000037
【０１２２】
代替的に、もし、Ψ−１｛．｝の閉形式の解が存在しないならば、式（１４ａ）の繰り返しを、そのときのゲインの推定値を用いて評価する反復的なアプローチを採用することができる。結果得られた特定ラウドネスを好ましい目標と比較し、ゲインを誤差に基づいて更新する。もしゲインが適切に更新されたなら、好ましい解に収束する。もう１つの方法は、ルックアップテーブルを作るために各帯域のエキサイテーション値の範囲で関数Ψ｛．｝をあらかじめ計算する。このルックアップテーブルから、逆関数Ψ−１｛．｝の近似が得られ、そして式（１４ｂ）からゲインが計算される。先に説明したように、目標特定ラウドネスは、特定ラウドネスを圧伸することで表現することができるから、
【数３１】
2008518565.tif 000038
【０１２３】
式（１３）を（１４ｃ）に代入し、（１４ｃ）を（１４ｂ）に代入してゲインの他の表現が得られる。
【数３２】
2008518565.tif 000039
【０１２４】
2008518565.tif 000040
【０１２５】
したがって、ゲインは、中間値として特定ラウドネスや目標特定ラウドネスを明示的に計算することなく、（１４ｄ）の評価又は等価なルックアップテーブルから計算することができる。しかし、これらの値は式（１４ｄ）の使用を通じて黙示的に計算される。特定ラウドネスや目標特定ラウドネスを明示的又は黙示的に計算することで修正パラメータを計算する等価な他の方法も工夫することができ、この発明はこのような方法のすべてを包含するものである。
【０１２６】
［合成フィルターバンク１１０］
上述したように、分析フィルターバンク１００は、短時間離散フーリエ変換（ＳＴＤＦＴ）又は変形離散コサイン変換を用いることにより効率的に実施できるが、ＳＴＤＦＴ又はＭＤＣＴは同様に合成フィルターバンク１１０の実施に用いることができる。具体的には、Ｘ［ｋ，ｔ］に入力オーディオのＳＴＤＦＴ又はＭＤＣＴを表現させると、先に説明したように、合成フィルターバンク１１０で処理した（修正された）オーディオＳＴＤＦＴ又はＭＤＣＴは以下のように計算することができる。
【数３３】
2008518565.tif 000041
【０１２７】
ここでＳｂ［ｋ］は、帯域ｂに関する合成フィルターの応答であり、ｄは図７の時間遅れブロック１０９に関する時間遅れである。合成フィルターＳｂ［ｋ］の形は、分析フィルターバンクで用いたフィルター、Ｈｂ［ｋ］、と同じに選んでもよく、又はこれらを、ゲイン修正なしで（すなわちＧ［ｂ，ｔ］＝１で）完全な再構成ができるように修正してもよい。
【０１２８】
2008518565.tif 000042
【０１２９】
本発明は、目標特定ラウドネスを計算するための特定の関数又は逆関数に制限されるものではないが、いくつかのそのような関数と適切な応用例をここで説明する。
【０１３０】
［音量制御に適した時間的に変化せず、周波数的に変化しない関数］
標準の音量制御ではオーディオに広帯域ゲインを適用することによりオーディオ信号の音量を調整する。一般に、ゲインは、オーディオ音量が望みのレベルになるまでユーザが調整するノブ又はスライダーと結合している。本発明の特徴によれば、このような制御をより音響心理学的に満足させるようにすることができる。本発明のこの特徴によれば、感知するスペクトルの変化をもたらすかもしれない、全周波数帯域に亘って同じ量だけゲインを変化させる音量制御と結合した広帯域ゲインを持つのではなく、理想的には感知するスペクトルに変化がないよう複数の周波数帯域のそれぞれのゲインが人の聴覚モデルを考慮に入れた量だけ変化するように、特定ラウドネススケールファクタが代わって音量制御の調整と結合している。本発明の特徴及びその応用例の記載において、「一定」又は「時間的に変化しない」は、例えば人により、音量制御スケールファクタの設定を時間と共に変化させることを許容するものである。このような、「時間的に変化しない」は、しばしば「ある程度時間的に変化しない」、「ある程度一定である」「区分的に時間的に変化しない」、「区分的に一定である」、「階段状に時間的に変化しない」、及び「階段状に一定である」というように称される。このようなスケールファクタαが与えられると、αで乗算され、計測された特定ラウドネスとして目標特定ラウドネスを計算することができる。
【数３４】
2008518565.tif 000043
【０１３１】
トータル音量Ｌ［ｔ］が特定ラウドネスＮ［ｂ，ｔ］の全帯域ｂに亘っての和なので、上記修正ではファクタαによりトータル音量を圧伸するが、音量制御の調整を変更させるときに感知したスペクトルを同じに維持するような方法でそれを行う。言い換えれば、どんなときでも、音量制御の調整を変更することにより、感知した音量が変化することになるが、修正されたオーディオの感知したスペクトルと修正されていないオーディオの感知したスペクトルとにおいて変化はない。図１３ａは、女性の音声を含むオーディオ信号に対してα＝０．２５のとき、時間「ｔ」で帯域「ｂ」に亘って得られた複数帯域ゲインＧ［ｂ，ｔ］を示す。比較のために、標準の音量制御として、元のトータル音量を０．２５で圧伸するのに必要な広帯域ゲインを点線で示す（水平線）。この複数帯域ゲインＧ［ｂ，ｔ］は、中間周波数帯域に比べて高周波数帯域と低周波数帯域とで増加している。これは、人の耳が高周波数と低周波数とで感度が低くなることを示す等音量曲線を満足している。
【０１３２】
図１３ｂは、元のオーディオ信号の特定ラウドネスと、先行技術の音量制御により修正されたものとしての広帯域ゲイン修正された信号の特定ラウドネスと、本発明の特徴により修正されたものとしての複数帯域ゲイン修正された信号の特定ラウドネスとを示したものである。複数帯域ゲイン修正された信号の特定ラウドネスは、オリジナルを０．２５で圧伸したものである。広帯域ゲイン修正された信号の特定ラウドネスは、元の修正されていない信号の特定ラウドネスに対してそのスペクトルの形が変わっている。この場合、特定ラウドネスは相対的に、低周波数と高周波数の両方で音量が失われている。これは、オーディオの音量を下げたときのオーディオの曇りとして感知され、この問題は、音量が感知音量領域で導き出されたゲインで制御されている、複数帯域で修正された信号では起こらない。
【０１３３】
従来の音量制御に関する感知されたスペクトルバランスの歪みに加えて、第２の問題が存在する。式（１１ａ）〜（１１ｄ）に反映された音量モデルに反映されている音量検知の特性は、信号レベルが聴覚の閾値に近づくにつれて、あらゆる周波数において信号の音量が速く減少して行くことである。その結果、音量の小さな信号に同じ音量減衰を与えるのに必要な電気的減衰は、音量の大きな信号に必要なものより少ない。従来の音量制御では、信号レベルを考慮しないで一定の減衰を与えているので、音量を下げたとき、音量の大きな信号に対して音量の小さな信号は、「音量が小さすぎ」になる。多くの場合この結果オーディオの詳細が失われる結果となる。カスタネットを残響室でレコーディングすることを考える。このようなレコーディングにおいて、カスタネットの主となる「一打」は反射エコーに比べて非常に大音量であるが、部屋の大きさを伝達するのは反射エコーである。従来の音量制御で音量を下げるにつれて、反射エコーは、主となる一打に比べて音量が小さくなり、最終的に聴覚の閾値以下に消えてしまい、「乾いた」カスタネット音を残す。音量に基づく音量制御により、音量の大きい部分と音量の小さい部分との相対音量を一定に保つために、音量の大きい部分に比較して音量の小さい残響部分を押し上げることにより、レコーディングにおける音量の小さい部分の消失を防止する。このような効果を達成するために、複数帯域ゲインＧ［ｂ，ｔ］は、人の音量に対する時間分解能とつりあった速さで時間的に変化しなければならない。
【０１３４】
2008518565.tif 000044
【０１３５】
先に述べたように、これらの時定数は帯域ｂ内での人の音量感知の時間の積分に比例して選定することができ、そして時間について適切なＧ［ｂ，ｔ］の変化を生み出す。もし時定数が不適切（速すぎるか遅すぎる）に選定されるならば、感知できる不快なアーティファクトが処理したオーディオに持ち込まれる。
【０１３６】
［固定イコライゼーションに適した時間的に不変で周波数的に変化する関数］
いくつかの応用例において、オーディオに感知可能な固定のイコライゼーションの適用を望むかもしれず、この場合、目標特定ラウドネスは、下式のように、時間的に不変であるが周波数的に変化するスケールファクタΘ［ｂ］をその関連として用いて計算することができる。
【数３５】
2008518565.tif 000045
【０１３７】
2008518565.tif 000046
【０１３８】
この場合、圧伸は帯域から帯域で変化してもよい。このような応用例は、例えば理解しやすさを増すために音声周波数で目立つスペクトルを部分的に強調するのに有効である。
【０１３９】
［自動ゲイン制御及び自動ダイナミックレンジ制御に適した周波数的に不変で時間的に変化する関数］
自動ゲイン制御及び自動ダイナミックレンジ制御（ＡＧＣ及びＤＲＣ）の技法は、オーディオ処理の分野でよく知られている。抽象的な意味では、両方ともある方法でオーディオ信号のレベルを計測し、そして、計測したレベルの関数である量で信号のゲインを修正する。ＡＧＣの場合では、計測したレベルが、ユーザが選択した参照レベルに近似するように信号のゲインが修正される。ＤＲＣでは、信号の計測したレベルが好ましいレンジに変換されるように信号のゲインが修正される。例えば、オーディオの静かな部分を大きく、音量の大きな部分を静かにすることを望むことができる。RobinsonとGundryにより記載されている（Charles  RobinsonとKenneth  Gundry、「メタデータによるダイナミックレンジ制御」、107th  Convention  of  the  AES,  Preprint  5028,  September  24-27,  1999,  New
York）。従来のＡＧＣとＤＲＣの実施例は、一般に、平滑化されたピーク又は２乗平均平方根（ｒｍｓ）振幅のようなオーディオ信号レベルの簡単な計測を用いて、ゲイン修正をおこなう。このような簡単な計測は、オーディオの感知音量にある程度まで関連しているが、本発明の特徴によれば、音響心理学的モデルに基づく音量の計測によりゲイン修正を行うことにより、感覚的により適切なＡＧＣとＤＲＣが可能となる。さらに、多くの従来のＡＧＣシステムとＤＲＣシステムでは、広帯域ゲインのゲイン修正を適用し、したがって、処理したオーディオ中に先に説明したような音質の（スペクトルの）歪みを受ける。一方、本発明の特徴によれば、そのような歪みを除去又は最低限にするような方法で特定ラウドネスを形成するために複数帯域のゲインを用いる。
【０１４０】
本発明の特徴を採用するＡＧＣの応用例とＤＲＣの応用例とは両方とも、入力広帯域音量Ｌｉ［ｔ］を好ましい出力広帯域音量Ｌｏ［ｔ］に変換又は写像し、ここで音量は、ソーンのような感知音量単位で計測される。入力広帯域音量Ｌｉ［ｔ］は、入力オーディオ信号の具体的な入力特定ラウドネスＮ［ｂ，ｔ］の関数となる。それは入力オーディオ信号のトータル音量と同じかもしれないが、オーディオ信号のトータル音量を時間的に平滑化したものとしてもよい。
【０１４１】
図１４ａと１４ｂは、それぞれＡＧＣとＤＲＣに一般的な写像の例を示す。Ｌｏ［ｔ］がＬｉ［ｔ］の関数であるような写像を仮定すると目標特定ラウドネスは以下のように計算される。
【数３６】
2008518565.tif 000047
【０１４２】
2008518565.tif 000048
【０１４３】
ＡＧＣシステムに対して、入力広帯域音量Ｌｉ［ｔ］は、原則として、オーディオの長時間トータル音量の計測値であるべきである。これは、トータル音量Ｌ［ｔ］を時間で平滑化してＬｉ［ｔ］を作ることにより達成できる。
【０１４４】
ＡＧＣと比較して、ＤＲＣシステムは、信号の音量短時間変化に反応し、したがって、Ｌｉ［ｔ］は単純にＬ［ｔ］と等しくなる。結果として、Ｌｏ［ｔ］／Ｌｉ［ｔ］で与えられる特定ラウドネスの圧伸は、急速に動揺し、処理したオーディオに不必要なアーティファクトを導く。１つの典型的なアーティファクトは、周波数スペクトルの一部が、他の比較的関係のないスペクトル部分で可聴に変調されたものである。例えば、クラシック音楽を選択した場合、低周波数には大きく響くティンパニーが含まれる一方、一様な弦楽器の響きが目立つ高周波数が含まれる。このティンパニーを叩いたときはいつでも、全体的な音量Ｌｉ［ｔ］が増大し、ＤＲＣシステムはこの特定ラウドネス全体に減衰を適用する。そして、弦楽器は「ポンプ」ダウンし、ティンパニーは「ポンプ」アップして聞こえる。このようなスペクトル中のクロスポンピングは、今までの広帯域ＤＲＣシステムでも問題であり、一般的な解決手段は、ＤＲＣを異なった周波数帯域に独立に適用することである。ここに開示したシステムは、フィルターバンクと感知音量モデルを用いる特定ラウドネスの計算に起因して、本質的に複数帯域であり、したがって、本発明の特徴に従うように複数帯域でＤＲＣシステムを動作させるように修正することは、比較的簡単であり、次に説明する。
【０１４５】
［ダイナミックレンジ制御に適した周波数的に変化し、時間的に変化する関数］
ＤＲＣシステムは、入力音量と出力音量を帯域ｂとは独立に変化させることにより、複数帯域又は周波数的に変化する方法で動作させるよう拡張することができる。これらの複数帯域音量値はＬｉ［ｂ，ｔ］とＬｏ［ｂ，ｔ］として参照され、目標特定ラウドネスは、下式で得られる。
【数３７】
2008518565.tif 000049
【０１４６】
ここで、Ｌｏ［ｂ，ｔ］は、図１４ｂで示したようにＬｉ［ｂ，ｔ］から各帯域ｂとは独立に計算又は写像されたものである。入力複数帯域音量Ｌｉ［ｂ，ｔ］は、入力オーディオ信号の特定ラウドネスＮ［ｂ，ｔ］の関数である。これは、入力オーディオ信号の特定ラウドネスと同じかもしれないが、オーディオ信号の特定ラウドネスを時間的に平滑化し及び／又は周波数的に平滑化したものであってもよい。
【０１４７】
Ｌｉ［ｂ，ｔ］を計算する最も簡単な方法は、それを特定ラウドネスＮ［ｂ，ｔ］に等しく設定することである。この場合、ＤＲＣは、上記表題「自動ゲイン制御及び自動ダイナミックレンジ制御に適した周波数的に不変で時間的に変化する関数」で説明したような、全帯域で同じ入力音量対出力音量比によるのではなく、感知音量モデルの聴覚フィルターバンク内の各帯域で独立に行われる。４０帯域を用いた実際の実施の形態において、周波数軸に沿うこれらの帯域間の間隔は、音量の正確な計測とを提供するために比較的細かい。しかし、各帯域に独立にＤＲＣスケールファクタを適用することにより、処理したオーディオを「引き裂かれた」サウンドにするかもしれない。この問題を避けるため、ＤＲＣの量を１つの帯域から次の帯域に適用するときに大幅に変化することのないように特定ラウドネスＮ［ｂ，ｔ］を帯域を通して平滑化してＬｉ［ｂ，ｔ］を計算するような選択ができる。これは、帯域平滑化フィルターＱ（ｂ）を定義し、標準的な畳み込み積算により特定ラウドネスを全帯域ｃで平滑化することで達成できる。
【数３８】
2008518565.tif 000050
【０１４８】
ここで、Ｎ［ｃ，ｔ］は、オーディオ信号の特定ラウドネスであり、Ｑ（ｂ−ｃ）は、平滑化フィルターの帯域シフトした応答である。図１５は、このような帯域平滑化フィルターの１例を示す。
【０１４９】
もし、Ｌｏ［ｂ，ｔ］の関数としてＬｉ［ｂ，ｔ］を計算するＤＲＣ関数がすべての帯域ｂで固定されているならば、特定ラウドネスＮ［ｂ，ｔ］の各帯域で被る変化の形式は、信号の全体的な音量が同じに維持されるとしても、処理されるオーディオのスペクトルにより変化する。例えば、大きな音量のバスと静かなトレブルを有するオーディオ信号は、バスをカットしトレブルをブーストすることができる。正味の効果はオーディオの音質又は感知されるスペクトルの変化であり、これは特定の応用例では好ましいかもしれない。
【０１５０】
しかし、オーディオの平均感知スペクトルを修正しないで複数帯域のＤＲＣを行うことを望むかもしれない。修正の短時間変動を帯域間で独立に動作させる一方、各帯域における平均修正をほぼ同じにすることを望むかもしれない。各帯域におけるこのＤＲＣの平均的な作用を基準となる作用と同じにさせることにより好ましい効果が達成できるかもしれない。広帯域入力音量Ｌｉ［ｂ，ｔ］の好ましいＤＲＣとしてこの基準となる作用を選ぶことができる。関数Ｌｏ［ｔ］＝ＤＲＣ｛Ｌｉ［ｔ］｝が広帯域音量の好ましいＤＲＣ写像を表すとする。
【０１５１】
2008518565.tif 000051
【数３９】
2008518565.tif 000052
【０１５２】
ここで、複数帯域入力音量は広帯域入力音量と同じ平均レンジに最初に圧伸されることに留意すべきである。広帯域音量に設計されたＤＲＣ関数が次いで適用される。最後に、その結果が圧伸されて複数帯域音量の平均レンジに戻される。複数帯域ＤＲＣをこのように公式化することにより、縮小したスペクトル的ポンピングの利点が保たれ、同時にオーディオの平均感知スペクトルが保たれる。
【０１５３】
［ダイナミックイコライゼーションに適した周波数的に変化し時間的に変化する関数］
本発明の特徴の他の応用例は、オーディオの元のダイナミックレンジを保持しながら、時間的に変化するオーディオの感知スペクトルを目標となる時間的に変化しない感知スペクトルに意図的に変換することである。この処理をダイナミックイコライゼーション（ＤＥＱ）と称してもよい。従来の静的なイコライゼーションでは、単純な固定のフィルター処理がそのスペクトルを変化させるためにオーディオに適用されている。例えば、固定したバス又はトレブルブーストに適用できる。このような処理は、オーディオの現在のスペクトルを考慮に入れないので、同じ信号すなわち、すでに比較的大量のバス又はトレブルを含む信号には適さない。ＤＥＱにより、信号のスペクトルが計測され、この計測されたスペクトルを本質的に静的な好ましい形に変換するためにその信号をダイナミックに修正する。本発明の特徴として、このような好ましい形はフィルターバンクの帯域を通じて仕様を定められ、ＥＱ［ｂ］と称される。実際の実施の形態では、計測されたスペクトルは、特定ラウドネスＮ［ｂ，ｔ］を時間で平滑化することにより生成することができるオーディオの平均スペクトルの形を表す。
【０１５４】
2008518565.tif 000053
【数４０】
2008518565.tif 000054
【０１５５】
2008518565.tif 000055
【数４１】
2008518565.tif 000056
【０１５６】
最終的に目標特定ラウドネスは以下のように計算される。
【数４２】
2008518565.tif 000057
【０１５７】
ここでβは、ユーザが指定する０から１までの間のパラメータであり、適用されるＤＥＱの程度を示す。式（２３）を参照して、β＝０のとき、もとの特定ラウドネスは修正されず、β＝１のとき、特定ラウドネスは好ましいスペクトル形状の計測されたスペクトル形状に対する比で圧伸される。
【０１５８】
2008518565.tif 000058
【０１５９】
図１６は、図７を簡単にしたもので、分析フィルターバンク１００から合成フィルターバンク１１０までの複数帯域を示す１つのラインのみを示している。図１７の例では、上述したようなダイナミックイコライゼーションに従い機能又は装置１０４で計測された特定ラウドネスに修正を施す、ダイナミックＥＱ特定ラウドネス（ＳＬ）修正５０５も提供する。
【０１６０】
［結合された処理］
音量制御（ＶＣ）、ＡＧＣ、ＤＲＣ、及びＤＥＱを含む、先に説明したすべての処理を１つのシステムに結合することを望むかもしれない。これらの各処理は特定ラウドネスの圧伸として表すことができるから、以下のようにこれらを結合することができる。
【数４３】
2008518565.tif 000059
【０１６１】
2008518565.tif 000060
【０１６２】
次いで、結合された処理を表す目標特定ラウドネスのゲインＧ［ｂ，ｔ］の単一のセットを計算することができる。
【０１６３】
場合によっては、このラウドネスの修正処理の１つ又は組み合わせについてのスケールファクタが時間的に速く変動しすぎ、処理したオーディオ中にアーティファクトを生じることがある。したがって、これらのスケールファクタの一部を平滑化させることが望ましい。一般に、ＶＣとＤＥＱからのスケールファクタは時間的に平滑に変化するが、ＡＧＣスケールファクタとＤＲＣスケールファクタの結合を平滑化することは必要であろう。これらのスケールファクタの結合を以下で表すこととする。
【数４４】
2008518565.tif 000061
【０１６４】
平滑化の背後にある概念は、特定ラウドネスが増加するとき結合されたスケールファクタがすばやく反応することであり、特定ラウドネスが減少するときスケールファクタがより重く平滑化されることである。この概念は、オーディオ圧縮器の設計におけるファーストアタック（ｆａｓｔ  ａｔｔａｃｋ）及びスローリリース（ｓｌｏｗ  ｒｅｌｅａｓｅ）の使用としてよく知られているものに相当する。スケールファクタを平滑化するための適切な時定数は、特定ラウドネスの帯域平滑化したものを時間的に平滑化することにより計算することができる。最初に、特定ラウドネスの帯域平滑化したものは下式で計算される。
【数４５】
2008518565.tif 000062
【０１６５】
ここでＮ［ｃ，ｔ］は、オーディオ信号の特定ラウドネスであり、Ｑ［ｂ−ｃ］は、前記式（１９）のような平滑フィルターの帯域シフトした応答である。
【０１６６】
この帯域平滑化した特定ラウドネスの時間平滑化したものは下式で計算される。
【数４６】
2008518565.tif 000063
【０１６７】
ここで、帯域に依存する平滑化係数λ［ｂ，ｔ］は下式で与えられる。
【数４７】
2008518565.tif 000064
【０１６８】
平滑化した結合されたスケールファクタは、次に、下式で計算される。
【数４８】
2008518565.tif 000065
【０１６９】
ここで、λＭ［ｂ，ｔ］は、λ［ｂ，ｔ］の帯域平滑化したものである。
【数４９】
2008518565.tif 000066
【０１７０】
平滑化係数の帯域平滑化により、時間平滑化したスケールファクタが帯域をまたがって急激に変化することを防ぐ。時間平滑化と帯域平滑化の記載のスケールファクタにより、処理したオーディオに、耳障りな感知できるアーティファクトをほとんど含有させない。
【０１７１】
［ノイズ補償］
多くのオーディオ再生環境において、リスナが聞こうとするオーディオと干渉する暗騒音が存在する。例えば、移動中の乗用車内のリスナは備え付けのステレオシステムで音楽を再生することができ、エンジン及び道路からのノイズにより、音楽が顕著に異なって感知される。特に、ノイズのエネルギーが音楽のエネルギーに強く関連するスペクトルの部分では、音楽の感知音量が減少する。もしノイズが十分大きい場合は、音楽は完全にマスクされる。
【０１７２】
2008518565.tif 000067
【０１７３】
この効果を達成するため、MooreとGlasbergによって定義された部分ラウドネスの概念を用いてもよい。ノイズ単独の計測値とオーディオ単独の計測値とが得られると仮定する。ＥＮ［ｂ，ｔ］はノイズからのエキサイテーションを表し、ＥＡ［ｂ，ｔ］はオーディオからのエキサイテーションを表すものとする。オーディオとノイズの結合した特定ラウドネスは、下式で与えられる。
【数５０】
2008518565.tif 000068
【０１７４】
ここで、Ψ｛．｝は、エキサイテーションから特定ラウドネスへの非線形変換を表す。結合した特定ラウドネスを保持するような方法で、リスナーの聴覚が結合した特定ラウドネスを、オーディオの部分特定ラウドネスとノイズの部分特定ラウドネスとを区別すると仮定する。すなわち、
【数５１】
2008518565.tif 000069
【０１７５】
オーディオの部分特定ラウドネス、ＮＡ［ｂ，ｔ］は、制御したい値であリ、したがってこの値を求めなければならない。ノイズの部分特定ラウドネスは、以下のように近似することができる。
【数５２】
2008518565.tif 000070
【０１７６】
ここでＥＴＮ［ｂ，ｔ］は、ノイズの存在によりマスクされる閾値であり、ＥＴＱ［ｂ］は帯域ｂでの静音閾値であり、κは０と１との間の指数である。式（３１）〜（３３）を結合して、オーディオの部分特定ラウドネスの表現に到達する。
【数５３】
2008518565.tif 000071
【０１７７】
オーディオのエキサイテーションがノイズによりマスクされる閾値（ＥＡ［ｂ，ｔ］＝ＥＴＮ［ｂ，ｔ］）であるとき、オーディオの部分特定ラウドネスは、静音閾値での信号のラウドネスに等しく、これは好ましい結果であることに留意すべきである。オーディオのエキサイテーションがノイズよりはるかに大きいとき、式（３４）の２番目の項が消え、オーディオの特定ラウドネスはノイズが無い場合の値にほぼ等しくなる。言い換えると、オーディオがノイズよりはるかに大きいので、ノイズがオーディオにマスクされる。指数κは、信号対ノイズ比の関数として、ノイズ中のトーンの音量のデータにうまく適合するように経験的に選択される。MooreとGlasbergはκ＝０．３が適当であることを見つけている。マスクされるノイズの閾値は、ノイズのエキサイテーション自身の関数として近似される。
【数５４】
2008518565.tif 000072
【０１７８】
ここで、Ｋ［ｂ］は低周波数帯域で増大する定数である。したがって、式（３４）で与えられるオーディオの部分特定ラウドネスは、抽象的にはオーディオのエキサイテーションとノイズのエキサイテーションの関数として表現することができる。すなわち、
【数５５】
2008518565.tif 000073
【０１７９】
修正されたゲインソルバーは、次いで、ノイズの存在下で処理したオーディオの部分特定ラウドネスが目標特定ラウドネスに等しくなるようゲインＧ［ｂ，ｔ］の計算に用いられる。
【数５６】
2008518565.tif 000074
【０１８０】
図１７は、元のゲインソルバー１０６を記載したノイズ補償ゲインソルバー２０６に置き換えた図７のシステムを示す（フルターバンクの複数帯域を示すブロック間の複数の垂直線は、図を単純化するために１本の線に置き換えてあることに留意すべきである）。加えて、図は、（平滑化１０３からの）オーディオのエキサイテーションと（ＳＬ修正からの）目標特定ラウドネスと共に新しいゲインソルバー２０６に（ブロック１００，１０１，１０２および１０３の動作に相当する方法で、分析フルターバンク２００，伝達フィルター２０１，エキサイテーション２０２及び平滑化２０３により）供給するノイズエキサイテーションの測定も示している。
【０１８１】
2008518565.tif 000075
【０１８２】
言い換えれば、ＳＬ修正は、周波数的に変化しない、α＝１である、オーディオ信号の特定ラウドネスを圧伸するスケールファクタαを提供する。図１７のような構成により、ノイズの存在下で処理したオーディオの感知されるラウドネススペクトラムがノイズが存在しない状態でのラウドネススペクトラムと等しくなるよう計算される。さらに、ＶＣ，ＡＧＣ，ＤＲＣ，及びＤＥＱを含む元の関数として目標特定ラウドネスを計算するための先に説明した技術の１つ又はその組み合わせを、ノイズ補償音量修正システムと共に用いてもよい。
【０１８３】
現実的な実施の形態において、ノイズの計測はオーディオが再生される環境の近傍におかれたマイクロフォンから得ることもできる。あるいは、さまざまな状況の下での予想ノイズスペクトルに近似する所定のノイズエキサイテーションのテンプレートのセットを用いてもよい。例えば、自動車の室内のノイズは種々の運転速度であらかじめ分析しておき、それをノイズエキサイテーション対速度のルックアップテーブルとして保存することができる。次いで、自動車の速度が変わるときにこのルックアップテーブルから、図１７のゲインソルバー２０６に送られるノイズエキサイテーションを近似する。
【０１８４】
［実施の形態］
本発明は、ハードウェア又はソフトウェア又は両者の組み合わせ（例えば、プログラマブルロジックアレー）により実施することができる。特記なき場合は、本発明の一部として含まれるアルゴリズムは、特定のコンピュータ又は他の装置に本質的に関連するものではない。特に、ここでの開示にしたがって書かれたプログラムによりさまざまな汎用マシーンを使用してもよく、また、要求される方法を実行するために特別に作られた装置（例えば、集積回路）を作ることはもっと便利かもしれない。このように、各々が少なくとも１つのプロセッサ、少なくとも１つのデータ記憶システム（揮発性メモリー、不揮発性メモリー、及び／又は記憶素子を含む）、少なくとも１つの入力装置又は入力ポート、及び少なくとも１つの出力装置又は出力ポートからなる１以上のプログラム可能なコンピュータシステム上で動作する１以上のコンピュータプログラムにより本発明を実施することができる。プログラムコードは、本明細書に記載した機能を実行し出力情報を生成するために入力データにおいて適用される。出力情報は、既知の方法で、１以上の出力装置において適用される。
【０１８５】
このようなプログラムの各々は、コンピュータシステムと通信するために好ましいどんなコンピュータ言語（機械語、アセンブリ言語、又は高級手続言語、ロジック言語、又はオブジェクト指向プログラム言語を含む）で実行してもよい。どの場合でも、言語はコンパイラでもインタプリタでもよい。
【０１８６】
ここに記載した手続を実行させるために記憶媒体又は装置をコンピュータが読み出したとき、コンピュータを設定し動作させるために、このようなコンピュータプログラムは、汎用コンピュータ又は特定目的のプログラム可能なコンピュータで読み出し可能な記憶媒体又は装置（例えば、半導体メモリー又は媒体、又は次期媒体又は光学媒体）に記憶しておくことが好ましい。本発明のシステムは、コンピュータプログラムとして構成され、この記憶媒体がここに記載した機能を実行するために具体的かつあらかじめ定めた方法でコンピュータを動作させるよう構成されている、コンピュータで読み出し可能な記憶媒体として実施することも考えられる。
【０１８７】
本発明の種々の実施の形態をここで説明した。しかしながら、本発明の思想や範囲から逸脱することなしにさまざまな変更を加えることが可能であることは了解されよう。例えば、上述の工程のいくつかはその順序に関係がなく、したがって、ここに説明したものとは異なる順序で実施することができる。したがって、他の実施の形態も以下の特許請求の範囲に含まれる。
【図面の簡単な説明】
【０１８８】
【図１】本発明の特徴によるフィードフォワード構成の実施形態の１例を示す機能ブロックダイアグラムである。
【図２】本発明の特徴によるフィードバック構成の実施形態の１例を示す機能ブロックダイアグラムである。
【図３】本発明の特徴によるフィードフォワード／フィードバックのハイブリッド構成の実施形態の１例を示す機能ブロックダイアグラムである。
【図４】本発明の特徴によるもう１つのフィードフォワード／フィードバックのハイブリッド構成の実施形態の１例を示す機能ブロックダイアグラムである。
【図５】フィードフォワード構成、フィードバック構成、及びフィードフォワード／フィードバックのハイブリッド構成のいずれか１つにより決定された修正されていないオーディオ信号と修正パラメータを、例えば、時間的に又は空間的に分離した装置又は処理において用いるために保存又は伝達する様子を示す機能ブロックダイアグラムである。
【図６】フィードフォワード構成、フィードバック構成、及びフィードフォワード／フィードバックのハイブリッド構成のいずれか１つにより決定された修正されていないオーディオ信号と目標特定ラウドネス又はそれを代理するものを、例えば、時間的に又は空間的に分離した装置又は処理において用いるために保存又は伝達する様子を示す機能ブロックダイアグラムである。
【図７】本発明の特徴を概観する概略機能ブロックダイアグラム又は概略フローチャートである。
【図８】本発明の実施の形態における伝達フィルターに適した線形フィルターＰ（ｚ）の理想的な特性応答を示し、ここで、垂直軸はデシベル（ｄＢ）単位の減衰であり、水平軸は１０を底とする対数で表したヘルツ（Ｈｚ）である。
【図９】ＥＲＢ周波数スケール（垂直軸）とヘルツ（Ｈｚ）単位の周波数（水平軸）との関係を示す。
【図１０】ＥＲＢスケールにおけるクリティカル帯域を近似した応答特性を持つ理想的な聴覚フィルターを示す。水平軸はヘルツ単位で示した周波数で、垂直軸はデシベル単位で示したレベルである。
【図１１】ＩＳ０２２６の等音量曲線を示す。水平軸はヘルツ（Ｈｚ）単位で示した周波数であり（底１０の対数）、垂直軸はデシベル単位で示した音圧レベルである。
【図１２】伝達フィルターＰ（ｚ）により正規化されたＩＳ０２２６の等音量曲線を示す。水平軸はヘルツ単位で示した周波数であり（底１０の対数）、垂直軸はデシベル単位で示した音圧レベルである。
【図１３ａ】女性の音声セグメント上の０．２５で音量縮小させる広帯域及び複数帯域ゲインを示す理想的な図である。水平軸の尺度はＥＲＢ単位であり、垂直軸の尺度はデシベル（ｄＢ）単位の相対ゲインである。
【図１３ｂ】それぞれ、元の信号、広帯域でゲイン修正された信号、及び複数帯域でゲイン修正された信号の特定ラウドネスを示す理想的な図である。水平軸の尺度はＥＲＢ単位であり、垂直軸の尺度はデシベル（ｄＢ）単位の相対ゲインである。
【図１４ａ】典型的なＡＧＣに対するＬｉ［ｔ］の関数としてのＬｏ［ｔ］を示す理想的な図である。水平軸はｌｏｇ（Ｌｉ［ｔ］）であり垂直軸はｌｏｇ（Ｌｏ［ｔ］）である。
【図１４ｂ】典型的なＤＲＣに対するＬｉ［ｔ］の関数としてのＬｏ［ｔ］を示す理想的な図である。水平軸はｌｏｇ（Ｌｉ［ｔ］）であり垂直軸はｌｏｇ（Ｌｏ［ｔ］）である。
【図１５】複数帯域ＤＲＣに対する典型的な帯域平滑関数を示す理想的な図である。水平軸の尺度は帯域数であり、垂直軸の尺度は帯域ｂに対するゲイン出力である。
【図１６】本発明の特徴を概観する概略機能ブロックダイアグラム又は概略フローチャートである。
【図１７】再生環境における騒音の相殺を含む、図１に類似の概略機能ブロックダイアグラム又は概略フローチャートである。
【図１】
2008518565.tif 000091
【図２】
2008518565.tif 000092
【図３】
2008518565.tif 000093
【図４】
2008518565.tif 000094
【図５】
2008518565.tif 000095
【図６】
2008518565.tif 000096
【図７】
2008518565.tif 000097
【図８】
2008518565.tif 000098
【図９】
2008518565.tif 000099
【図１０】
2008518565.tif 000100
【図１１】
2008518565.tif 000101
【図１２】
2008518565.tif 000102
【図１３ａ】
2008518565.tif 000103
【図１３ｂ】
2008518565.tif 000104
【図１４ａ】
2008518565.tif 000105
【図１４ｂ】
2008518565.tif 000106
【図１５】
2008518565.tif 000107
【図１６】
2008518565.tif 000108
【図１７】
2008518565.tif 000109
【国際調査報告】
2008518565.tif 000110
2008518565.tif 000111
2008518565.tif 000112