(57)【要約】  オーディオ信号の知覚音量及び／又は知覚スペクトルバランスの計測と制御に関するオーディオ信号の処理が、例えば、次の１つ以上で役に立つ。すなわち、音量補償ボリューム制御、自動ゲイン制御、ダイナミックレンジ制御（例えば、リミッター、圧縮器、伸張器、等を含む）、ダイナミックイコライゼーション、及びオーディオ再生環境における暗騒音の相殺に有効である。種々の実施の形態において、その特定音量と目標特定音量との差を減少させるために、オーディオ信号を修正するための修正パラメータが導き出さ
2009532739.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ信号の特定音量を制御するために使用可能な情報を導き出す方法であって、特定音量は周波数と時間の関数として知覚可能な音量を表す指標であり、
オーディオ信号の特定音量と目標特定音量との差を減少させるため、該オーディオ信号を修正するために使用可能な修正パラメータを導き出すステップ、
を具備することを特徴とする方法。
【請求項２】
オーディオ信号の特定音量を制御するために使用可能な情報を導き出す方法であって、特定音量は周波数と時間の関数として知覚可能な音量を表す指標であり、信号の部分特定音量は、周波数と時間の関数としての２次的な干渉信号の存在下での該信号の知覚可能な音量を表す指標であり、
オーディオ信号の特定音量と目標特定音量との差を減少させるため、該オーディオ信号を修正するために使用可能な修正パラメータを導き出すステップ、
を具備することを特徴とする方法。
【請求項３】
オーディオ信号の特定音量を制御する方法であって、特定音量は周波数と時間の関数として知覚可能な音量を表す指標であり、
オーディオ信号の特定音量と目標特定音量との差を減少させるため、該オーディオ信号を修正するステップ、
を具備することを特徴とする方法。
【請求項４】
オーディオ信号の特定音量を制御する方法であって、特定音量は周波数と時間の関数として知覚可能な音量を表す指標であり、信号の部分特定音量は、周波数と時間の関数としての２次的な干渉信号の存在下での該信号の知覚可能な音量を表す指標であり、
オーディオ信号の特定音量と目標特定音量との差を減少させるため、該オーディオ信号を修正するステップ、
を具備することを特徴とする方法。
【請求項５】
前記修正するステップ又は導き出すステップは、オーディオ及び目標特定音量又は目標特定音量を表現するものを記憶媒体で伝達又は再生したものから受け取ることを特徴とする請求項１乃至請求項４のいずれか１項に記載の方法。
【請求項６】
前記修正するステップは、修正されたオーディオ信号を出力するために、修正パラメータに従いオーディオ信号を修正し、前記修正するステップは、オーディオ及び修正パラメータを記憶媒体で伝達又は再生したものから受け取ることを特徴とする請求項３又は請求項４に記載の方法。
【請求項７】
前記修正するステップには、修正パラメータを生成するステップが含まれることを特徴とする請求項３又は請求項４に記載の方法。
【請求項８】
前記目標特定音量は、オーディオ信号の関数でないことを特徴とする請求項１乃至請求項７のいずれか１項に記載の方法。
【請求項９】
前記修正するステップ又は前記導き出すステップには、目標特定音量を保存するステップが含まれることを特徴とする請求項８に記載の方法。
【請求項１０】
前記修正するステップ又は前記導き出すステップには、目標特定音量を外部源から受け取るステップが含まれることを特徴とする請求項８に記載の方法。
【請求項１１】
前記修正するステップ又は前記導き出すステップには、直接的に特定音量及び／又は部分的特定音量を計算する処理が含まれることを特徴とする請求項８乃至請求項１０のいずれか１項に記載の方法。
【請求項１２】
前記修正するステップ又は前記導き出すステップには、間接的に特定音量及び／又は部分的特定音量を計算する処理が含まれることを特徴とする請求項８乃至請求項１０のいずれか１項に記載の方法。
【請求項１３】
前記処理が本質的に特定音量及び／又は部分的特定音量を決定するようなルックアップテーブルを採用することを特徴とする請求項１２に記載の方法。
【請求項１４】
特定音量及び／又は部分的特定音量は、該処理で採用された閉形式の数学的表現で本質的に決定されることを特徴とする請求項１２に記載の方法。
【請求項１５】
目標特定音量は、時間及び周波数に対して不変であることを特徴とする請求項８乃至請求項１４のいずれか１項に記載の方法。
【請求項１６】
目標特定音量は、時間に対して不変であることを特徴とする請求項８乃至請求項１４のいずれか１項に記載の方法。
【請求項１７】
オーディオ信号を処理する方法であって、
目標特定音量を生成するための１以上の処理及び１以上の処理制御パラメータに従ってオーディオ信号又はオーディオ信号を表す指標を処理するステップを具備し、特定音量は、周波数及び時間の関数としてのオーディオ信号の知覚可能な音量を表す指標であることを特徴とする方法。
【請求項１８】
前記目標特定音量オーディオ信号の関数又はオーディオ信号を表す指標であることを特徴とする請求項１乃至請求項７及び請求項１７のいずれか１項に記載の方法。
【請求項１９】
前記オーディオ信号を表す指標は、前記オーディオ信号の特定音量であることを特徴とする請求項１８に記載の方法。
【請求項２０】
前記オーディオ信号の関数又はオーディオ信号を表す指標は、前記オーディオ信号又は前記オーディオ信号を表す指標の１以上の拡大縮小であることを特徴とする請求項１８又は請求項１９に記載の方法。
【請求項２１】
１以上の拡大縮小には、下記のような関係の時間及び周波数に対して変動するスケールファクターΞ［ｂ，ｔ］を含み、
【数１】
2009532739.tif 000082
2009532739.tif 000083
【請求項２２】
前記拡大縮小は、前記オーディオ信号の複数帯域の音量に対する所望の複数帯域の音量の割合により少なくとも部分的には決定されることを特徴とする請求項２１に記載の方法。
【請求項２３】
前記拡大縮小は、下記のような関係のＬｏ［ｂ，ｔ］／Ｌｉ［ｂ，ｔ］として表すことができ、
【数２】
2009532739.tif 000084
2009532739.tif 000085
【請求項２４】
Ｌｏ［ｂ，ｔ］は、Ｌｉ［ｂ，ｔ］の関数であることを特徴とする請求項２３の方法。
【請求項２５】
Ｌｉ［ｂ，ｔ］の関数としてのＬｏ［ｂ，ｔ］は、下式で表すことができ、
【数３】
2009532739.tif 000086
ここで、ＤＲＣ｛  ｝には、Ｌｉ［ｂ，ｔ］からＬｏ［ｂ，ｔ］のマップするダイナミックレンジ関数を表すことを特徴とする請求項２３に記載の方法。
【請求項２６】
Ｌｉ［ｂ，ｔ］は、オーディオ信号の特定音量を時間平滑化及び／又は周波数平滑化したものであることを特徴とする請求項２３に記載の方法。
【請求項２７】
前記方法は、前記修正するステップ又は前記修正パラメータが生成する、ダイナミックレンジ制御として使用可能であり、あるいは、干渉信号の存在下で受信したオーディオスペクトル又は知覚オーディオスペクトルが特定音量の拡大縮小と異なる値となることができるオーディオ信号の前記目標特定音量として使用可能であることを特徴とする請求項２２乃至請求項２６のいずれか１項に記載の方法。
【請求項２８】
前記ダイナミックレンジ関数は、各帯域に適用する変化の平均が、すべての帯域で実質的に等しくなる一方、各帯域に適用した短時間変化が帯域間で独立して変化するように各帯域で音量を制御することを特徴とする請求項２７に記載の方法。
【請求項２９】
Ｌｉ［ｂ，ｔ］の関数としてのＬｏ［ｂ，ｔ］は、下式で表すことができ、
【数４】
2009532739.tif 000087
2009532739.tif 000088
【請求項３０】
前記方法は、前記修正するステップ又は前記修正パラメータが生成する、ダイナミックレンジ制御として使用可能であり、あるいは、干渉信号の存在下で受信したオーディオスペクトル又は知覚オーディオスペクトルが異なった特定音量の拡大縮小に対して実質的に同じ値となるオーディオ信号の前記目標特定音量として使用可能であることを特徴とする請求項２８又は請求項２９に記載の方法。
【請求項３１】
前記特定音量は、前記オーディオ信号のスペクトル形状を表す指標に対する所望のスペクトル形状を表す指標の比により拡大縮小されることを特徴とする請求項２１に記載の方法。
【請求項３２】
前記方法は、前記オーディオ信号の知覚スペクトルを時間に対して変動する知覚スペクトルから実質的に時間に対して不変の知覚スペクトルに変換することを特徴とする請求項３１に記載の方法。
【請求項３３】
前記拡大縮小は、
2009532739.tif 000089
【請求項３４】
前記パラメータβは、該方法の範囲外の発信元で選択又は制御されることを特徴とする請求項３３の方法。
【請求項３５】
前記発信元は、該方法のユーザであることを特徴とする請求項３４に記載の方法。
【請求項３６】
前記方法は、前記修正するステップ又は前記修正パラメータが生成する、ダイナミックイコライザーとして使用可能であり、あるいは、干渉信号の存在下で受信したオーディオスペクトル又は知覚オーディオスペクトルが特定音量の拡大縮小と異なる値となることができるオーディオ信号の前記目標特定音量として使用可能であることを特徴とする請求項３１乃至請求項３５のいずれか１項に記載の方法。
【請求項３７】
前記オーディオ信号の複数帯域の音量は、該オーディオ信号を臨界帯域に分割し、該臨界帯域を横断して平滑化することにより近似する請求項２１乃至請求項３６のいずれか１項に記載の方法。
【請求項３８】
帯域平滑化された複数帯域の音量、Ｌ ［ｂ，ｔ］は、下式のように、特定の帯域ｂで、すべての帯域ｃを横断した畳み込み積で表すことができ、
【数５】
2009532739.tif 000090
ここで、Ｎ ［ｃ，ｔ］はオーディオ信号の特定音量であり、Ｑ（ｂ−ｃ）は、平滑化フィルターの帯域シフトさせた応答であることを特徴とする請求項３７に記載の方法。
【請求項３９】
前記１以上の拡大縮小には、時間に対して変動し、周波数に対して不変の下式のような関係の特定音量を拡大縮小するスケールファクターΦ［ｔ］が含まれ、
【数６】
2009532739.tif 000091
2009532739.tif 000092
【請求項４０】
前記拡大縮小は、所望の広帯域音量と前記オーディオ信号の広帯域音量との割合により、少なくとも部分的には、定められることを特徴とする請求項３９に記載の方法。
【請求項４１】
前記オーディオ信号の特定音量の関数における拡大縮小は、下式の関係におけるＬｏ［ｔ］／Ｌｉ［ｔ］ で表され、
【数７】
2009532739.tif 000093
2009532739.tif 000094
【請求項４２】
Ｌｏ［ｔ］はＬｉ［ｔ］の関数であることを特徴とする請求項４１に記載の方法。
【請求項４３】
Ｌｉ［ｔ］の関数としてのＬｏ［ｔ］は、下式のように表すことが出来、
【数８】
2009532739.tif 000095
ここで、ＤＲＣ｛  ｝は、Ｌｉ［ｔ］からＬｏ［ｔ］へマップするダイナミックレンジの関数であることを特徴とする請求項４２に記載の方法。
【請求項４４】
Ｌｉ［ｔ］は、前記オーディオ信号のトータル音量の時間平滑化したものであることを特徴とする請求項４１に記載の方法。
【請求項４５】
Ｌｉ［ｔ］は、前記オーディオ信号の長時間音量を表す指標であることを特徴とする請求項４１に記載の方法。
【請求項４６】
Ｌｉ［ｔ］は、前記オーディオ信号の短時間音量を表す指標であることを特徴とする請求項４１に記載の方法。
【請求項４７】
前記方法は、前記修正するステップ又は前記修正パラメータが生成する、自動ゲイン制御又はダイナミックレンジ制御として使用可能であり、あるいは、干渉信号の存在下で受信したオーディオスペクトル又は知覚オーディオスペクトルが異なった特定音量の拡大縮小に対して実質的に同じ値となるオーディオ信号の前記目標特定音量として使用可能であることを特徴とする請求項３９乃至請求項４６のいずれか１項に記載の方法。
【請求項４８】
前記スケールファクターは、前記オーディオ信号の関数又は前記オーディオ信号を表す指標であることを特徴とする請求項２１乃至請求項４７のいずれか１項に記載の方法。
【請求項４９】
前記１以上の拡大縮小には、時間に対して不変で、周波数に対して変動する、下式の関係で特定音量を拡大縮小するスケールファクターΘ［ｂ］が含まれ
【数９】
2009532739.tif 000096
2009532739.tif 000097
【請求項５０】
前記修正するステップ又は導き出すステップには、スケールファクターΘ［ｂ］を保存するステップが含まれることを特徴とする請求項４９に記載の方法。
【請求項５１】
前記スケールファクターΘ［ｂ］は、該方法の範囲外の発信元から受け取られることを特徴とする請求項４９に記載の方法。
【請求項５２】
前記１以上の拡大縮小には、時間に対して不変で、周波数に対して不変な、下式の関係でオーディオ信号の特定音量を拡大縮小するスケールファクターαが含まれ、
【数１０】
2009532739.tif 000098
2009532739.tif 000099
【請求項５３】
前記修正するステップ又は前記導き出すステップには、スケールファクターαを保存するステップが含まれることを特徴とする請求項５２に記載の方法。
【請求項５４】
前記スケールファクターαは、該方法の範囲外の発信元から受け取られることを特徴とする請求項５２に記載の方法。
【請求項５５】
前記方法は、前記修正するステップ又は前記修正パラメータが生成する、ダイナミックレンジ制御として使用可能であり、あるいは、干渉信号の存在下で受信したオーディオスペクトル又は知覚オーディオスペクトルが異なった特定音量の拡大縮小に対して実質的に同じ値となるオーディオ信号の前記目標特定音量として使用可能であることを特徴とする請求項４９乃至請求項５４のいずれか１項に記載の方法。
【請求項５６】
前記スケールファクターは前記オーディオ信号の関数でも、前記オーディオ信号を表す指標でもないことを特徴とする請求項４９乃至請求項５５のいずれか１項に記載の方法。
【請求項５７】
前記修正するステップ又は前記導き出すステップ又は前記生成するステップでは、（１）特定音量及び／又は（２）部分的特定音量及び／又は （３）目標特定音量を直接的に計算することを特徴とする請求項１乃至請求項５６のいずれか１項に記載の方法。
【請求項５８】
前記修正するステップ又は前記導き出すステップ又は前記生成するステップでは、（１）特定音量及び／又は（２）部分的特定音量及び／又は （３）目標特定音量を間接的に計算することを特徴とする請求項１乃至請求項５６のいずれか１項に記載の方法。
【請求項５９】
前記修正するステップ又は前記導き出すステップ又は前記生成するステップでは、（１）特定音量及び／又は（２）部分的特定音量及び／又は （３）目標特定音量を本質的に決定するルックアップテーブルを採用することを特徴とする請求項５８に記載の方法。
【請求項６０】
前記修正するステップ又は前記導き出すステップ又は前記生成するステップでは、（１）特定音量及び／又は（２）部分的特定音量及び／又は （３）目標特定音量を本質的に決定する閉形式の数学的表現を採用することを特徴とする請求項５８に記載の方法。
【請求項６１】
前記修正するステップ又は前記導き出すステップでは、オーディオ信号及び修正パラメータを（１）伝達及び受信又は（２）保存又は再生することを特徴とする請求項１、請求項２、及び請求項７、及び、請求項１、請求項２、又は請求項７の従属項としての請求項８乃至請求項１６及び請求項１８乃至請求項６０のいずれか１項に記載の方法。
【請求項６２】
前記修正パラメータは、時間的に平滑化されていることを特徴とする請求項１、請求項２、請求項６、及び請求項７、及び、請求項１、請求項２、請求項６、又は請求項７の従属項としての請求項８乃至請求項１６及び請求項１８乃至請求項６０のいずれか１項に記載の方法。
【請求項６３】
前記修正パラメータは、オーディオ信号の周波数帯域に関する複数の振幅スケールファクターを具備することを特徴とする請求項６２に記載の方法。
【請求項６４】
前記複数の振幅スケールファクターのうちの少なくともいくつかは、時間に対して変動することを特徴とする請求項６３に記載の方法。
【請求項６５】
前記修正パラメータには、１以上のフィルターを制御する複数のフィルター係数が含まれることを特徴とする請求項６２に記載の方法。
【請求項６６】
前記１以上のフィルターの少なくともいくつかは、時間に対して変動し、前記フィルター係数の少なくともいくつかは、時間に対して変動することを特徴とする請求項６５に記載の方法。
【請求項６７】
前記修正するステップ又は前記導き出すステップ又は前記生成するステップでは、
干渉オーディオ信号を表す指標、
目標特定音量、
特定音量から導き出した未修正オーディオ信号の特定音量の推定又は修正されたオーディオ信号の部分的特定音量の推定、
未修正オーディオ信号の特定音量、及び
特定音量から導き出した目標特定音量の近似又は修正されたオーディオ信号の部分的特定音量の近似
の内の少なくとも１つ以上に従属することを特徴とする請求項１乃至請求項６６のいずれか１項に記載の方法。
【請求項６８】
前記修正するステップ又は前記導き出すステップは、少なくとも部分的には、
干渉オーディオ信号を表す指標、
目標特定音量、
特定音量から導き出した未修正オーディオ信号の特定音量の推定又は修正されたオーディオ信号の部分的特定音量の推定、
未修正オーディオ信号の特定音量、及び
特定音量から導き出した目標特定音量の近似又は修正されたオーディオ信号の部分的特定音量の近似、
の内の１つ以上から修正パラメータを導き出すことを特徴とする請求項１乃至請求項４及び請求項７、及び、請求項１乃至請求項４及び請求項７の従属項としての請求項８乃至請求項１６及び請求項７の従属項としての請求項１８乃至請求項６６のいずれか１項に記載の方法。
【請求項６９】
前記修正するステップ又は前記導き出すステップは、少なくとも部分的には、
（１）目標特定音量、及び
前記修正されたオーディオ信号の特定音量から受け取った未修正オーディオ信号の特定音量の推定、
の内の1つと、
（２）未修正オーディオ信号の特定音量、及び
前記修正されたオーディオ信号の特定音量から導き出した目標特定音量の近似
の内の1つと、
から修正パラメータを導き出すことを特徴とする請求項６８に記載の方法。
【請求項７０】
前記修正するステップ又は前記導き出すステップは、少なくとも部分的には、
（１）干渉オーディオ信号を表す指標と、
（２）目標特定音量及び
前記修正されたオーディオ信号の部分的特定音量から導き出した未修正オーディオ信号の特定音量の推定、
の内の1つと、
（３）未修正オーディオ信号の特定音量、及び
前記修正されたオーディオ信号の部分的特定音量から導き出した目標特定音量の近似
の内の1つと、
から修正パラメータを導き出すことを特徴とする請求項６８に記載の方法。
【請求項７１】
前記特定音量がオーディオ信号から導き出され、前記目標特定音量が該方法の範囲外の発信元から又は、前記修正するステップ又は前記導き出すステップが目標特定音量を保存するステップを含むときは保存するステップで受け取られる、フィードフォワード構成を採用することを特徴とする請求項６９又は請求項７０に記載の方法。
【請求項７２】
前記特定音量の近似が修正されたオーディオ信号から導き出され、前記目標特定音量が該方法の範囲外の発信元から又は、前記修正するステップ又は前記導き出すステップが目標特定音量を保存するステップを含むときは保存するステップで受け取られる、フィードフォワード／フィードバック・ハイブリッド構成を採用することを特徴とする請求項６９又は請求項７０に記載の方法。
【請求項７３】
前記修正するステップ又は前記導き出すステップには、直接的又は間接的に前記目標特定音量を取得する1つ以上の処理が含まれ、該処理は、直接的又は間接的に前記オーディオ信号の関数又は前記オーディオ信号を表す指標を計算することを特徴とする請求項６９又は請求項７０に記載の方法。
【請求項７４】
該方法では、特定音量と目標特定音量が前記オーディオ信号から導き出され、前記目標特定音量の導出では前記オーディオ信号の関数又は前記オーディオ信号を表す指標を採用するフィードフォワード構成を採用することを特徴とする請求項７３に記載の方法。
【請求項７５】
該方法では、前記目標特定音量の近似が前記修正されたオーディオ信号から導き出され、前記目標特定音量が前記オーディオ信号から導き出され、前記目標特定音量の導出では、前記オーディオ信号の関数又は前記オーディオ信号を表す指標を採用する、フィードフォワード／フィードバックハイブリッド構成を採用することを特徴とする請求項７３に記載の方法。
【請求項７６】
前記修正するステップ又は前記導き出すステップには、前記修正されたオーディオ信号に応答して前記修正されていないオーディオ信号の特定音量の推定を直接的又は間接的に取得するための１つ以上の処理が含まれ、該処理は、前記オーディオ信号の関数又は前記オーディオ信号を表す指標の逆演算を直接的又は間接的に行うことを特徴とする請求項６９又は請求項７０に記載の方法。
【請求項７７】
前記未修正のオーディオ信号の特定音量の推定及び前記目標特定音量の近似は、前記修正されたオーディオ信号から導き出され、前記特定音量の近似は、前記オーディオ信号の関数又は前記オーディオ信号を表す指標の逆演算を用いて計算される、フィードバック構成を採用することを特徴とする請求項７６記載の方法。
【請求項７８】
前記特定音量が前記オーディオ信号から導き出され、前記未修正オーディオ信号の特定音量の推定が前記修正されたオーディオ信号から導き出され、該推定の導出は前記オーディオ信号の関数又は前記オーディオ信号を表す指標の逆演算を用いて計算される、フィードフォワード／フィードバック・ハイブリッド構成を採用することを特徴とする請求項７６記載の方法。
【請求項７９】
前記修正するステップ又は前記導き出すステップは、前記オーディオ信号及び目標特定音量又は目標特定音量を表すものを（１）伝達又は受け取るか又は（２）保存又は再生することを特徴とする請求項１乃至請求項４及び請求項１７、及び、請求項１乃至請求項４及び請求項１７の従属項としての請求項１８乃至請求項７８のいずれか１項に記載の方法。
【請求項８０】
前記目標特定音量を表現するものは、オーディオ信号又はオーディオ信号を表す指標を拡大縮小する１以上のスケールファクターであることを特徴とする請求項７９に記載の方法。
【請求項８１】
修正されたオーディオ信号を生成するために、前記修正パラメータを前記オーディオ信号に適用するステップをさらに具備することを特徴とする請求項１及び請求項６及び請求項７及び請求項８乃至請求項１６及び請求項１及び請求項６及び請求項７の従属項としての請求項１８乃至請求項８０のいずれか１項に記載の方法。
【請求項８２】
前記オーディオ信号及び前記目標特定音量又は前記目標特定音量を表現するものを伝達するステップ又は保存するステップをさらに具備することを特徴とする請求項１乃至請求項４及び請求項１７、及び、請求項１乃至請求項４及び請求項１７の従属項としての請求項１８乃至請求項７８のいずれか１項に記載の方法。
【請求項８３】
前記伝達されたオーディオ信号又は前記保存されたオーディオ信号、及び前記目標特定音量又は前記目標特定音量を表現するものを受け取るステップ又は再生するステップをさらに具備することを特徴とする請求項８２に記載の方法。
【請求項８４】
前記オーディオ信号の特定音量と前記目標特定音量との差を減少させるために前記オーディオ信号と、前記目標特定音量又はそれを表現するものに応答して前記オーディオ信号を修正するステップをさらに具備することを特徴とする請求項８３に記載の方法。
【請求項８５】
前記目標特定音量を表現するものは、前記オーディオ信号又は前記オーディオ信号を表す指標を拡大縮小する１つ以上のスケールファクターであることを特徴とする、請求項２０乃至請求項６０のいずれか１項の従属項としての請求項８２乃至請求項８４のいずれか１項に記載の方法。
【請求項８６】
前記オーディオ信号と前記修正パラメータとを伝送するステップ又は保存するステップをさらに具備することを特徴とする、請求項１、請求項２、請求項７、及び請求項１、請求項２、請求項７の従属項としての請求項１８乃至請求項６０のいずれか１項に記載の方法。
【請求項８７】
前記伝送されたオーディオ信号又は前記保存されたオーディオ信号、及び前記修正パラメータを受信するステップ又は再生するステップをさらに具備することを特徴とする請求項８６に記載の方法。
【請求項８８】
前記修正パラメータに応答して、前記オーディオ信号を修正するステップをさらに具備することを特徴とする請求項８７に記載の方法。
【請求項８９】
請求項１乃至請求項８８のいずれか１項に記載の方法を実行するようにした装置。
【請求項９０】
請求項１乃至請求項８８のいずれか１項に記載の方法を実行させるための、コンピュータが読み取り可能な媒体に保存したコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号の処理に関する。さらに詳細には、本発明はオーディオ信号の知覚音量及び／又は知覚スペクトルバランスの計測と制御に関する。本発明は、例えば、音量補償ボリューム制御、自動ゲイン制御、ダイナミックレンジ制御（例えば、リミッター、圧縮器、伸張器、等を含む）、ダイナミックイコライゼーション、及びオーディオ再生環境における暗騒音の相殺に有効である。本発明には、方法だけでなく対応するコンピュータプログラム及び装置が含まれる。
【背景技術】
【０００２】
音量を計測する十分客観的な方法を開発する数々の試みがなされてきた。フレッチャーとマンソンは、１９３３年に、人の聴覚は中間（音声）周波数に比べて低い周波数及び高い周波数において感度が下がることを発見した。彼等はまた、サウンドのレベルが増大するにつれて、感度の想定的変化が下がってくることを発見した。初期の計測器は、マイクロフォン、増幅器、指示計、及び、低周波サウンドレベル、中間周波サウンドレベル、及び高周波サウンドレベルにおける周波数応答を大雑把に模擬するよう設計したフィルターの組み合わせにより構成されている。
【０００３】
このような装置は、単一の、一定レベルの、孤立したトーンの音量を測定するようになっているが、もっと複雑なサウンドの計測では、客観的な音の印象と十分一致しない。このタイプのサウンドレベル計は、標準化されているが、工場騒音の監視と制御のような、特定の用途にしか使えない。
【０００４】
１９５０年代初めに、とりわけツウィッカーとスティーブンズが、フレッチャーとマンソンの業績を拡張して、音量知覚処理のより現実的なモデルを開発した。スティーブンズは、１９５６年に、Journal  of  the  Acoustical  Society  of  Americaに「復号騒音の音量の計算」の方法を発表した。そして、ツウィッカーは、１９５８年に、Acousticaの記事に「心理的な、秩序立てた音量の基準」を発表した。１９５９年に、ツウィッカーは、図式的な音量計算手法を発表すると共に、その後すぐにいくつかの類似した論文を発表した。このツウィッカーとスティーブンズの方法は、それぞれ、ＩＳＯ５３２のパートＡ及びパートＢとして標準化された。この方法は両方とも類似のステップを含む。
【０００５】
まず、エキサイテーションと称される、内耳基底膜に沿った時間的に変動するエネルギーを、中央周波数が臨界帯域比率スケールで等間隔になった帯域通過聴覚フィルターのバンクにそのオーディオを通過させることによりシミュレートする。各聴覚フィルターは、フィルターの中央周波数が内耳基底膜に沿った特定の位置に対応すると共に、内耳基底膜に沿った特定の位置での周波数応答をシミュレートするよう設計する。臨界帯域幅は、そのようなフィルターの帯域幅として定義される。ヘルツ（Ｈｚ）単位で計測して、聴覚フィルターの臨界帯域幅は、中央周波数が増大するにつれて増大する。従って、歪みのある周波数スケールで計測したすべての聴覚フィルターに対する臨界帯域幅が一定になるような、歪みのある周波数スケールを定義することは有益である。このような歪みのあるスケールは、臨界帯域比率スケールと称され、音響心理学的な現象を幅広く理解しシミュレートする上で有益である。E.  Zwicker及びH.  Fastiによる、１９９０年発行のSpringer-Verlag,  Berlinの「Psychoacoustics−Facts
and Models」を参照のこと。スティーブンズとツウィッカーの方法は、臨界帯域幅が５００Ｈｚ以下で一定となり５００Ｈｚ以上で増大するバークスケールと称される臨界帯域比率スケールを用いる。最近では、ムーアとグラスベルグが、「Equivalent  Rectangular  Bandwidth  (ERB)  scale」と名付けた臨界帯域比率スケールを定義した（B.  C.  J.  Moore,  B.  Glasberg,  T.  Baerの、"A  Model  for  the  Prediction  of  Thresholds,  Loudness,  and  Partial  Loudness,"  Journal  of  the  Audio  Engineering  Society,  Vol.45,
No.4, April  1997, pp.224-240）。ノッチ雑音マスカーを用いて音響心理学的な実験を通してムーアとグラスベルグは、臨界帯域幅が一定となるバークスケールとは対照的に、５００Ｈｚ以下で臨界帯域幅が低下し続けることを示した。
【０００６】
エキサイテーションの計算に続くのが、「特定音量」と称される量を生成する非線形な圧縮機能となる。特定音量は、周波数及び時間の関数としての知覚可能な音量を表す指標であり、上述のバークスケール又はＥＲＢスケールのような臨界帯域比率スケールに沿った周波数単位ごとに知覚可能な音量の単位で計測することができる。特定音量は、周波数及び時間の関数として連続的な音量の分布を表し、時間的に変動する「トータル音量」が周波数横断的にこの分布を積算することにより計算するのが理想的である。実際には、例えば、上述の聴覚フィルターの使用による臨界帯域比率スケールに沿って均一的にこの分布をサンプリングすることにより特定音量の正確な表現を入手する。この場合、トータル音量は、各フィルターからの特定音量を単純に合計することにより計算される。複雑さを低減するために、いくつかのアプリケーションでは、知覚音量の推定と修正において多少不正確となるという代償を払って、特定音量の粗い近似値を計算することができる。そのような近似について詳細は後述する。
【０００７】
音量はフォンの単位で計測することができる。フォンで得られたサウンドの音量はそのサウンドの音量に等しい主観的な音量を持つ１ｋＨｚのトーンの音圧レベル（ＳＰＬ）である。従来、ＳＰＬで０ｄＢの指示は、２×１０−５パスカルとなる２乗平均平方根した圧力であり、従ってこれは０フォンとなる。この定義を用いて、１ｋＨｚ以外の周波数のトーンの音量を１ｋＨｚの音量と比較すると、等価音量の輪郭を、与えられたフォンのレベルで定めることができる。図１１は、２０Ｈｚから１２．５ｋＨｚまでの周波数で、４．２フォン（聴覚の限界と考えられる）から１２０フォンまでのフォンのレベルにおける等価音量曲線を示す（ＩＳＯ
２２６：１０８７（Ｅ）「Acoustics‐Normal  equal  loudness  level  contours」）。フォンの計測は、人の聴覚の感度が周波数によって変わることを考慮しているが、ＳＰＬと共に音量が非線形に増加すること、すなわち、この曲線の間隔が変化するという事実を訂正する試みがなされていないので、この計測結果によりレベルが変動したときにサウンドの相対的な主観的音量の評価をすることは許されない。
【０００８】
音量は、「ソーン」の単位でも計測することができる。図１１に示すようにフォンとソーンとは１対１に対応付けられる。１ソーンは、１ｋＨｚの完全な正弦波で４０ｄＢ（ＳＰＬ）の音量として定義され、４０フォンと等価である。ソーン単位は、知覚音量を２倍にしたものに対応して２つ折れでソーンが増加する。例えば、４ソーンは２ソーンの２倍と知覚される。従って、ソーンで表した音量レベルの方がより有益である。周波数と時間の関数として、知覚可能な音量を表す指標として特定音量を定義すると、特定音量は、単位周波数当たりのソーン単位で計測することができる。従ってバークスケールを用いたとき、特定音量は、ソーン／バークの単位を持ち、ＥＲＢスケールを用いたとき、同様にその単位はソーン／ＥＲＢとなる。
【０００９】
上述の通り、人の耳の感度は、周波数とレベルの両方により変動する。この事実は、音響心理学の文献によく記載されている。この結果として、所定のサウンドの知覚スペクトル又は知覚音色は、そのサウンドが聞こえるその音のレベルにより変動する。例えば、低周波数、中間周波数、及び高周波数の要素を含むサウンドにとって、そのような周波数要素に相対的に比例する部分は、そのサウンドの全体的な音量により変化する。低周波数要素と高周波数要素とが中間周波数要素に比べて低いとき、高いときに比べて静かだと聞こえる。この現象はよく知られており、いわゆる音量制御によりサウンドを再生する機器において軽減されている。音量制御は、ボリュームを下げるときに低周波数に、ときには高周波数にも加速的低減を加えるボリューム制御である。従って、周波数の限界で耳の感度が低くなることを、これらの周波数を人工的に押し上げることで相殺している。このような制御は完全に受動的であり、適用される相殺の程度は、ボリューム制御の設定の関数又はユーザが調整する設定の関数であり、オーディオ信号の内容の関数としてのものではない。
【００１０】
実際には、低周波数、中間周波数、高周波数の相対的な知覚スペクトルバランスの変化は、信号に依存し、特に実際のスペクトル及び大きくするのかソフトにするのかによる。交響楽団のレコーディングを考える。コンサートホールで聴衆が聞くのと同じレベルで再生されたとき、周波数横断的なバランスは、この楽団が大きく演奏したが静かに演奏したかにより訂正される。例えば、音楽が１０ｄＢ静かに再生された場合、周波数を横断した知覚バランスは、大きな音の部分では変化し、また小さな音の部分ではまた違った具合に変化数。従来の受動的な音量制御では、この音楽に対して異なった補償を行わない。
【００１１】
２００４年５月２７日出願、２００４年１２月２３日ＷＯ２００４／１１１９９４Ａ２として公開された、国際特許出願番号ＰＣＴ／ＵＳ２００４／０１６９６４において、Seefeldt他は、とりわけ、オーディオ信号の知覚音量の計測と調整を行うシステムを開示している。米国を指定国とするこのＰＣＴ出願はそのすべてを参照として本出願に組み込む。この出願において、音響心理学的なモデルが、知覚装置においてオーディオ信号の音量を計算する。さらに、この出願では、修正されたゲインによる音量が結果としてオーディオに適用したとき参照音量と実質的に同じになる、広帯域の乗法的ゲインを計算する技法を導入している。このような広帯域ゲインを適用することは、しかしながら、オーディオの知覚スペクトルバランスを変えてしまう。
【発明の開示】
【００１２】
１つの特徴として、本発明は、オーディオ信号の特定音量と目標特定音量との間の差を減少させるためにオーディオ信号を修正することによりオーディオ信号の特定音量を制御するのに役立つ情報を導き出すものである。特定音量とは、周波数と時間の関数として知覚可能な音量を表す指標である。実際の実施の形態において、修正されたオーディオ信号の特定音量は、目標特定音量を近似するために作られるかもしれない。この近似は、通常の信号処理で検討事項に影響を与えるだけでなく、以下に説明するように、修正するときに採用することのできる時間及び／又は周波数平滑化にも影響を与える。
【００１３】
特定音量は周波数と時間の関数としてのオーディオ信号の知覚可能な音量を表す指標なので、このオーディオ信号の特定音量と目標特定音量との差を減少させるため、この修正により周波数の関数としてのオーディオ信号を修正することができる。場合によって、目標特定音量が時間不変であり、オーディオ信号自身が定常状態の時間不変信号であるかもしれないが、一般的に、この修正により時間の関数としてのオーディオ信号を修正することもできる。
【００１４】
本発明の特徴は、オーディオ再生環境に干渉する暗騒音を相殺するために採用することもできることである。暗騒音がある状態でオーディオを聞くとき、このオーディオのレベル及びスペクトルと、この騒音のレベル及びスペクトルとの両方に依存した状態でそのオーディオの一部又は全部をマスクするかもしれない。その結果は、オーディオの知覚スペクトルの変化をもたらす。音響心理学的研究によれば（例えば、Moore,  Glasberg,及びBaerの「A  Model  for  the
Prediction  of  Thresholds,  Loudness,  and  Partial  Loudness」J.  Audio  Eng.  Soc,  Vol.45,  No.4,  April  1997参照）、騒音のような、２次的な干渉サウンド信号の存在下におけるオーディオの知覚可能な音量として、オーディオの「部分的特定音量」を定義することができる。
【００１５】
従って、他の特徴によれば、本発明は、オーディオ信号の部分的特定音量と目標特定音量との差を減少させるため、オーディオ信号を修正することによりオーディオ信号の部分的特定音量を制御するのに役立つ情報を導き出すものである。そうすることにより、知覚的に正確な方法で騒音の影響を緩和する。騒音信号を考慮に入れるという発明のこの特徴及び他の特徴は、自らそのオーディオ信号にアクセスし、２次的な干渉信号にもアクセスすることが前提となる。
【００１６】
他の特徴によれば、本発明は、オーディオ信号の特定音量と目標特定音量との差を減少させるため、オーディオ信号を修正することによりそのオーディオ信号の特定音量を制御するものである。
【００１７】
他の特徴によれば、本発明は、オーディオ信号の部分的特定音量と目標特定音量との差を減少させるため、オーディオ信号を修正することによりそのオーディオ信号の部分的特定音量を制御するものである。
【００１８】
目標特定音量がオーディオ信号の関数ではないとき、それは保存した又は受信した目標特定音量となる。目標特定音量がオーディオ信号の関数ではないとき、修正するステップまたは導き出すステップでは、直接的又は間接的に特定音量又は部分的特定音量の計算を行う。間接的な計算例には、ルックアップテーブル又は「閉形式」数学表現が含まれ、特定音量及び／又は部分的特定音量を本質的に決定する（閉形式の用語は、指数関数やコサインのような、有限の数の標準の数学的演算及び関数を用いて表現することのできる数学的表現を意味する）。また、目標特定音量がオーディオ信号の関数ではないとき、目標特定音量は、時間と周波数の両方に対して不変とするか又は、時間のみに対して不変とすることができる。
【００１９】
さらに他の特徴によれば、目標特定音量を生成するための１以上の処理又は１以上の処理制御パラメータにしたがってオーディオ信号の処理又はオーディオ信号を表す指標によりオーディオ信号を処理するものである。目標特定音量は時間不変（「固定」）であるかもしれないが、目標特定音量は有利にオーディオ信号の特定音量の関数となることができる。オーディオ信号は固定的な、時間と周波数に対して不変な信号であるかもしれないが、一般に、オーディオ信号そのものは、時間と周波数に対して変動するものであり、したがって、目標特定音量がオーディオ信号の関数であるとき、目標特定音量を時間と周波数に対して変動するようなものにする。
【００２０】
オーディオ及び目標特定音量又は目標特定音量を表現するものは、記憶媒体から伝送又は再生されて受信される。
【００２１】
目標特定音量を表現するものは、オーディオ信号を拡大縮小するための又はオーディオ信号を表す指標となる１以上のスケールファクターである。
【００２２】
本発明の特徴である上述の目標特定音量は、オーディオ信号の関数又はオーディオ信号を表す指標とすることができる。オーディオ信号の１つの適切な指標はそのオーディオ信号の特定音量である。オーディオ信号の関数又はオーディオ信号を表す指標は、オーディオ信号の拡大縮小又はオーディオ信号を表す指標である。例えば、例えば、この拡大縮小は、次のように１つの拡大縮小又は複数の拡大縮小の複合である。
【００２３】
（ａ）以下のような関係で特定音量を拡大縮小する時間と周波数に対して変動するスケールファクターΞ［ｂ，ｔ］
【数１】
2009532739.tif 000003
【００２４】
（ｂ）以下のような関係で特定音量を拡大縮小する時間に対して変動し周波数に対して不変なスケールファクターΦ［ｔ］
【数２】
2009532739.tif 000004
【００２５】
（ｃ）以下のような関係で特定音量を拡大縮小する時間に対して不変で周波数に対して変動するスケールファクターΘ［ｂ］
【数３】
2009532739.tif 000005
【００２６】
（ｄ）以下のような関係で特定音量を拡大縮小する時間に対して不変で周波数に対して不変なスケールファクターα
【数４】
2009532739.tif 000006
【００２７】
2009532739.tif 000007
【００２８】
時間と周波数に対して変動するスケールファクター（ａ）の場合、拡大縮小は、少なくとも部分的には、そのオーディオ信号の好ましい複数帯域音量とその複数帯域音量との比により決定される。このような拡大縮小は、ダイナミックレンジ制御として有用である。ダイナミックレンジ制御としての本発明の特徴を以下に述べる。
【００２９】
また、時間と周波数に対して変動するスケールファクター（ａ）の場合、特定音量をそのオーディオ信号の好ましいスペクトル形状を表す指標とスペクトル形状を表す指標との比により拡大縮小することができる。このような拡大縮小は、オーディオ信号の知覚スペクトルを時間に対して変動する知覚スペクトルから時間に対して不変の知覚スペクトルに変換するために採用される。特定音量を、そのオーディオ信号のスペクトル形状を表す指標に対する好ましいスペクトル形状を表す指標の比で拡大縮小するとき、このような拡大縮小は、ダイナミックイコライザーとして有用であろう。ダイナミックイコライザーとして本発明の特徴を採用することについて、更なる詳細を以下に述べる。
【００３０】
時間に対して変動し周波数に対して不変なスケールファクター（ｂ）の場合、拡大縮小は、少なくとも部分的には、そのオーディオ信号の好ましい広帯域音量とその広帯域音量との比により決定される。このような拡大縮小は、自動ゲイン制御又はダイナミックゲイン制御として有用であろう。自動ゲイン制御又はダイナミックゲイン制御として本発明の特徴を採用することについて、更なる詳細を以下に述べる。
【００３１】
（ａ）の場合（時間と周波数に対して変動するスケールファクターの場合）又は（ｂ）の場合（時間に対して変動し周波数に対して不変なスケールファクターの場合）、このスケールファクターは、そのオーディオ信号の関数又はそのオーディオ信号を表す指標とすることができる。
【００３２】
時間に対して不変で周波数に対して変動するスケールファクター（ｃ）と、時間に対して不変で周波数に対しても不変なスケールファクター（ｄ）の両方の場合、修正するステップ又は導き出すステップでは、そのスケールファクターを保存するステップ又はそのスケールファクターは外部の音源から受け取ることのできる。
【００３３】
（ｃ）と（ｄ）のどちらでも、そのスケールファクターは、そのオーディオ信号の関数でなくてもよく、そのオーディオ信号を表す指標でなくてもよい。
【００３４】
本発明及び本発明を変化させたもののどの特徴にも、修正するステップ、導き出すステップ、又は生成するステップでは、さまざまに、直接的又は間接的に（１）特定音量、及び／又は（２）部分的特定音量、及び／又は（３）目標特定音量を計算する。間接的な計算には、例えば、ルックアップテーブル又は閉形式の数学表現
修正パラメータは時間的に平滑化される。修正パラメータは、例えば、（１）オーディオ信号の周波数帯域に関する複数の振幅スケールファクター、又は（２）複数タップのＦＩＲフィルター又は、複数極のＦＩＲフィルターのような１以上のフィルターを制御する複数のフィルター係数とすることができる。このスケールファクター又は（このフィルターに適用される）フィルター係数は、時間に対して変動することができる。
【００３５】
目標特定音量を定める、オーディオ信号の特定音量の関数、又はその逆関数を計算するときに、その処理において、計算した入力と出力とが特定音量となる知覚（音響心理学的）音量領域として特徴づけられるような計算を行う。一方、オーディオ信号の周波数帯域に振幅スケールファクターを適用するとき、又はオーディオ信号の制御可能なフィルター処理にフィルター係数を適用するとき、修正パラメータは、電気信号領域として特徴づけることのできる知覚（音響心理学的）音量領域の外のオーディオ信号を修正するよう作用する。オーディオ信号の修正は、電気信号領域のオーディオ信号にすることができるが、信号領域におけるそのような変化は、修正されたオーディオ信号が好ましい目標特定音量に近似する特定音量を有するような知覚（音響心理学的）音量領域での計算により導き出される。
【００３６】
この音量領域での計算により修正パラメータを導き出すことにより、もしこのような修正パラメータを電気信号領域で導き出した場合より、知覚可能な音量に対する大きな制御と知覚スペクトルバランスを達成することができる。加えて、基底膜をシミュレートする音響心理学的フィルターバンク又はそれと等価なものを、音量領域での計算を行うために用いることは、電気信号領域で修正パラメータを導き出す構成による場合より、知覚スペクトルの詳細な制御を行うことができる。
【００３７】
修正するステップ、導き出すステップ、及び生成するステップの各々は、干渉するオーディオ信号を表す指標、目標特定音量、修正されたオーディオ信号の特定音量又は部分的特定音量から導き出した修正されていないオーディオ信号、修正されていないオーディオ信号の特定音量、及び、修正されたオーディオ信号の特定音量又は部分的特定音量から導き出した目標特定音量の近似から、独立したものとすることができる。
【００３８】
この修正するステップ又は導き出すステップでは、干渉するオーディオ信号を表す指標、目標特定音量、修正されたオーディオ信号の特定音量又は部分的特定音量から導き出した修正されていないオーディオ信号の特定音量の推定、修正されていないオーディオ信号の特定音量、及び修正されたオーディオ信号の特定音量又は部分的特定音量から導き出した目標特定音量の近似のうちの１つ以上から少なくとも一部の修正パラメータを導き出すことができる。
【００３９】
より詳しくは、この修正するステップ又は導き出すステップでは、
（１）目標特定音量と、
修正されたオーディオ信号の特定音量から受け取った修正されていないオーディオ信号の特定音量の推定、
のうちの１つ、及び
（２）修正されていないオーディオ信号の特定音量と、
修正されたオーディオ信号の特定音量から導き出した目標特定音量の近似、
のうちの１つ、
から少なくとも一部の修正パラメータを導き出すことができる。
【００４０】
又は、干渉するオーディオ信号を考慮すべきとき、この修正するステップ又は導き出すのステップでは、
（１）干渉するオーディオ信号を表す指標、
（２）目標特定音量と、
修正されたオーディオ信号の部分的特定音量から導き出した修正されていないオーディオ信号の特定音量の近似、
のうちの１つ、及び
（３）修正されていないオーディオ信号の特定音量と、
修正されたオーディオ信号の部分的特定音量から導き出した修正されていないオーディオ信号の特定音量の推定、
のうちの１つ、
から少なくとも一部の修正パラメータを導き出すことができる。
【００４１】
この修正するステップ又は導き出すステップに目標特定音量を保存するステップが含まれるとき、特定音量がオーディオ信号から導き出され、目標特定音量がこの方法の外部の音源から又は保存されたものから導き出される、フィードフォワード構成を採用することができる。あるいは、修正するステップ又は導き出すステップに目標特定音量を保存するステップが含まれるとき、修正されたオーディオ信号から目標特定音量の近似が導き出され、目標特定音量がこの方法の外部の音源から又は保存されたものから導き出される、フィードフォワード／フィードバック・ハイブリッド構成を採用することができる。
【００４２】
この修正するステップ又は導き出すステップには、それにより直接的又は間接的にオーディオ信号の関数又はオーディオ信号を表す指標を計算する目標特定音量を直接的又は間接的に取得するための１以上の処理を含むことができる。１つの代替例として、特定音量と目標特定音量がオーディオ信号から導き出され、目標特定音量の導出では、オーディオ信号の関数又はオーディオ信号を表す指標を採用するような、フィードフォワード構成を採用することができる。他の代替例として、目標特定音量の近似が修正されたオーディオ信号から導き出され、目標特定音量がオーディオ信号から導き出され、目標特定音量の導出では、オーディオ信号の関数又はオーディオ信号を表す指標を採用するような、フィードフォワード／フィードバック・ハイブリッド構成を採用することができる。
【００４３】
修正するステップ又は導き出すステップには、それにより直接的又は間接的にオーディオ信号の逆関数又はオーディオ信号を表す指標を計算するような、修正されたオーディオ信号に応答する修正されていないオーディオ信号の特定音量の推定、を直接的又は間接的取得する１つ以上の処理を含むことができる。１つの代替例として、修正されていないオーディオ信号から修正されたオーディオ信号の特定音量の推定と、目標特定音量の近似が導き出され、特定音量の推定をオーディオ信号の逆関数又はオーディオ信号を表す指標を用いて計算する、フィードバック構成を採用することができる。他の代替例として、特定音量がオーディオ信号から導き出され、修正されていないオーディオ信号の特定音量の推定が修正されたオーディオ信号から導き出され、この推定の導出は、オーディオ信号の逆関数又はオーディオ信号を表す指標を用いて計算する、フィードフォワード／フィードバック・ハイブリッド構成を採用することができる。
【００４４】
修正されたオーディオ信号を生成するために修正パラメータをオーディオ信号に適用することができる。
【００４５】
本発明の他の特徴は、効果、エンコーダ又はエンコーディング、及びデコーダ又はデコーディングが存在する処理又は装置の、時間的及び／又は空間的分離があることである。例えば、修正するステップ又は導き出すステップは、オーディオ信号と（１）修正パラメータ又は（２）目標特定音量又は目標特定音量を表現するものの伝送及び受信又は保存及び生成を行うエンコーディング/デコーディングシステムを含めることができる。あるいは、実質的に、オーディオ信号と（１）修正パラメータ又は（２）目標特定音量又は目標特定音量を表現するものを伝送又は保存するエンコーダ又はエンコーディングを含めることができる。あるいは、上述のとおり、実質的に、オーディオ信号と（１）修正パラメータ又は（２）目標特定音量又は目標特定音量を表現するものを受信又は再生するデコーダ又はデコーディングを含めることができる。
【発明を実施するための最良の形態】
【００４６】
図１〜４は、本発明の特徴に係る可能なフィードフォワード、フィードバック、及び２種類のフィードフォワード／フィードバック・ハイブリッドの実施例の機能ブロック図を示す。図１のフィードフォワードの接続形態の例を参照すると、オーディオ信号は２つの経路、すなわち、（１）修正パラメータに応答してオーディオを修正することのできる処理又は装置２（「オーディオ信号の修正」）を持つ信号経路と、（２）このような修正パラメータを生成することのできる処理又は装置４（「修正パラメータの生成」）とに適用される。図１のフィードフォワードの接続形態の例及び図２〜４の各例におけるオーディオ信号の修正２は、修正パラメータの生成４から受け取った修正パラメータＭに従い、その振幅が周波数及び／又は時間に対して変動するように、オーディオ信号を修正する装置又は処理（又は、それぞれ図２〜４の各例における対応する処理又は装置４’，４”，４'”）である。図２〜４の修正パラメータの生成４及びそれに対応する部分は、少なくとも部分的には、知覚可能な音量領域で動作する。オーディオ信号の修正２は、電気信号領域で動作し、図１〜４の各例において、修正されたオーディオ信号を生成する。また、図１〜４の各例において、オーディオ信号の修正２と修正パラメータの生成４（又はそれに対応する処理又は装置）とは、オーディオ信号を修正し、その特定音量と目標特定音量との差を減少させる。図１のフィードフォワード例では、処理又は装置４には、いくつかの処理
及び／又は装置、すなわち、オーディオ信号又は、オーディオ信号の特定音量のようなオーディオ信号を表す指標に応答して目標特定音量を計算する「目標特定音量の計算」処理又は装置６、オーディオ信号又は、エキサイテーションのようなオーディオ信号を表す指標に応答してオーディオ信号の特定音量を計算する「特定音量の計算」処理又は装置８、及び、特定音量及び目標特定音量に応答して修正パラメータを計算する「修正パラメータの計算」処理又は装置１０が含まれる。目標特定音量の計算６では、それぞれが関数パラメータを有する１以上の関数「Ｆ」を実行する。例えば、オーディオ信号の特定音量を計算し、次いで、１以上の関数Ｆをそれに適用して目標特定音量を算出することができる。これは、図１に処理又は装置６に入力する「関数Ｆと関数パラメータの選択」として概略的に示されている。処理又は装置６により計算する代わりに、この目標特定音量は、修正パラメータの生成４に含まれるか又はそれに関連する保存処理又は装置（処理又は装置１０に入力する「保存」として概略的に示されている）により、又は、全体的な処理又は装置の外部源（処理又は装置１０に入力する「外部」として概略的に示されている）により算出することができる。従って、修正パラメータは、少なくとも部分的には知覚（音響心理学的）音量領域（すなわち、少なくとも特定音量及び、場合によっては、目標特定音量の計算）に基づく。
【００４７】
処理又は装置６，８，１０により（及び、図２の例の処理又は装置１２，１４，１０’図３の例の６，１４，１０”及び図４の例の８，１２，１０'”により）  なされる計算は、直接的及び／又は間接的に実行することができる。間接的な履行の例には、（１）その全部又は一部が特定音量及び／又は目標特定音量及び／又は修正パラメータの計算に基づく入力であるルックアップテーブル、及び、（２）本質的に全部又は一部が特定音量及び／又は目標特定音量及び／又は修正パラメータに基づく閉形式の数学表現、が含まれる。
【００４８】
図１の例の処理又は装置６，８，１０（及び、図２の例の処理又は装置１２，１４，１０’図３の例の６，１４，１０”及び図４の例の８，１２，１０'”）は概略的に示され別途説明されているが、これはただ説明のためだけのものである。これらの処理又は装置のいくつか又はすべては、１つの処理又は装置に統合、又は複数の処理又は装置に様々に統合することができることは了解されよう。例えば、以下の図９の構成において、図１の例のようなフィードフォワードの接続形態では、修正パラメータを計算する処理又は装置は、オーディオ信号と目標特定音量とから導き出した、平滑化したエキサイテーションに応答して、そのようになる。図９の例において、修正パラメータを計算する処理又は装置は、間接的にオーディオ信号の特定音量を計算する。
【００４９】
2009532739.tif 000008
【数５】
2009532739.tif 000009
【００５０】
時間に対して変動し、周波数に対して変動するスケールファクターΦ［ｔ］は、以下の関係に示すように特定音量を拡大縮小する。
【数６】
2009532739.tif 000010
【００５１】
時間に対して不変であり、周波数に対して変動するスケールファクターΘ［ｔ］は、以下の関係に示すように特定音量を拡大縮小する。
【数７】
2009532739.tif 000011
【００５２】
スケールファクターαは、以下の関係に示すように特定音量を拡大縮小する。
【数８】
2009532739.tif 000012
【００５３】
ここで、ｂは、周波数を表す指標（例えば、帯域数）であり、ｔは時間を表す指標（例えば、ブロック数）である。特定の拡大縮小及び／又は特定の拡大縮小の結合の複数の事例を用いて、複数の拡大縮小を採用することもできる。このような複数の拡大縮小の例を以下に挙げる。場合によっては、さらに以下に説明するように、この拡大縮小は、オーディオ信号の関数又はオーディオ信号を表す指標とすることができる。他の場合は、これも以下に説明するように、拡大縮小がオーディオ信号の関数でないとき、この拡大縮小を別のやり方で決定又は提供することができる。例えば、ユーザは、時間及び周波数に対して変動しないスケールファクターα、又は時間に対して変動せず、周波数に対して変動するスケールファクターΘ［ｂ］から、拡大縮小を選択、又は拡大縮小を提供することができる。
【００５４】
従って、目標特定音量は、オーディオ信号の関数Ｆ又はオーディオ信号を表す指標（特定音量は、オーディオ信号の１つを表す指標となりうる）のひとつ以上として表現することができる。
【数９】
2009532739.tif 000013
【００５５】
2009532739.tif 000014
【数１０】
2009532739.tif 000015
【００５６】
以下に示すように、関数Ｆ−１の逆関数は、図２及び図４の例のフィードバック及びフィードフォワード／フィードバック・ハイブリッドにおいて、計算される。
【００５７】
目標特定音量の計算６に入力される「関数と関数パラメータの選択」は、装置又は処理６が、１以上の関数パラメータに従い１以上の関数を適用することにより目標特定音量を計算することができることを示すために、表示される。例えば、目標特定音量の計算８では、目標特定音量を定めるためにオーディオ信号の特定音量の関数「Ｆ」を計算することができる。例えば、「関数と関数パラメータの選択」入力は、その関数に付属する定数（例えば、スケールファクター）のような、１以上の関数パラメータと共に、１以上の上記タイプの拡大縮小になる、１以上の特定の関数を選択することができる
上述のように特定音量の拡大縮小として目標特定音量を計算することができるのと同程度に、拡大縮小に関連するスケールファクターは、目標特定音量を表現するものとしての役割を果たすことができる。従って、図９の例に示すように、以下に記載し、上述した、ルックアップテーブルを、特定音量及び目標特定音量がそのテーブルに固有となるようなスケールファクター及びエキサイテーションで指数化することができる。
【００５８】
ルックアップテーブル、又は、閉形式の数学表現、又は、他の技法を採用するかどうかにかかわらず、修正パラメータの生成４（及び、図２〜４の例に示した、それと同等の処理又は装置４’，４”，４'”）の動作は、特定音量及び目標特定音量が直接的に計算されなくても、この計算が知覚（音響心理学的）音量領域に基づくようになされる。直接的な特定音量、又は、抽象的な、間接的な特定音量が存在する。同様に、直接的な目標特定音量、又は、抽象的な、間接的な目標特定音量が存在する。どんな場合でも、修正パラメータの計算では、特定音量と目標特定音量との差を減少させるようオーディオ信号を修正する修正パラメータを生成しようとする。
【００５９】
騒音のような２次的な干渉オーディオ信号を有する再生環境において、修正パラメータの計算１０（及びそれに相当する処理又は装置１０’，１０”，１０'”）は、任意的な入力として２次的な干渉オーディオ信号を表す指標又は、その入力の１つとして干渉オーディオ信号自身もまた受け取ることができる。このような任意的な入力を図１（及び図２〜４）に点線の引き出し線で示す。２次的な干渉オーディオ信号を表す指標は、以下に記載の、図１７の例に示すようなエキサイテーションであることもある。干渉信号を表す指標又は信号それ自身を修正パラメータの計算処理又は装置１０（及びそれぞれ図２〜４に例示された、それに相当する処理又は装置１０’，１０”，１０'”）に適用することは（これは干渉信号が処理のために切り離すことができることを仮定しているが）、以下に「騒音補償」として説明するように、干渉信号を考慮に入れた修正パラメータを計算する処理又は装置を適切に構成することを可能にする。図２〜４の例において、部分的特定音量の計算では、干渉信号の適切ね指標は、それぞれの修正パラメータの計算１０，１０’，１０”，１０'”に適用されるだけでなく、その処理又は装置により部分的特定音量の計算が容易となるよう、「未修正オーディオの特定音量の近似計算」処理又は装置１２及び／又は「目標特定音量の近似計算」処理又は装置１４にも適用される。図１のフィードフォワード例において、部分的特定音量は直接的に計算されない。すなわち、図１の修正パラメータの計算１０では、修正されたオーディオの部分的特定音量を目標特定音量に近似させるために適切な修正パラメータを計算する。これについては、「騒音補償」の見出しで以下に説明する。
【００６０】
上述したように、図１〜４の例の各々において、修正パラメータＭは、オーディオ信号の修正２をオーディオ信号に適用したとき、修正した結果修正されたオーディオの特定音量又は部分的特定音量と、目標特定音量との間の差を減少させる。修正されたオーディオ信号の特定音量は、目標特定音量に非常に近似するか又は同じになることが理想的である。修正パラメータＭは、例えば、フィルターバンクから導き出した周波数帯域又は、時間に対して変化するフィルターの係数に適用する、時間に対して変化するゲインの形を取る。従って、図１〜４のすべての例において、オーディオ信号の修正２は、それぞれが周波数帯域又は、時間に対して変動するフィルター（例えば、複数タップのＦＩＲフィルター又は複数極のフィルター）で動作する、複数の振幅スケーラーとして実施することができる。
【００６１】
この明細書において、同じ参照番号を使用する場合は、その装置又は処理は同じ参照番号を持つものと実質的に同じであることを示す。プライム記号の付いた参照番号（例えば１０’）は、その装置又は処理は構成又は機能は類似するが、同じ参照番号又はそのプライム記号の付いたものに少し変更が加えられていることがある。
【００６２】
いくつかの制約条件の下で、図１のフィードフォワード例とほぼ等価なフィードバック構成を実現することができる。図２は、オーディオ信号が、オーディオ信号の修正処理又は装置２の信号経路に適用されるような例を表している。この処理又は装置２は、フィードバック構成において修正パラメータの生成処理又は装置４’が入力として、オーディオ信号の修正２の出力から修正されたオーディオ信号を受け取るような制御経路から、修正パラメータＭもまた受け取る。従って、図２の例において、未修正のオーディオ信号ではなく修正されたオーディオ信号が制御経路に適用される。このオーディオ信号の修正処理又は装置２及び修正パラメータの生成処理又は装置４’は、オーディオ信号を修正して、その特定音量と目標特定音量との差を減少させる。処理又は装置４’には、「未修正のオーディオの特定音量の近似計算」処理又は装置１２、「目標特定音量の近似計算」処理又は装置１４、及び、修正パラメータを計算する「修正パラメータの計算」処理又は装置１０’のような、いくつかの機能及び装置を具備することができる。
【００６３】
制約はあるが、関数Ｆは可逆であり、処理又は装置１２は修正されたオーディオ信号の特定音量又は部分的特定音量に逆関数Ｆ−１を適用することにより未修正のオーディオ信号の特定音量を推定する。装置又は処理１２は、上述のように逆関数Ｆ−１を計算することができる。これは、図２に、装置又は処理１２に入力される「逆関数Ｆ−１と関数パラメータの選択」として、概略的に示されている。「目標特定音量の近似計算」１４は、修正されたオーディオ信号の特定音量又は部分的特定音量を計算することにより、動作する。このような特定音量又は部分的特定音量は、目標特定音量の近似である。未修正オーディオ信号の特定音量の近似及び目標特定音量の近似は、修正パラメータＭを導き出すために修正パラメータの計算１０’で用いられ、修正パラメータＭは、オーディオ信号の修正２をオーディオ信号に適用した場合、修正されたオーディオ信号の特定音量又はこの信号の部分的特定音量と、目標特定音量との差を減少させる。上述のように、修正パラメータＭは、例えば、フィルターバンクの周波数帯域に適用される時間に対して変動するゲイン又は時間に対して変動するフィルターの係数の形式を取る。修正パラメータの計算１０”の実際的な実施の形態において、フィードバックループには、修正パラメータＭの計算と適用との間に時間をクレを導入することができる。
【００６４】
上述のように、再生環境では、騒音のような２次的な干渉オーディオ信号、修正パラメータの計算１０’、未修正オーディオの特定音量の近似計算１２、及び目標特定音量の近似計算１４は、それぞれ、１つの入力として、２次的な干渉オーディオ信号又は２次的な干渉信号を付加的な入力として、受け取ることができ、処理又は装置１２と処理又は装置１４とは、それぞれ、修正されたオーディオ信号の部分的特定音量を計算する。このような付加的な入力は、点線の引き出し線を用いて図２に示す。
【００６５】
上述のように、本発明の特徴のフィードフォワード／フィードバック・ハイブリッドの実施の形態が可能である。図３と図４はそのような実施の形態の２つの例を示す。図３と図４の例において、図１と図２の例のように、オーディオ信号は、信号経路において、オーディオ信号の修正処理又は装置２に適用されるが、それぞれの制御経路における修正パラメータの生成（図３では４”、図４では４'”）では、未修正オーディオ信号と修正されたオーディオ信号の両方を受け取る。図３と図４の両方の例において、オーディオ信号の修正２と修正パラメータの生成（４”及び４'”）では、間接的かもしれない特定音量と、間接的かもしれない目標特定音量との差を減少させるためにオーディオ信号を修正する。
【００６６】
図３の例では、修正パラメータの生成処理又は装置４’には、図１の例に示すような目標特定音量の計算６、図２のフィードバックの例に示すような目標特定音量の近似計算１４、及び修正パラメータの計算処理又は装置１０”のようないくつかの機能及び・又は装置が含まれる。図１の例に示すように、フィードフォワード／フィードバック・ハイブリッド例のフィードフォワード部分において、目標特定音量の計算６は、それぞれ関数パラメータを持つことがある１以上の関数「Ｆ」を実行することができる。これは、図３に、処理又は装置６に入力される「関数Ｆと関数パラメータの選択」として概略的に示されている。フィードフォワード／フィードバック・ハイブリッド例のフィードバック部分において、修正されたオーディオ信号は、図２のフィードバックの例に示すように、目標特定音量の近似計算１４に適用される。処理又は装置は、図３の例において、図２の例のように、修正されたオーディオ信号の特定音量又は部分的特定音量を計算することにより、動作する。このような特定音量又は部分的特定音量は、目標特定音量の近似である。（処理又は装置６からの）目標特定音量及び（処理又は装置１４からの）目標特定音量の近似は、修正パラメータの計算１０”に適用されて、オーディオ信号にオーディオ信号の修正２を適用した場合に、未修正オーディオ信号の特定音量と目標特定音量との差を減少させるような、修正パラメータＭを導き出す。上述のように、修正パラメータＭは、例えば、フィルターバンクの周波数帯域に適用される時間に対して変動するゲイン又は、時間に対して変動するフィルターの係数の形を取る。実際の実施の形態において、フィードバックループには、修正パラメータＭの計算と適用との間に時間遅れを導入することができる。上述のように、騒音のような騒音のような２次的な干渉オーディオ信号を有する再生環境において、修正パラメータの計算１０”と目標特定音量の近似計算１４は、各々、付加的な入力として、このような２次的な干渉オーディオ信号又は２次的な干渉信号自身を入力の１つとして受信することができ、処理又は装置１４は、修正されたオーディオ信号の部分的特定音量を計算することができる。この付加的な入力は点線の引き出し線を用いて図３に示されている。
【００６７】
修正パラメータの計算１０”では、その目標特定音量と音量近似の目標仕様の入力との差が、目標特定音量の近似と「実際の」目標特定音量との差を減少させるために、修正パラメータを調整するように、誤差検出装置又は機能を採用することができる。このような調整により、未修正オーディオ信号の特定音量と、間接的かもしれない目標特定音量との差が減少する。このように、修正パラメータＭは、元のオーディオの特定音量から関数Ｆを用いてフィードフォワード経路において計算された目標特定音量と、修正されたオーディオの特定音量又は部分的特定音量からフィードフォワード経路において計算された目標特定音量の近似との誤差に基づいて更新される。
【００６８】
図４の例において、代替的なフィードフォワード／フィードバックの例が示されている。この代替案は、関数Ｆがフィードフォワード経路で計算されるのではなく、逆関数Ｆ−１がフィードバック経路で計算される点で図３の例とは異なる。図４の例において、修正パラメータの生成処理又は装置４’には、図１のフィードフォワードの例に示されているような特定音量の計算８、図２のフィードバックの例に示されているような未修正オーディオの特定音量の近似計算１２、及び修正パラメータの計算１０'”のようないくつかの機能又は装置が含まれている。図１のフィードフォワードの例に示されているような特定音量の計算８は、修正パラメータの計算１０'”への入力として、未修正オーディオ信号の特定音量を出力する。図２のフィードバックの例に示されているように、関数Ｆが可逆であるとの制約条件の下で、処理又は装置１２は、修正されたオーディオ信号の特定音量又は部分的特定音量に逆関数Ｆ−１を適用することにより未修正オーディオ信号の特定音量を推定する。未修正オーディオの特定音量の近似計算１２に入力される、「逆関数Ｆ−１と逆関数パラメータの選択」は、上述のように、装置又は処理１２が逆関数Ｆ−１を計算することができることが示されている。これは、処理又は装置１２に入力される「逆関数Ｆ−１と逆関数パラメータの選択」として図４に概略的に示されている。このようにして、処理又は装置１２は、修正パラメータの計算１０'”へのもう１つの入力として、未修正オーディオ信号の特定音量の近似を出力する。
【００６９】
図１〜３の例に示されているように、修正パラメータの計算１０'”では、オーディオ信号の修正２によりオーディオ信号に適用された場合、未修正オーディオ信号の特定音量と目標特定音量との差を減少させるような修正パラメータＭを導き出す。上述のように、修正パラメータＭは、例えば、時間に対して変化するフィルターの各周波数帯域のフィルターバンク又は係数に適用される時間に対して変化するゲインの形式を取る。実際の実施の形態において、フィードバックループは、修正パラメータＭの計算と適用との間に時間遅れを導入することができる。上述のように、騒音のような騒音のような２次的な干渉オーディオ信号を有する再生環境において、修正パラメータの計算１０'”と未修正オーディオの特定音量の近似計算１２とは、それぞれ、このような２次的な干渉オーディオ信号又は２次的な干渉信号自身を入力の１つとして受け取ることができ、そして、処理又は装置１２は、修正されたオーディオ信号の部分的特定音量を計算することができる。付加的な入力は、点線の引き出し線を用いて図４に示されている。
【００７０】
修正パラメータの計算１０'”では、特定音量と特定音量の近似との差の入力が、特定音量の近似と「実際の」特定音量との差を減少させるように修正パラメータを調整するような出力を生成するように、誤差検出装置又は誤差検出機能を採用することができる。特定音量の近似が、目標特定音量の近似と見なすことができる修正されたオーディオの特定音量又は部分的特定音量から導き出されるので、このような調整は、関数Ｆ−１に固有の、修正されたオーディオ信号の特定音量と目標特定音量との差を減少させる。従って、修正パラメータＭは、元のオーディオからのフィードフォワード経路中で計算される特定音量と、修正されたオーディオの特定音量又は部分的特定音量からのフィードバック経路中の、逆関数Ｆ−１を用いて計算された特定音量の近似との間の誤差に基づいて更新することができる。フィードバック経路があるので、実際の実施の形態では、更新と修正パラメータの適用との間に時間遅れを導入することができる。
【００７１】
図１〜４の例において、オーディオ信号の修正処理又は装置２に適用したとき修正パラメータＭは、オーディオ信号の特定音量と目標特定音量との差を減少させるが、実際の実施の形態において、同じオーディオ信号に応答して生成された対応する修正パラメータは、お互いに同一ではないかもしれない。
【００７２】
本発明の特徴にとって決定的でも本質的でもないが、オーディオ信号又は修正されたオーディオ信号の特定音量の計算では、前記国際出願番号ＰＣ１７ＵＳ２００４／０１６９６４、国際公開番号ＷＯ２００４／１１１９６４Ａ２に開示された技術を有益に採用しており、この計算では、２つ以上の特定音量モデル関数、２つ以上の特定音量モデル関数の１つの組み合わせから選択し、この選択は入力オーディオ信号の特性を表す指標により制御される。図１の特定音量１０４の記載は、以下のように、このような構成を説明するものである。
【００７３】
本発明のさらなる特徴によれば、未修正オーディオ信号及び、（１）修正パラメータ又は、（２）目標特定音量又は目標特定音量を表現するもの（例えば、目標特定音量を、直接的又は間接的に計算するのに用いることのできるスケールファクター）のいずれかは、例えば、時間的に及び／又は空間的に分離した装置又は処理で用いるために、保存又は伝送される。修正パラメータ又は、目標特定音量又は、目標特定音量を表現するものは、上述の、例えば、図１〜４に例示したフィードフォワード構成、フィードバック構成、及びフィードフォワード／フィードバック・ハイブリッド構成の１つのような適切な方法で決定する。実際には、図１の例のようなフィードフォワード構成は、修正されたオーディオ信号に基づく計算を回避しているので、最も簡単で処理速度が速い。未修正のオーディオと修正パラメータの伝送と保存の例を図５に示し、未修正のオーディオと目標特定音量又は目標特定音量を表現するものの伝送と保存の例を図６に示す。
【００７４】
図５に例示したような構成では、オーディオ信号への修正パラメータの適用を、そのような修正パラメータの生成とは、時間的及び／又は空間的に別に用いることができる。図６に例示したような構成では、修正パラメータの生成及び適用の両方を、目標特定音量又は目標特定音量を表現するものとは、時間的及び／又は空間的に別に用いることができる。これらのタイプの構成の両方とも、修正パラメータの生成又は目標特定音量の生成における複雑さを回避する構成の、単純な低価格の再生又は受信が可能となる。図５のタイプの構成は、図６のタイプの構成より単純であるが、図６の構成は、保存又は伝送が必要な情報を、特に、１以上のスケールファクターのような目標特定音量の表現を保存又は伝送する時に、非常に少なくすることができるという利点を有する。記憶又は伝送におけるこのような情報の削減は、低ビットレートオーディオ環境において特に役立つ。
【００７５】
従って、本発明のさらなる特徴は、（１）保存装置又は処理あるいは伝送装置又は処理から、修正パラメータＭを受け取り又は再生し、受信したオーディオ信号に適用する装置又は処理又は、（２）保存装置又は処理あるいは伝送装置又は処理から、目標特定音量又は目標特定音量を表現するものを受け取り又は再生し、目標特定音量又はそれを表現するものを受け取ったオーディオ信号（又は、オーディオ信号から導き出すことのできるその特定音量のようなオーディオ信号を表現するもの）に適用することにより修正パラメータＭを生成し、この修正パラメータＭを受け取ったオーディオ信号に適用する装置又は処理を提供する。このような装置又は処理は、デコーディング処理又はデコーダと見なすことができ、保存又は伝送された情報を生成するのに必要な装置又は処理は、エンコーディング処理又はエンコーダと見なすことができる。このようなエンコーディング処理又はエンコーダは、図１〜４の構成例において、それぞれのデコーディング処理又はデコーダに必要な情報を生成するのに役立つような部分である。このような、デコーディングプロセッサ又はデコーダは、サウンドを処理及び／又は生成する実際上のどんな処理又は装置にでも関連付け又は動作させることができる。
【００７６】
本発明の特徴によれば、図５に示すように、例えば、修正パラメータの生成、つまり、図１の４、図２の４’、図３の４”、図４の４'”、のような修正パラメータ生成処理又は修正パラメータ生成装置、により生成された未修正オーディオ信号と修正パラメータＭとは、どのような適切な記憶装置又は機能若しくは伝送装置又は機能にも適用することができる。図１のフィードフォワードの例をエンコーディング処理又はエンコーダとして用いる場合は、オーディオ信号の修正２は、そのエンコーダ又はエンコーディング処理の時間的又は空間的位置で、修正されたオーディオを提供する必要が無い場合は、修正されたオーディオを生成する必要がない。保存又は伝送１６には、例えば、適切な磁気記憶装置、光学的記憶装置、又は半導体記憶装置、及び再生装置、又は有線又は無線の伝送受信装置を含むことができ、どれを選択するかは本発明では重要ではない。次いで、再生又は受信した修正パラメータは、特定音量を修正パラメータが導き出された構成の、又はこの構成に固有の目標特定音量に近似させるために、再生又は受信したオーディオ信号を修正するために、図１〜４の例に用いられたタイプのオーディオ信号の修正２に入力される。修正パラメータは種々の方法で保存又は伝送することができる。例えば、オーディオ信号に付随するメタデータとして保存又は伝送することができ、別の経路又はチャンネルで伝送することができ、オーディオ中に電子迷彩技術を使ってエンコードすることができ、多重伝送することができる、等が可能である。オーディオ信号を修正するための修正パラメータの使用は、任意的なものとすることができ、任意とするなら、例えばユーザにより選択するものとすることができる。例えば、オーディオ信号に適用可能であるなら、修正パラメータは、オーディオ信号のダイナミックレンジを減少させることができる。このようなダイナミックレンジを減少させるか否かは、ユーザにより選択可能とすることができる。
【００７７】
本発明の他の特徴によれば、図６の例に示すように、未修正オーディオ信号及び、目標特定音量又は目標特定音量を表現するものを適切な記憶又は伝送装置又は機能（「保存又は伝送」）１６に入力することができる。図１の例のような、フィードフォワード構成を用いる場合は、もし、エンコーダ又はエンコーディングプロセスの時間的又は空間的場所において、修正パラメータ又は修正オーディオを用意する必要がないなら、エンコーディングプロセス又はエンコーダとして、修正パラメータの計算１０の類の処理又は装置やオーディオ信号の修正２の類の処理又は装置は必要がなく、省略することができる。図５の場合では、保存又は伝送１６には、例えば、適切な磁気記憶装置、光学的記憶装置、又は半導体記憶装置、及び再生装置、又は有線又は無線の伝送受信装置を含むことができ、どれを選択するかは本発明では重要ではない。再生した又は受け取った目標特定音量又は目標特定音量を表現するものは、図１〜４の例で採用したタイプのオーディオ信号の修正２に入力する修正パラメータＭを提供するために、特定音量が修正パラメータが導き出された構成の、又はこの構成に固有の目標特定音量に近似するよう、再生した又は受け取ったオーディオ信号を修正するために、未修正オーディオと共に、図１の例に用いられたタイプの修正パラメータの計算１０、又は、図３のタイプに用いられたタイプの修正パラメータの計算１０”に適用される。目標特定音量又は目標特定音量を表現するものは、図１に例示したタイプのエンコーディングプロセス又はエンコーダで最もたやすく取得できるが、目標特定音量又はそれを表現するもの又は目標特定音量の近似又はそれを表現するものは、図２〜４に例示したタイプのエンコーディングプロセス又はエンコーダで取得できる（近似は、図２及び３の処理又は装置１４及び図４の処理又は装置１２で算出される）。目標特定音量又はそれを表現するものは、種々の方法で保存又は伝送することができる。例えば、オーディオ信号に付随するメタデータとして保存又は伝送することができ、別の経路又はチャンネルで伝送することができ、オーディオ中に電子迷彩技術を使ってエンコードすることができ、多重伝送することができる、等が可能である。オーディオ信号を修正するために保存又は伝送されてきた目標特定音又はそれを表現する修正パラメータの使用は、任意的なものとすることができ、任意とするなら、例えばユーザにより選択するものとすることができる。例えば、オーディオ信号に適用可能であるなら、修正パラメータは、オーディオ信号のダイナミックレンジを減少させることができる。このようなダイナミックレンジを減少させるか否かは、ユーザにより選択可能とすることができる。
【００７８】
ディジタルシステムとして開示した発明を実施するとき、フィードフォワード構成が最も実際的であり、このような構成を以下に説明するが、本発明はこれに限定されるものではない。
【００７９】
本明細書全般において、「フィルター」又は「フィルターバンク」の語は、ここではＩＩＲフィルターのような再帰的及び非再帰的フィルター又は変換が含まれ、「フィルターされた」情報とは、このようなフィルターを適用した結果できたものを言う。以下の実施の形態では、変換で実行されるフィルターバンクを採用する。
【００８０】
図７は、フィードフォワード構成で実施した本発明の特徴の典型的な実施形態をより詳細に示したものである。オーディオはまず、オーディオ信号を複数の周波数帯域に分割する（従って、図５は、分析フィルターバンク１００からの複数の出力を示しており、各出力は周波数帯域を示し、この出力は、さらに以下に説明するように、帯域を加え合わせて結合した広帯域信号にする、合成フィルターバンクにまで、種々の機能又は装置を伝わってゆく）、分析フィルターバンク機能又は装置（「分析フィルターバンク」）１００を通る。分析フィルターバンク１００において、各周波数帯域に関連づけられたフィルターの応答は、内耳における基底膜の特定の位置での応答を模擬するように設計される。分析フィルターバンク１００における各フィルターの出力は、次に、外耳と中耳を通るオーディオのフィルター効果を模擬する伝達フィルター又は伝達フィルター機能（「伝達フィルター」）１０１に送られる。オーディオの音量を計測さえすれば、伝達フィルターを、分析フィルターバンクに先立って適用することができるが、分析フィルターバンクの出力は、修正されたオーディオの合成に用いられるので、伝達フィルターをフィルターバンクの後で適用することが有益である。伝達フィルター１０１の出力は、次に、その出力が基底膜に沿ったエネルギーを模擬する、エキサイテーション機能又は装置（「エキサイテーション」）１０２に行き。エキサイテーションエネルギーの値は、平滑化機能又は装置（「平滑化」）１０３により、時間について平滑化することができる。平滑化機能の時定数は、所望のアプリケーションの要求に応じて設定される。平滑化されたエキサイテーション信号は、続いて、特定音量機能又は装置（「特定音量（ＳＬ）」）１０４における特定音量に変換される。各帯域に関連づけられた特定音量の成分は、特定音量の修正機能又は装置（「ＳＬの修正」）１０５に送られる。ＳＬの修正１０５は、その入力として特定音量を受け、次いで、所望の「目標」特定音量を出力し、本発明の特徴によれば、これは、元の特定音量の関数となることが好ましい（以下の次の表題「目標特定音量」を参照）。ＳＬの修正１０５は、各帯域で独立に動作することができ、あるいは、必要な効果に応じて、帯域間（図７の相互接続線に示唆されているような周波数平滑化）での相互依存が存在することがある。入力としてエキサイテーション１０２からの平滑化されたエキサイテーション周波数帯域成分とＳＬの修正１０５からの目標特定音量を受け取り、ゲインソルバー機能又は装置（「ゲインソルバー」）１０６は、計測した特定音量を目標特定音量に変換するために分析フィルターバンク１００の出力の各帯域に適用する必要のあるゲインを決定する。ゲインソルバーは種々の方法で実施することができる。例えば、ゲインソルバーには、ＷＯ２００４／１１１９６４Ａ２として国際公開された国際出願番号ＰＣＴ／ＵＳ２００４／０１６９６４に開示されたような、反復的処理又はルックアップテーブルを含むことができる。ゲインソルバー１０６により生成された帯域毎のゲインは、知覚できるアーティファクトを最小限にするために任意的な平滑化機能又は装置（「平滑化」）１０７によりさらに時間について平滑化することができるが、詳細な説明に記載したように、全体的な処理又は装置のいずれかで時間的平滑化を適用することが好ましい。最後に、分析フィルターバンク１００のそれぞれの帯域に、乗算結合機能又は結合器１０８を介してゲインを適用し、処理された又は「修正された」オーディオは、フィルターバンク機能又は装置（「合成フィルターバンク」）１１０において、ゲインで修正された帯域から合成される。加えて、分析フィルターバンクからの出力は、ゲイン計算に伴う待ち時間を補償するために、ゲインを適用する前に時間遅れ機能又は装置
（「時間遅れ」）１０９により時間遅れを持たせることができる。あるいは、周波数帯域でゲイン修正を適用するために用いるゲインの計算をする代わりに、複数タップのＦＩＲフィルター又は複数極のＩＩＲフィルターのような時間に対して変化するフィルターのフィルター係数を計算することができる。簡単に説明すれば、本発明の特徴は、主として周波数帯域に適用するゲインを採用することについてであるが、フィルター係数と時間に対して変化するフィルターもまた、実際の実施の形態で採用することができる。
【００８１】
実際の実施の形態において、オーディオの処理はディジタル領域で実施することができる。従って、オーディオ入力信号は、サンプリング周波数ｆｓで音源からサンプリングした離散時間の列ｘ［ｎ］で表される。以下のデシベルで与えられるｘ［ｎ］の二乗平均平方根の出力が、そのオーディオが聴取者が聞くｄＢ単位で示した音圧レベルに等しくなるように、ｘ［ｎ］を適切に拡大縮小することが前提となっている。
【数１１】
2009532739.tif 000016
【００８２】
加えて、オーディオ信号は、説明を簡単にするために、モノラルであることを前提とする。
【００８３】
分析フィルターバンク１００、伝達フィルター１０１、エキサイテーション１０２、特定音量１０４、特定音量の修正１０５、ゲインソルバー１０６、及び、合成フィルターバンク１１０は、以下に詳細に説明する。
【００８４】
［分析フィルターバンク１００］
オーディオ入力信号は、分析フィルターバンク又は分析フィルターバンク機能（「分析フィルターバンク」）１００に入力する。分析フィルターバンク１００の各フィルターは、内耳における基底膜に沿った特定の位置の周波数応答を模擬するよう設計される。フィルターバンク１００には、その幅と間隔とが一定であるMoore、Glasberg、及びBaerにより定義されたような等価矩形帯域幅（ＥＲＢ）周波数スケール（B.  C.  J.  Moore,  B.  Glasberg,  T.  Baer,  "A  Model  for  the  Prediction  of  Thresholds,  Loudness,  and  Partial  Loudness,"参照）である線形フィルターを含めることができる。
【００８５】
ＥＲＢ周波数スケールの方が、人間の感覚に適合しており、主観的な音量に一致する客観的な音量測定を生成する上で改善された性能を示すが、バーク周波数スケールを、性能を低減させて用いてもよい。
【００８６】
ヘルツ（Ｈｚ）単位で表した中央周波数中央ｆに対して、ヘルツ（Ｈｚ）単位で表したＥＲＢ帯域は以下のように近似することができる
ＥＲＢ（ｆ）＝２４．７（４．３７ｆ／１０００＋１）      （１）
この関係から、歪みのあるスケールに沿うどの点でも、歪みのあるスケール単位で表した対応するＥＲＢは１に等しくなるような、歪みのある周波数スケールが定義される。ヘルツ（Ｈｚ）単位で表した線形周波数からＥＲＢ周波数スケールに変換する関数は式（１）の相互関係を積分することにより得られる。すなわち、
【数１２】
2009532739.tif 000017
【００８７】
また、式（２ａ）をｆについて解くことにより、ＥＲＢスケールから線形周波数スケールに戻す変換を表現することは有益である。
【数１３】
2009532739.tif 000018
【００８８】
ここで、ｅは、ＥＲＢスケールの単位である。図９は、ＥＲＢスケールとヘルツ（Ｈｚ）単位で表した周波数との関係を示す。
【００８９】
分析フィルターバンク１００には、ＥＲＢスケールに沿って一定間隔の中央周波数ｆｃ［１］・・・ｆｃ［Ｂ］で、帯域として参照するＢ聴覚フィルターを含むことができる。さらに具体的には、
【数１４】
2009532739.tif 000019
【００９０】
ここでΔは、分析フィルターバンク１００の好ましいＥＲＢ間隔であり、ｆｍｉｎ及びｆｍａｘは、それぞれ好ましい最小中央周波数及び最大中央周波数である。Δ＝１を選択することができ、人の耳で感知できる周波数範囲を考慮に入れて、ｆｍｉｎ＝５０Ｈｚ、ｆｍａｘ＝２０，０００Ｈｚに設定することができる。このようなパラメータにおいて、例えば式（３ａ）〜（３ｃ）を適用するとＢ＝４０の聴覚フィルターとなる。
【００９１】
各聴覚フィルターの振幅・周波数応答は、MooreとGlasbergが示唆したように、丸めた指数関数で特徴付けられる。具体的には、中央周波数ｆｃ［ｂ］のフィルターの振幅応答は、以下のように表され、
【数１５】
2009532739.tif 000020
【００９２】
ここで、
【数１６】
2009532739.tif 000021
【００９３】
ＥＲＢスケール上で臨界帯域を近似した、このようなＢ聴覚フィルターの振幅応答は図１０に示した通りである。
【００９４】
分析フィルターバンク１００のフィルタリング動作は、全レート実施と称されるオーディオ信号のサンプリングレートでフィルターを走らせる実施形態で、正確な音量計測に必要となるのに十分な時間的分解能が得られると考えれているため、一般に短時間離散フーリエ変換（ＳＴＤＦＴ）３と称される有限長離散フーリエ変換を用いて適切に近似することができる。全レート実施の代わりにＳＴＤＦＴを用いることにより、効率の改善及び計算の複雑さの削減が達成できる。
【００９５】
入力オーディオ信号ｘ［ｎ］のＳＴＤＦＴは以下のように定義される。
【数１７】
2009532739.tif 000022
【００９６】
ここで、ｋは周波数インデックス、ｔは時間ブロックインデックス、ＮはＤＦＴサイズ、Ｔはホップサイズ、そして、ｗ［ｎ］は、下式のように正規化された長さＮの窓である。
【数１８】
2009532739.tif 000023
【００９７】
式（５ａ）の変数ｔは、秒単位の時間計測に対する、ＳＴＤＦＴの時間ブロックを表す離散インデックスであることに留意すべきである。ｔの増加ごとに、信号ｘ［ｎ］に沿ってＴサンプル数だけホップすることを表す。ｔに続く参照もこの定義を前提にする。実施の形態の詳細に応じて、ｆｓ＝４４１００Ｈｚに対して、異なったパラメータ設定と窓の形を用いることができ、Ｎ＝２０４８、Ｔ＝１０２４、そしてｗ［ｎ］をハニング窓にすることで、適切な時間と周波数のバランスが得られる。上述のＳＴＤＦＴは、高速フーリエ変換（ＦＦＴ）を用いてさらに効率をよくすることができる。
【００９８】
ＳＴＤＦＴの代わりに、修正離散コサイン変換（ＭＤＣＴ）を分析フィルターバンクの実施のために用いることができる。ＭＤＣＴは、ドルビーＡＣ−３のような、知覚可能なオーディオコーダに一般的に用いられる変換である。開示したシステムをこのような知覚可能なコード化されたオーディオで実施した場合は、開示した音量計測及び修正により、コード化されたオーディオの既存のＭＤＣＴ係数の処理を、より効率よく実行することができ、これにより、分析フィルターバンク変換を実行する必要性を削除することができる。オーディオ信号ｘ［ｎ］のＭＤＣＴはは以下で与えられる。
【数１９】
2009532739.tif 000024
【００９９】
一般に、ホップサイズＴは、信号ｘ［ｎ］を完全に再構成するために変換長さＮのちょうど半分に選ばれる。
【０１００】
［伝達フィルター１０１］
分析フィルターバンク１００の出力は、外耳及び中耳を通るオーディオの伝達に相当するフィルターバンクの各帯域をフィルターする、伝達フィルター又は伝達フィルター機能（「伝達フィルター」）１０１に入る。図８は、可聴な周波数範囲における、伝達フィルターの適切な振幅・周波数応答を示している。応答は、１ｋＨｚ以下では一定であり、１ｋＨｚ以上では、１ｋＨｚで１となるような閾値を持つ、ＩＳＯ２２６標準に記載されたような聴覚の閾値の逆数に従う。
【０１０１】
［エキサイテーション１０２］
入力オーディオ信号の音量を計算するために、伝達フィルター１０１を適用した後の分析フィルターバンク１００の各フィルターにおけるオーディオ信号の短時間エネルギーの量が必要である。この時間及び周波数に対して変化する量は、エキサイテーションと称される。分析フィルターバンク１００の各フィルター出力の短時間エネルギーは、下式の入力信号のパワースペクトルの周波数領域におけるフィルター応答を乗算することにより、エキサイテーション機能１０２で近似することができる。
【数２０】
2009532739.tif 000025
【０１０２】
ここで、ｂは、帯域数、ｔはブロック数、そして、Ｈｂ［ｋ］とＰ［ｋ］とは、聴覚フィルターと伝達フィルターの周波数応答であり、それぞれ、ＳＴＤＦＴ又はＭＤＣＴビン係数ｋに対応する周波数でサンプルしたものである。同様の結果を達成するために式（４ａ）〜（４ｃ）で特定されたものとは別に聴覚フィルターの振幅応答に対する形式では、式（７）を用いることに留意すべきである。例えば、ＷＯ２００４／１１１９６４Ａ２で公開された国際出願番号ＰＣＴ／ＵＳ２００４／０１６９６４では、１２次のＩＩＲ変換関数で特徴付けられる聴覚フィルターと、低価格の「レンガ壁（brick-wall）」帯域通過近似との、２つの代案が記載されている。
【０１０３】
要約すれば、エキサイテーション機能１０２は、時間間隔ｔ毎のそれぞれのＥＲＢ帯域におけるエネルギーＥの周波数領域での表現である。
【０１０４】
［時間平均化（「平滑化」）１０３］
開示された発明の応用例において、以下に記載するように、特定音量に変換する前に、エキサイテーションＥ［ｂ，ｔ］を平滑化することが望ましいかもしれない。例えば、下式に従い、平滑化機能１０３を再帰的に実施することができる。
【数２１】
2009532739.tif 000026
【０１０５】
ここで各帯域ｂでの時定数λｂは、所望のアプリケーションに応じて選択される。多くの場合、時定数は、帯域ｂ内の人の音量の知覚量を時間的に積分したものに比例させることにより有利に選択することができる。WatsonとGengelは、この時間積分は、低周波数（１２５−２００Ｈｚ）で１５０〜１７５ｍｓの範囲となり、高周波数で４０〜６０ｍｓの範囲となることを示す実験を行った（Charles  S.  Watson及びRoy
W.  Gengelの「Signal  Duration  and  Signal  Frequency  in  Relation  to  Auditory  Sensitivity」
Journal  of  the  Acoustical  Society  of  America,  Vol.46,  No.4 (Part 2),  969,  pp.  989-997参照）。
【０１０６】
［特定音量１０４］
特定音量変換器又は変換機能（「特定音量」）１０４において、エキサイテーションの各周波数帯域は、ＥＲＢ当たりのソーン単位で計測される特定音量の成分値に変換される。
【０１０７】
2009532739.tif 000027
【数２２】
2009532739.tif 000028
【０１０８】
ここで、Ｔ１ｋＨｚ（Ｅ，ｆ）は、周波数ｆにおけるレベルＥと同じ音量の、１ｋＨｚにおけるレベルを生成する関数である。実際にはＴ１ｋＨｚ（Ｅ，ｆ）は、伝達フィルターにより正規化され、等価ラウドネス曲線に等しいルックアップテーブルの補間として実施される。１ｋＨｚにおける等価なレベルに変換することは、次の特定音量の計算を単純化する。
【０１０９】
次に、各帯域における特定音量を以下のように計算することができる。
【数２３】
2009532739.tif 000029
【０１１０】
ここで、ＮＮＢ［ｂ，ｔ］及びＮＷＢ［ｂ，ｔ］は、それぞれ狭帯域信号モデルと広帯域信号モデルに基づく特定音量値である。値α［ｂ，ｔ］は、オーディオ信号から計算された０と１の間にある補間係数である。ＷＯ２００４／１１１９６４Ａ２として公開された国際出願番号ＰＣＴ／ＵＳ２００４／０１６９６４には、エキサイテーションのスペクトルの平坦性からα［ｂ，ｔ］を計算するための技術が記載されている。また、これには、「狭帯域」信号モデルと「広帯域」信号モデルについても詳細に説明されている。
【０１１１】
狭帯域と広帯域の特定音量の値ＮＮＢ［ｂ，ｔ］とＮＷＢ［ｂ，ｔ］は、以下の指数関数を用いて変換されたエキサイテーションから推定することができる。
【数２４】
2009532739.tif 000030
【０１１２】
ここで、ＴＱ１ｋＨｚは、１ｋＨｚのトーンで静音となる閾値のエキサイテーションレベルである。等価ラウドネス曲線（図１１及び図１２）から、ＴＱ１ｋＨｚは４．２ｄＢに等しい。これらの特定音量関数は両方とも、エキサイテーションが静音となる閾値に等しいとき、ゼロに等しくなることに留意すべきである。エキサイテーションが静音となる閾値より大きい場合、この関数は両方とも、スチーブンスの聴覚の強さの原理に従い、指数法則的に単調増加する。狭帯域関数が広帯域関数より速く増加するように、狭帯域関数の指数は広帯域関数の指数より大きくなるよう選ばれる。狭帯域の場合と広帯域の場合での指数βとゲインＧの具体的な選択は、トーンと騒音に対する音量に増加の経験的なデータに一致するよう選ばれる。
【０１１３】
MooreとGlasbergは、特定音量は、エキサイテーションが聴覚の閾値にあるとき、ゼロに変わる小さな値に等しくすべきことを示唆している。これは、聴覚の閾値は蓋然的な閾値であり（そのトーンがその時間の５０％で検出される点）、それぞれが閾値にある多くのトーン合わさると、個々のトーンよりも可聴となることを説明するものである。ここに開示した出願において、この特性を持つ特定音量は、エキサイテーションが閾値の近傍にあるとき、以下に説明するように、ゲインソルバーがより適切に振舞うようにさせるという付加的な利点を持つ。エキサイテーションが閾値以下であるとき、特定音量がゼロと定義されるならば、閾値以下でのエキサイテーションに対して一意的なゲインソルバーは存在しない。一方、MooreとGlasbergが示唆したように、特定音量が、ゼロ以上のエキサイテーションの値に対して単調に増加するよう定義したならば、一意的な解が存在する。音量の拡大縮小を１以上にすることは、常にゲインを１以上にする結果となり、その逆も成り立つ。式（１１ａ）と（１１ｂ）の特定音量は、以下の好ましい特性を持つよう変形することができる。
【数２５】
2009532739.tif 000031
【０１１４】
2009532739.tif 000032
【０１１５】
特定音量から、全体的なあるいは「トータル」音量Ｌ［ｔ］がすべての帯域にわたって特定音量を加算することにより得られる。
【数２６】
2009532739.tif 000033
【０１１６】
2009532739.tif 000034
【数２７】
2009532739.tif 000035
【０１１７】
ゲインソルバーにより、以下のように、Ｇ［ｂ，ｔ］が求められる、
【数２８】
2009532739.tif 000036
【０１１８】
ゲインソルバー１０６は、周波数及び時間に対して変動するゲインを決定し、このゲインは、元のエキサイテーションに適用したとき、理想的には、特定音量が所望の目標特定音量に等しくなる結果となる。実際には、ゲインソルバー１０６は、周波数及び時間に対して変動するゲインを決定し、このゲインは、周波数領域でのオーディオ信号に適用したとき、その特定音量と目標特定音量との差が減少するようオーディオ信号を修正する結果となる。理想的には、修正されたオーディオ信号は、目標特定音量に極近い近似となるような特定音量を有する。式（１４ａ）の解を、種々の方法で導入することができる。例えば、特定音量の逆演算を表す閉形式の数学的表現がΨ−１{・}で表現できるとするなら、このゲインは式（１４ａ）を再構成して以下のように直接計算することができる。
【数２９】
2009532739.tif 000037
【０１１９】
あるいは、Ψ−１{・}に対する閉形式の解が存在しない場合は、ゲインの現在の推定値をを用いて式（１４ａ）の反復の各々において評価を行う、反復的なアプローチを採用することができる。この結果得られた特定音量は、所望の目標と比較され、ゲインをその誤差に基づき更新する。ゲインが適切に更新されるなら、ゲインは所望の解に収束する。他の方法では、ルックアップテーブルを生成するために各帯域におけるエキサイテーション値の範囲で関数Ψ{・}を前もって計算することを必要とする。このルックアップテーブルから、逆関数Ψ−１{・}の近似を得て、次いで、ゲインを式（１４ｂ）から計算する。先に述べたように、目標特定音量は、下式の特定音量を拡大縮小することにより表現することができる。
【数３０】
2009532739.tif 000038
【０１２０】
式（１３）を式（１４ｃ）に代入し、次いで、式（１４ｃ）を式（１４ｂ）に代入することで、ゲインの他の表現が得られ、
【数３１】
2009532739.tif 000039
【０１２１】
2009532739.tif 000040
【０１２２】
したがって、中間値として特定音量又は目標特定音量を直接的に計算することなく式（１４ｄ）又は等価的なルックアップテーブルの評価を通してゲインを計算することができる。しかしながら、これらの値は、式（１４ｄ）を用いることにより間接的に計算することができる。特定音量及び目標特定音量の直接的又は間接的な計算を通じて修正パラメータを計算するための他の等価な方法を考え出すことができ、この発明はそのような方法をすべて網羅することを目的とする。
【０１２３】
［合成フィルターバンク１１０］
上述のように、分析フィルターバンク１００を、短時間離散フーリエ変換（ＳＴＤＦＴ）又は修正離散コサイン変換（ＭＤＣＴ）を用いることで効率的に用いることができ、そして、同様にしてＳＴＤＦＴ又はＭＤＣＴを合成フィルターバンク１１０を用いることができる。具体的には、Ｘ［ｋ、ｔ］を、先に定義した入力オーディオのＳＴＤＦＴ又はＭＤＣＴを表現させ、合成フィルターバンク１１０の処理済の（修正した）入力オーディオのＳＴＤＦＴ又はＭＤＣＴを以下のように計算する。
【数３２】
2009532739.tif 000041
【０１２４】
ここで、Ｓｂ［ｋ］は、帯域ｂに関する合成フィルターの応答であり、ｄは、図７の時間遅れブロック１０９に関する時間遅れである。合成フィルターＳｂ［ｋ］の形は、分析フィルターバンク、Ｈｂ［ｋ］、で用いたフィルターと同じものを選択することができるか、又は、ゲイン修正（すなわち、Ｇ［ｂ，ｔ］＝１のとき）がないとき、完全に再構成することができる。
【０１２５】
2009532739.tif 000042
【０１２６】
［ボリューム制御に適した時間不変・周波数不変関数］
標準のボリューム制御では、オーディオに広帯域ゲインを適用することによりオーディオ信号の音量を調整する。一般に、ゲインは、オーディオの音量が所望のレベルになるまでユーザが調整するノブ又はスライダーと連動している。本発明の特徴では、さらに音響心理学的に一貫性のあるこのような方法を実行することを可能にする。本発明の特徴によれば、知覚スペクトルを変化させるかもしれない、すべての周波数帯域にわたって同じ量だけボリューム制御に連動する広帯域ゲインを変化させるのではなく、特定音量拡大縮小ファクターが、理想的には、近くスペクトルを変化させずに人の聴覚モデルを考慮に入れた量だけ、複数の周波数帯域のそれぞれのゲインを変化させるようボリューム制御の調整と連動する。本発明のこの形態とこの模範的な応用例において、「一定の」又は「時間不変」は、例えばユーザにより、時間から時間でボリューム制御スケールファクターの設定を変更させること可能とするものである。このような「時間不変」はしばしば「擬似時間不変」、「擬似静止」、「区分的不変」、「区分的静止」、「階段状の時間不変」、及び「階段状の静止」と称される。このようなスケールファクターαが与えられると、目標特定音量は、計測された特定音量をαで乗算して計算することができる。すなわち、
【数３３】
2009532739.tif 000043
【０１２７】
トータル音量Ｌ［ｔ］が全帯域にわたる特定音量Ｎ［ｂ，ｔ］の総和であるため、上記修正でも、トータル音量をファクターαで拡大縮小するが、これは、ボリューム制御の調整のために特定の時間において、同じ知覚スペクトルを知覚するような方法で行われる。言いかえれば、任意の時間において、ボリューム制御の調整を変化させたとしても、知覚音量音量を変化させることになるが、修正されていないオーディオの知覚スペクトルに対する修正されたオーディオの知覚スペクトルは変化しないことを意味する。図１３ａは、女性のスピーチに含まれるオーディオ信号に対して、α＝０．２５のとき、特定の時間「ｔ」での帯域「ｂ」を横断する、複数帯域ゲインＧ［ｂ，ｔ］を示す。比較のために、標準のボリューム制御のように、元のトータル音量を０．２５の倍率で縮小するのに必要な広帯域ゲインも示していおいた（水平な線）。複数帯域ゲインＧ［ｂ，ｔ］は、中間周波数帯域に比べて低周波数帯域と高周波数帯域で増大している。人の耳が低周波数と高周波数で感度が低いことを示す等ラウドネス曲線と整合が取れている。
【０１２８】
図１３ｂは、元のオーディオ信号の特定音量、先行技術のボリューム制御により修正したゲイン修正信号、及び、本発明の特徴により修正した複数帯域ゲイン修正信号を示す。複数帯域ゲイン修正信号の特定音量は、０．２５の倍率で縮小した元の信号の特定音量である。広帯域ゲイン修正信号の特定音量は、元の修正されていない信号の特定音量についてのスペクトルの形を変化させる。この場合、相対的な意味で、特定音量が低周波数及び高周波数の両方で音量を減少させる。ボリュームを下げたときオーディオの曇りと知覚されており、知覚可能な音量領域で導き出されたゲインにより音量を制御する複数帯域修正信号では起こらない問題である。
【０１２９】
従来のボリューム制御に伴う知覚スペクトルバランスのひずみに加え、第２の問題が存在する。音量知覚の特性は、式（１１ａ）〜式（１１ｄ）の音量モデルに反映されているように、どんな周波数においても信号の音量が、信号レベルが聴覚の閾値に近づくより速く減少することである。結果として、弱い信号に対する同じ音量の減衰を伝達するのに必要な電気的減衰は、強い信号に対して必要なものより小さくなる。従来のボリューム制御では、信号レベルとは無関係に一定の減衰を伝達しているため、ボリュームを下げたとき強い信号の割りに弱い信号は「弱くなり」すぎる。多くの場合、これは、オーディオの詳細が失われてしまう結果となる。反響のある部屋でカスタネットの録音を考えてみる。このような録音において、カスタネットの「打撃」は、残響エコーに比べて非常に大きな音であるが、これはその部屋の大きさを伝達するのはこの残響エコである。従来のボリューム制御によりボリュームを下げると、打撃の割に残響エコーは静かになり、ついには、聴覚の閾値以下に消えてしまい、「乾いた」カスタネットの音を残す。ボリューム制御に基づく音量は、強い打撃部分と比べて弱い残響部分を、これらの部分の相対的な音量を一定にするために、強化することにより録音における弱い部分の消滅を防止する。この効果を達成するために、複数帯域ゲインＧ［ｂ，ｔ］は、音量を知覚する人の時間分解能につりあった速さで時間的に変化しなければならない。
【０１３０】
2009532739.tif 000044
【０１３１】
先に説明したように、これらの時定数は、帯域ｂ内での人の知覚の時間積分に比例するように選択することができ、これにより、時間に対して適切なＧ［ｂ，ｔ］の変化をもたらす。この時定数が不適切に選択された場合（速すぎても遅すぎても）、不愉快なアーティファクトが処理されたオーディオ中に持ち込まれることに留意しなければならない。
【０１３２】
［固定イコライゼーションに適した時間不変・周波数変動関数］
いくつかの応用例において、オーディオ固定の知覚イコライゼーションを適用したいことがあり、この場合、目標特定音量は、時間に対して不変であるが周波数に対して変動する、以下のような関係のスケールファクターΘ［ｂ］を適用することにより計算することができる。
【数３４】
2009532739.tif 000045
【０１３３】
2009532739.tif 000046
【０１３４】
［自動ゲイン制御及びダイナミックレンジ制御に適した周波数不変・時間変動関数］
自動ゲイン制御及びダイナミックレンジ制御（ＡＧＣ及びＤＲＣ）は、オーディオ処理の分野でよく知られている。抽象的な意味で、両方ともある意味でオーディオ信号のレベルを計測し、計測したレベルの関数で表される量で信号を修正する技術である。ＡＧＣの場合、信号は、計測したレベルがユーザが選択した参照レベルに近づくようにゲインを修正したものである。ＤＲＣにより、この信号は、計測した信号のレベルの範囲が変換されて所望の範囲になるようにゲインを修正したものである。例えば、オーディオの静かな部分を大きな音に、大きな音の部分を静かにしてもよい。このようなシステムはRobinson及びGundryにより記載されている（Charles  Robinson及びKenneth  Gundryの「Dynamic  Range  Control  via  Metadata」107th  Convention  of  the  AES3  Preprint  5028,  September  24-27,  1999,  New
York参照）。従来のＡＧＣ及びＤＲＣの実施においては、ゲイン修正を行うために、平滑化されたピークとか振幅の２乗平均平方根（ｒｍｓ）のような、オーディオ信号レベルの単純な計測を行っている。このような単純な計測では、オーディオの知覚音量をある程度まで関連付けることができるが、本発明の特徴によれば、音響心理学的モデルに基づく音量を表す指標によるゲイン修正を行うことにより、もっと知覚的に該当するＡＧＣ及びＤＲＣを行うことを可能とする。さらに、多くの従来のＡＧＣ及びＤＲＣシステムでは、ゲイン修正を広帯域ゲインに適用するので、処理されたオーディオに先に説明した音色（スペクトル）の歪みを招く。一方、本発明の特徴によれば、このような歪みを減少又は最小限にするような方法で特定音量を整形するために複数帯域ゲインを用いる。
【０１３５】
本発明の特徴を採用するＡＧＣ及びＤＲＣの応用例は、入力広帯域音量Ｌｉ［ｔ］を所望の出力広帯域音量Ｌｏ［ｔ］に変換又はマップする関数により特徴付けられ、音量は、ソーンのような知覚可能な音量単位により計測される。入力広帯域音量Ｌｉ［ｔ］は、入力オーディオ信号の特定音量Ｎ［ｂ，ｔ］の関数である。これは、入力オーディオ信号のトータル音量と同じとすることができるが、このオーディオ信号のトータル音量の時間平滑化したものとしてもよい。
【０１３６】
図１４ａと図１４ｂは、ＡＧＣ及びＤＲＣに一般的なマッピング関数の例を示す。Ｌｏ［ｔ］がＬｉ［ｔ］の関数となるようなマッピングが与えられると、目標特定音量は以下のように計算され、
【数３５】
2009532739.tif 000047
【０１３７】
2009532739.tif 000048
【０１３８】
ＡＧＣと比較して、ＤＲＣシステムは、信号音量の短時間変化に反応し、従って、Ｌｉ［ｔ］は簡単にＬ［ｔ］と等しくすることができる。その結果、特定音量の拡大縮小は、Ｌｏ［ｔ］／Ｌｉ［ｔ］で与えられ、急速に変動することがあり、処理されたオーディオの好ましくないアーティファクトを導くことがある。典型的なアーティファクトは、スペクトルの他の関係のない部分による周波数スペクトルの部分の可聴な変調である。例えば、古典音楽を選択した場合は、持続した弦楽器の音色による高周波数領域が含まれる一方、低周波数には、大きなティンパニーの響きが含まれるであろう。ティンパニーを叩いたときはいつも、全体音量Ｌｉ［ｔ］は増大し、ＤＲＣシステムは、全部の特定音量を減衰させる。弦楽器は、ティンパニーと共に、音量を下げられたり上げられたりして聞こえる。このようなスペクトルの相互増減（ｃｒｏｓｓ  ｐｕｍｐｉｎｇ）は、従来の広帯域ＤＲＣシステムでも問題であり、一般的な解決策は、異なった周波数帯域に独立にＤＲＣを適用することである。ここに開示したシステムは、フィルターバンクと知覚可能な音量モデルを採用する特定音量を計算することにより本質的に複数帯域であり、従って、本発明の特徴により複数帯域において、ＤＲＣシステムを修正することは、比較的直接的であり、次に述べるとおりである。
【０１３９】
［ダイナミックレンジ制御に適した周波数変動・時間変動関数］
ＤＲＣシステムは、帯域ｂとは無関係に入力音量及び出力音量を変化させることで、複数帯域又は周波数変動するような方法で動作するような拡張ができる。これらの複数帯域音量値は、Ｌｉ［ｂ，ｔ］及びＬｏ［ｂ，ｔ］と称され、目標特定音量は下式で与えられ、
【数３６】
2009532739.tif 000049
【０１４０】
ここで、Ｌｏ［ｂ，ｔ］は、図１４ｂに示すようにＬｉ［ｂ，ｔ］から計算されるが、各帯域ｂとは独立である。入力複数帯域音量Ｌｉ［ｂ，ｔ］は、入力オーディオ信号の特定音量Ｎ［ｂ，ｔ］の関数である。これは、入力オーディオ信号の特定音量と同じかもしれないが、このオーディオ信号の特定音量の時間的に平滑化したもの及び／又は周波数的に平滑化したものとすることもできる。
【０１４１】
Ｌｉ［ｂ，ｔ］の最も直接的な計算方法は、それを特定音量Ｎ［ｂ，ｔ］と等しく設定することである。この場合、見出し「自動ゲイン制御及びダイナミックレンジ制御に適した周波数不変・時間変動関数」で上述したような、すべての帯域で出力音量に対する入力音量を同じ割合にするものではなく、知覚可能な音量のモデルの聴覚フィルターバンクにおけるすべての帯域で、ＤＲＣは独立に実行される。４０帯域を採用する実際の実施の形態において、周波数軸に沿うこれらの帯域の間隔は、正確な音量を表す指標を提供するために比較的細かい。しかしながら、ＤＲＣスケールファクターを独立に各帯域に適用することは、処理したオーディオのサウンドを「引き裂く」ことになるかもしれない。この問題を避けるために、１つの帯域から次の帯域に適用されるＤＲＣの量がが急激に変化しないように、特定音量Ｎ［ｂ，ｔ］を平滑化することにより、Ｌｉ［ｂ，ｔ］の計算をすることを選択してもよい。これは、帯域平滑化フィルターＱ（ｂ）を定義し、一般的な畳み込み和に従いすべての帯域を横断して特定音量を平滑化することにより実行することができる。
【数３７】
2009532739.tif 000050
【０１４２】
ここで、Ｎ［ｃ，ｔ］は、オーディオ信号の特定音量であり、Ｑ（ｂ−ｃ）は、平滑フィルターの帯域シフトした応答である。図１５は、このような帯域平滑フィルターの一例を示す。
【０１４３】
Ｌｏ［ｂ，ｔ］の関数としてＬｉ［ｂ，ｔ］の計算をするＤＲＣ関数が各帯域で固定されている場合、特定音量Ｎ［ｂ，ｔ］の各低域で受けた変化のタイプは、信号の全体的な音量が同じであっても、処理されるオーディオのスペクトルにより変化する。例えば、低音域が大きく高音域の小さいオーディオ信号では、低音域がカットされ高音域は強められる。低音域が小さく高音域の大きい信号では、逆のことが起こる。究極的な効果は、オーディオの、音色又は知覚スペクトルにおける変化であり、これは、特定の応用例において好ましいことであろう。
【０１４４】
しかし、オーディオの平均知覚スペクトルを修正することなしに複数帯域のＤＲＣを実行するかもしれない。帯域間で独立に動作する修正の短期間変動を許容する一方、各帯域での平均修正を概略一定にしたいかもしれない。好ましい効果は、各帯域におけるＤＲＣの平均的振る舞いを、基準となる振る舞いと同じにすることにより達成することができる。この基準となる振る舞いは、広帯域入力音量Ｌｉ［ｔ］に対する好ましいＤＲＣとして選択することができる。関数Ｌｏ［ｔ］＝ＤＲＣを、広帯域音量へのマッピングを行う所望のＤＲＣを表すようにする。
【０１４５】
2009532739.tif 000051
【数３８】
2009532739.tif 000052
【０１４６】
複数帯域の入力音量は、広帯域入力音量と同じ平均範囲になるよう、最初に拡大縮小される。ＤＲＣ関数は、広帯域音量を次に適用するように設計される。最後に、その結果が複数帯域音量の平均範囲に戻るよう拡大縮小される。複数帯域のＤＲＣのこのような公式化により、スペクトルの増減を減らすことの利益が保持される一方、同時にオーディオの平均知覚スペクトルが保持される。
【０１４７】
［ダイナミックイコライゼーションに適した周波数変動・時間変動関数］
本発明の特徴の他の応用例は、オーディオの元のダイナミックレンジをなお保存したまま、オーディオの時間に対して変動する知覚スペクトルを目標となる時間に対して不変の知覚スペクトルに意図的に変換するものである。この処理をダイナミックイコライゼーション（ＤＥＱ）と称することができる。従来の静的なイコライゼーションでは、そのスペクトルを変化させるためにオーディオに単純な固定フィルターを適用している。例えば、固定の低音域の又は高音域の増強を適用することができる。このような処理は、オーディオの現在のスペクトル量を考慮に入れることができず、従って、信号によっては、すなわち、相対的に大きな低音域の又は高音域をすでに有する信号には不適切となることがある。ＤＥＱにより、信号のスペクトルが計測され、その信号は、計測したスペクトルを本質的に静的な好ましい形に変換するために、ダイナミックに修正される。本発明の形態において、このような好ましい形は、フィルターバンクの帯域を横断して仕様が定められ、ＥＱ［ｂ］と称される。実際の実施の形態では、計測したスペクトルは、時間横断的に特定音量Ｎ［ｂ，ｔ］を平滑化することにより生成したオーディオの平均化したスペクトルの形で表現すべきである。
【０１４８】
2009532739.tif 000053
【数３９】
2009532739.tif 000054
【０１４９】
2009532739.tif 000055
【数４０】
2009532739.tif 000056
【０１５０】
となり、最終的に、目標特定音量は、
【数４１】
2009532739.tif 000057
【０１５１】
で計算される。ここで、βは、ゼロから１の間のユーザが定めるパラメータであり、適用するＤＥＱの程度を示す。式（２３）を参照すると、β＝０のとき、元の特定音量は修正されず、β＝１のとき、特定音量は、計測したスペクトル形状に対する所望のスペクトル形状の割合で拡大縮小されることに留意すべきである。
【０１５２】
2009532739.tif 000058
【０１５３】
図１６は、分析フィルターバンク１００から合成フィルターバンク１１０までの複数帯域を表すために単線のみで示した、図７を簡単化したものである。図１７の例でもまた、上述したような、ダイナミックイコライゼーションに従い機能又は装置１０４で計測された特定音量を修正する、ダイナミックＥＱ特定音量（ＳＬ）の修正５０５を提供する。
【０１５４】
［処理の統合］
ボリューム制御（ＶＣ）、ＡＧＣ、ＤＲＣ、及びＤＥＱを含めて、先に説明したすべての処理を１つのシステムに統合することができる。これらの処理のそれぞれは、特定音量の拡大縮小として表現することができるので、これらは以下のように簡単に統合できる。
【数４２】
2009532739.tif 000059
【０１５５】
ここでΞ＊［ｂ，ｔ］は、処理「＊」に関するスケールファクターを表す。次いで、１セットのゲインＧ［ｂ，ｔ］を、統合した処理を表す目標特定音量のために計算する。
【０１５６】
場合によっては、音量修正処理の１つ又はその結合におけるスケールファクターは、時間に対して急激に変動することがあり、結果生じた処理されたオーディオにアーティファクトを生成することがある。したがって、これらのスケールファクターの一部は平滑化することが望ましい。一般に、ＶＣ及びＤＥＱからのスケールファクターは時間に対して滑らかに変動するが、ＡＧＣ及びＤＲＣを統合したもののスケールファクターを平滑化することは必要であろう。この統合したもののスケールファクターを、
【数４３】
2009532739.tif 000060
【０１５７】
で表す。平滑化の背後にある基本的な概念は、統合されたスケールファクターは特定音量が増加したときすばやく応答すべきであり、特定音量が減少したとき、このスケールファクターはより強く平滑化すべきであるということである。この概念は、オーディオ圧縮器の設計における、よく知られたファーストアタック及びスローリリースを用いる慣例に相当するものである。スケールファクターを平滑化する適切な時定数は、特定音量の帯域で平滑化したものを時間で平滑化することで計算することができる。最初に特定音量の帯域で平滑化したものは、
【数４４】
2009532739.tif 000061
【０１５８】
で計算される。ここで、Ｎ［ｃ，ｔ］は、オーディオ信号の特定音量であり、Ｑ（ｂ−ｃ）は、上記式（１９）に示したような平滑化フィルターの帯域シフトさせた応答である。
【０１５９】
帯域で平滑化した特定音量の時間で平滑化したものは、
【数４５】
2009532739.tif 000062
【０１６０】
で計算される。ここで、帯域依存平滑化係数λ［ｂ，ｔ］は、
【数４６】
2009532739.tif 000063
【０１６１】
で与えられる。
【０１６２】
平滑化した統合されたスケールファクターは、
【数４７】
2009532739.tif 000064
【０１６３】
で計算され、ここでλＭ［ｂ，ｔ］は、λ［ｂ，ｔ］の帯域で平滑化したものである。すなわち、
【数４８】
2009532739.tif 000065
【０１６４】
平滑化係数を帯域で平滑化することは、時間平滑化したスケールファクターを帯域間で急激に変化することを防止する。ここで説明した、スケールファクターを時間及び帯域で平滑化することは、耳障りな知覚アーティファクトを少ししか含まないようにするという結果をもたらす。
【０１６５】
［騒音補償］
多くのオーディオ再生環境において、リスナーが聞きたいオーディオに干渉する暗騒音が存在する。例えば、移動中の乗用車中のリスナーは、装備されているステレオシステムで音楽を再生することができ、エンジンや道路からの騒音によりその音楽の知覚を大きく変えてしまうことがある。特に、騒音のエネルギーが音楽のエネルギーに比べて顕著であるスペクトル部分において、その音楽の知覚音量が減少する。その騒音のレベルが十分大きい場合は、その音楽は完全にマスクされてしまう。
【０１６６】
2009532739.tif 000066
【０１６７】
この効果を達成するために、上記の、MooreとGlasbergが定義したように、部分音量の概念を用いることができる。騒音の計測が単独ででき、オーディオの測定が単独でできると仮定する。ＥＮ［ｂ，ｔ］が騒音からのエキサイテーションを表し、ＥＡ［ｂ，ｔ］がオーディオからのエキサイテーションを表すものとする。結合したオーディオの特定音量と騒音は、
【数４９】
2009532739.tif 000067
【０１６８】
で与えられ、ここで、Ψ｛・｝は、エキサイテーションから特定音量へ変換する非線形変換を表す。リスナーの聴覚は、オーディオの部分的特定音量と騒音の部分的特定音量との間で結合した特定音量を、結合した特定音量を保持したままで区分するとみなすことができる。すなわち、
【数５０】
2009532739.tif 000068
【０１６９】
オーディオの部分的特定音量、ＮＡ［ｂ，ｔ］は、制御したい値であり、この値について解く必要がある。騒音の部分的特定音量は、
【数５１】
2009532739.tif 000069
【０１７０】
のように近似される。ここで、ＥＴＮ［ｂ，ｔ］は、騒音が存在している状態での、マスクされる閾値であり、ＥＴＱ［ｂ］は、帯域ｂでの静音となる聴覚の閾値であり、κはゼロから１の間の指数である。式（３１）〜（３３）を統合して、オーディオの部分的特定音量の表現に到達する。
【数５２】
2009532739.tif 000070
【０１７１】
オーディオのエキサイテーションが騒音のマスクされる閾値と等しいとき（ＥＡ［ｂ，ｔ］＝ＥＴＮ［ｂ，ｔ］）、オーディオの部分的特定音量が、静音となる閾値での信号の音量と等しくなり、所望の出力となる。オーディオのエキサイテーションが騒音のエキサイテーションより非常に大きいとき、式（３４）のが消滅し、オーディオの特定音量が騒音が無い場合の音量にほぼ等しくなる。言い換えると、オーディオは騒音よりずっと大きくなるので、騒音はオーディオによりマスクされる。指数κは、信号対騒音の比の関数としての騒音中のトーンの音量のデータによく釣り合うように経験的に選択する。MooreとGlasbergは、κ＝０．３が適当であることを見つけている。騒音がマスクされる閾値は、騒音自身のエキサイテーションの関数として近似することができる。すなわち、
【数５３】
2009532739.tif 000071
【０１７２】
ここで、Κ［ｂ］は、低い周波数帯域で増大する定数である。従って、式（３４）で与えられるオーディオの部分的特定音量は、オーディオのエキサイテーションと騒音のエキサイテーションの関数として抽象的に表現することができる。すなわち、
【数５４】
2009532739.tif 000072
【０１７３】
修正されたゲインソルバーは、騒音の存在下で処理されたオーディオの部分的特定音量が目標特定音量に等しくなるよう、ゲインＧ［ｂ，ｔ］を計算するために用いられる。すなわち、
【数５５】
2009532739.tif 000073
【０１７４】
図１７は、図７元のゲインソルバー１０６を、上述の騒音補償ゲインソルバー２０６で置き換えたシステムを表す（フィルターバンクの複数帯域を表すブロック間の複数の垂直線は、図を簡単にするために単一の線で置き換えられていることに留意のこと）。加えて、この図は、オーディオ（平滑化１０３から）と目標特定音量（ＳＬの修正１０５から）のエキサイテーションに加えて、新しいゲインソルバー２０６に送られる、騒音エキサイテーションの（ブロック１００，１０１，１０２，及び１０３の動作に対応するような方法で、分析フィルターバンク２００、伝達フィルター２０１、エキサイテーション２０２、及び平滑化２０３により）計測を表す。
【０１７５】
2009532739.tif 000074
【０１７６】
言い換えると、ＳＬの修正では、周波数不変の、オーディオ信号の特定音量を拡大縮小するスケールファクターを提供する。なお、ここではα＝−１である。図１７における構成で、ゲインは、騒音の存在下で処理されたオーディオの知覚音量のスペクトルが騒音が存在しない状況下でのオーディオの知覚音量のスペクトルと等しくなるように、計算される。付加的に、ＶＣ、ＡＧＣ、及びＤＥＱを含む元の関数としての目標特定音量を計算する、先に説明した技術の１つ、又は２つ以上の組み合わせを音量修正システムの騒音補償と併せて用いることができる。
【０１７７】
実際の実施の形態において、オーディオを演奏する環境中又はその近くに置いたマイクロフォンにより、騒音の測定を行うことができる。あるいは、種々の状況で予想される騒音スペクトルを近似する、予め用意した定型書式の騒音エキサイテーションのセットを用いることもできる。例えば、乗用車内の騒音は種々の運転速度で予め分析しておき、速度に対する騒音エキサイテーションのルックアップテーブルとして保存することができる。図１７においてゲインソルバー２０６に送られた騒音エキサイテーションは、次いで、乗用車の速度の変動としてのルックアップテーブルから近似する。
【０１７８】
［特定音量の近似］
開示した発明は、正確な特定音量を表す指標を用いたときに最も効果を発揮する一方、応用例によっては、計算の複雑さを削減するために粗い近似を用いることを必要とするかもしれない。適切な近似により、容認可能な推定及び知覚音量の修正を行うことはそれでも可能である。このような近似は、音量の近くにおけるいくつかの主要な局面で、少なくとも部分的には、保持するよう試みるべきである。第１に、この近似では、周波数と共に音量の知覚感度が変化することを大まかに捕えるであろう。大まかに言えば、近似は、中間周波数と比較して、低周波数と高周波数で感度が低くなる。第２に、信号レベルと共に非線形的な音量の増加を示す。具体的には、特定音量の増加は、聴覚の閾値に近い低レベル信号に対して最も急激であり、その後、信号レベルが増えるにつれて一定の増加に落ち着く。最後に、近似は、一定の信号レベルに対して、トータル音量（周波数を横断して特定音量を積算したもの）が、信号の帯域幅が増えるに従い増えることを意味するような、音量の総和としての特性を呈する。
【０１７９】
所定の音量知覚特性を保持しながら特定音量の計算における複雑さを削減する１つの方法は、帯域が少なく、帯域が臨界帯域比率スケール上で定間隔でないフィルターバンクを用いることである。例えば、先に説明した４０帯域と反対に、線形周波数スケール上に定間隔で帯域を分配した５帯域フィルターバンクを用いることができる。例えばコサイン変調フィルターバンクのような、フィルターバンクを効率的に実施する多くの技術が存在する（P.P  Vaidyanthan、MultiRate  Systems  and  Filter  Banks,  1993  Prentice  Hall参照）。一般例として、各帯域が時間領域のインパルス応答ｈｂ［ｎ］で表現される、Ｂ帯域を持つフィルターバンクを考える。そして、このフィルターバンクがほぼ完全に再構成されると仮定すると、それは、
【数５６】
2009532739.tif 000075
【０１８０】
を意味し、各帯域ｂでの周波数応答は、中央周波数ｆｂと、ヘルツ（Ｈｚ）単位の帯域幅Δｆｂで特徴付けることができる。ＥＲＢ単位の等価的な中央周波数と帯域幅は、
【数５７】
2009532739.tif 000076
【０１８１】
で与えられる。帯域Ｂの数が比較的少ない場合は、各帯域の帯域幅ｅｂは１ＥＲＢより大きくなるであろう。
【０１８２】
2009532739.tif 000077
【数５８】
2009532739.tif 000078
【０１８３】
帯域のエキサイテーションを１／ｅｂで重み付けすることにより、その中に組み込まれたすべての臨界帯域を横断して平等に帯域内のエネルギーを効率的に分配する。あるいは、中央周波数が帯域の中央周波数ｆｂに近い臨界帯域にすべてのエネルギーを割り当てるが、一定にエネルギーを分配することは、現実の世界のオーディオ信号のほとんどに対して良い近似となる。
【０１８４】
2009532739.tif 000079
【数５９】
2009532739.tif 000080
【０１８５】
最後に、それぞれの帯域からゲインで重み付けした各帯域信号を積算することにより、修正した信号ｙ［ｎ］を生成する。すなわち、
【数６０】
2009532739.tif 000081
【０１８６】
簡単な説明のために、上記計算を信号ｘ［ｎ］のサンプル期間ｎについて行ったものを示している。実際には、エキサイテーションは、時間を横切ってかなり低いレートで予めサンプルしておき、この遅くしたレートで、続くすべての音量処理を行うことができる。最後にゲインを適用するときは、これらを帯域信号に適用する前に補間することでアップサンプルすることができる。
【０１８７】
上記は、開示した発明にふさわしい特定音量を近似する１つの例に過ぎない。他の近似も可能であり、本発明はこのようなすべての近似の使用を含むものである。
【０１８８】
［実施形態］
本発明は、ハードウェア又はソフトウェア又は両方を組み合わせたもの（例えば、プログラマブルロジックアレー）で実施することができる。特に記載がない限り、本発明の一部として含まれているアルゴリズムは、特定のコンピュータや他の装置と関連付けられるものではない。特に、種々の汎用機をこの記載に従って書かれたプログラムと共に用いてもよい、あるいは、要求の方法を実行するために、より特化した装置（例えば、集積回路）を構成することが便利かもしれない。このように、本発明は、それぞれ少なくとも１つのプロセッサ、少なくとも１つの記憶システム（揮発性及び非揮発性メモリー及び／又は記憶素子を含む）、少なくとも１つの入力装置又は入力ポート、及び少なくとも１つの出力装置又は出力ポートを具備する、１つ以上のプログラマブルコンピュータシステム上で実行される１つ以上のコンピュータプログラムにより実現することができる。ここに記載した機能を遂行し、出力情報を出力させるために入力データにプログラムコードを適用する。この出力情報は、公知の方法で、１以上の出力装置に適用される。
【０１８９】
このようなプログラムの各々は、コンピュータシステムとの通信のために、必要とされるどんなコンピュータ言語（機械語、アセンブリ、又は、高級な、手続言語、論理型言語、又は、オブジェクト指向言語を含む）ででも実現することができる。いずれにせよ、言語はコンパイル言語であってもインタープリタ言語であってもよい。
【０１９０】
このようなコンピュータプログラムの各々は、ここに記載の手順を実行するために、コンピュータにより記憶媒体又は記憶装置を読み込んだとき、コンピュータを設定し動作させるための、汎用プログラマブルコンピュータ又は専用プログラマブルコンピュータにより、読み込み可能な記憶媒体又は記憶装置（例えば、半導体メモリー又は半導体媒体、又は磁気又は光学媒体）に保存又はダウンロードすることが好ましい。本発明のシステムはまた、コンピュータプログラムにより構成されるコンピュータにより読み込み可能な記憶媒体として実行することを考えることもできる。ここで、この記憶媒体は、コンピュータシステムを、ここに記載した機能を実行するために、具体的にあらかじめ定めた方法で動作させる。
【０１９１】
本発明の多くの実施の形態について記載した。しかしながら、本発明の精神と技術範囲を逸脱することなく多くの修正を加えることができることは明らかであろう。例えば、ここに記載したステップのいくつかの順序は独立であり、従って、記載とは異なる順序で実行することができる。
【図面の簡単な説明】
【０１９２】
【図１】本発明の特徴によるフィードフォワードの実施例を図示した機能ブロック図である。
【図２】本発明の特徴によるフィードバックの実施例を図示した機能ブロック図である。
【図３】本発明の特徴によるフィードフォワード／フィードバック・ハイブリッドの実施例を図示した機能ブロック図である。
【図４】本発明の特徴によるもう１つのフィードフォワード／フィードバック・ハイブリッドの実施例を図示した機能ブロック図である。
【図５】フィードフォワード構成、フィードバック構成、及びフィードフォワード／フィードバック・ハイブリッド構成のうちの１つにより決定されるような修正されていないオーディオ信号と修正パラメータを、例えば、時間的又は空間的に分離した装置又は処理に保存又は伝送することができるような方法を図示した機能ブロック図である。
【図６】フィードフォワード構成、フィードバック構成、及びフィードフォワード／フィードバック・ハイブリッド構成のうちの１つにより決定されるような修正されていないオーディオ信号と、目標特定音量又はそれを表現するものを、例えば、時間的又は空間的に分離した装置又は処理に保存又は伝送することができるような方法を図示した機能ブロック図である。
【図７】本発明の特徴の概要を示す概略機能ブロックダイアグラム又はフローチャートである。
【図８】本発明の実施の形態において伝達フィルターとして適当な線形フィルターＰ（ｚ）の理想化された特徴的応答であり、垂直軸はデシベル（ｄＢ）単位の減衰であり水平軸は底が１０の対数で示したヘルツ（Ｈｚ）単位の周波数である。
【図９】ＥＲＢ周波数スケール（垂直軸）とヘルツ（Ｈｚ）単位の周波数（水平軸）との関係を示す。
【図１０】ＥＲＢスケール上に臨界帯域を近似させた理想化された聴覚フィルター特徴的応答である。水平軸のスケールは、ヘルツ（Ｈｚ）単位の周波数であり、垂直軸のスケールは、デシベル（ｄＢ）単位のレベルである。
【図１１】ＩＳＯ２２６の等価ラウドネス曲線を示す。水平軸のスケールは、ヘルツ（Ｈｚ）単位の周波数であり（底が１０の対数スケール）、垂直軸のスケールは、デシベル単位の音圧レベルである。
【図１２】伝達フィルターＰ（ｚ）により正規化されたＩＳＯ２２６の等価ラウドネス曲線を示す。水平軸のスケールは、ヘルツ（Ｈｚ）単位の周波数であり（底が１０の対数スケール）、垂直軸のスケールは、デシベル単位の音圧レベルである。
【図１３ａ】女性のスピーチのセグメントに０．２５の倍率で音量を縮小する、広帯域ゲイン及び複数帯域ゲインの理想化されたチャートである。水平軸のスケールは、ＥＲＢ帯域であり、垂直軸のスケールは、デシベル単位の相対ゲインである。
【図１３ｂ】それぞれ元の信号の特定音量、広帯域ゲインで修正された信号の特定音量、及び複数帯域ゲインで修正された信号の特定音量を示す理想化されたチャートである。水平軸のスケールは、ＥＲＢ帯域であり、垂直軸のスケールは特定音量（ソーン／ＥＲＢ）である。
【図１４ａ】一般的なＡＧＣに対するＬｉ［ｔ］の関数としてのＬｏ［ｔ］を示す理想化されたチャートである。水平軸のスケールはｌｏｇ（Ｌｉ［ｔ］）であり、垂直軸のスケールはｌｏｇ（Ｌｏ［ｔ］）である。
【図１４ｂ】一般的なＤＲＣに対するＬｉ［ｔ］の関数としてのＬｏ［ｔ］を示すの理想化されたチャートである。水平軸のスケールはｌｏｇ（Ｌｉ［ｔ］）であり、垂直軸のスケールはｌｏｇ（Ｌｏ［ｔ］）である。
【図１５】複数帯域ＤＲＣに対する一般的な帯域平滑関数を示す理想化されたチャートである。水平軸のスケールは、帯域数であり、垂直軸のスケールはその帯域の出力ゲインである。
【図１６】本発明の特徴の概略を示す概略機能ブロックダイアグラム又は概略フローチャートである。
【図１７】再生環境において騒音補償が含まれる図１に類似の概略機能ブロックダイアグラム又は概略フローチャートである。
【図１】
2009532739.tif 000100
【図２】
2009532739.tif 000101
【図３】
2009532739.tif 000102
【図４】
2009532739.tif 000103
【図５】
2009532739.tif 000104
【図６】
2009532739.tif 000105
【図７】
2009532739.tif 000106
【図８】
2009532739.tif 000107
【図９】
2009532739.tif 000108
【図１０】
2009532739.tif 000109
【図１１】
2009532739.tif 000110
【図１２】
2009532739.tif 000111
【図１３ａ】
2009532739.tif 000112
【図１３ｂ】
2009532739.tif 000113
【図１４ａ】
2009532739.tif 000114
【図１４ｂ】
2009532739.tif 000115
【図１５】
2009532739.tif 000116
【図１６】
2009532739.tif 000117
【図１７】
2009532739.tif 000118
【手続補正書】
【提出日】平成20年12月4日(2008.12.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
オーディオ信号の特定の音量特性を制御する方法であって、
該特定の音量特性は、周波数及び時間の関数としての知覚可能な音量を表す指標である特定音量の近似又は、周波数及び時間の関数としての２次的な干渉信号の存在下で前記信号の知覚可能な音量を表す指標である部分的特定音量の近似のどちらか一方であり、
目標特定音量の近似を取得するステップと、
前記オーディオ信号の特定の音量特性と前記目標特定音量の近似との差を減少させるために、前記オーディオ信号を修正するのに使用可能な、周波数に対して変動する修正パラメータを導き出すステップと、
ａ）前記オーディオ信号の特定の音量特性と前記目標特定音量の近似との間の差を減少させるために、前記修正パラメータを前記オーディオ信号に適用するステップと、
ｂ）前記オーディオ信号の特定の音量特性と前記目標特定音量の近似との間の差を減少させるために、時間的に分離して及び／又は空間的に分離して前記オーディオ信号に適用するための前記修正パラメータと前記オーディオ信号を伝達又は保存するステップと、
を具備することを特徴とする方法。
【請求項２】
オーディオ信号の特定の音量特性を制御する方法であって、
該特定の音量特性は、周波数及び時間の関数としての知覚可能な音量を表す指標である特定音量の近似又は、周波数及び時間の関数としての２次的な干渉信号の存在下で前記信号の知覚可能な音量を表す指標である部分的特定音量の近似のどちらか一方であり、
前記オーディオ信号及び
ａ）前記オーディオ信号を修正するための周波数に対して変動する、目標特定音量の近似から導き出された修正パラメータ、又は、
ｂ）目標特定音量の近似又は、該目標特定音量の近似を表すもの、
を伝達経路から受け取るか又は、保存媒体から再生するステップと、
前記オーディオ信号の特定の音量特性と前記目標特定音量の近似との差を減少させるために、ａ）前記受け取った修正パラメータ、又は、ｂ）目標特定音量の近似又はその近似を表すものから導き出した修正パラメータに応答して、前記オーディオ信号を修正するステップと、
を具備することを特徴とする方法。
【請求項３】
前記目標特定音量の近似は、前記オーディオ信号の関数ではないことを特徴とする請求項１又は請求項２に記載の方法。
【請求項４】
前記修正するステップ又は前記導き出すステップには、この方法の外部の音源から、目標特定音量の近似を受け取るステップが含まれることを特徴とする請求項３に記載の方法。
【請求項５】
前記修正するステップ又は前記導き出すステップには、目標特定音量の近似及び／又は部分的特定音量の近似を直接的に計算する処理が含まれていることを特徴とする請求項３又は請求項４に記載の方法。
【請求項６】
前記修正するステップ又は前記導き出すステップには、目標特定音量の近似及び／又は部分的特定音量の近似を間接的に計算する処理が含まれていることを特徴とする請求項３又は請求項４に記載の方法。
【請求項７】
前記処理は、該処理が本質的に目標特定音量の近似及び／又は部分的特定音量の近似を決定するようなルックアップテーブルを採用することを特徴とする請求項６に記載の方法。
【請求項８】
目標特定音量の近似及び／又は部分的特定音量の近似は、前記処理に採用する閉形式の数学的表現により決定されることを特徴とする請求項６に記載の方法。
【請求項９】
前記目標特定音量の近似は、時間及び周波数に対して不変であることを特徴とする請求項３乃至請求項８のいずれか１項に記載の方法。
【請求項１０】
前記目標特定音量の近似は、時間に対して不変であることを特徴とする請求項３乃至請求項８のいずれか１項に記載の方法。
【請求項１１】
前記目標特定音量の近似は、前記オーディオ信号の関数又は前記オーディオ信号を表す指標であることを特徴とする請求項１又は請求項２に記載の方法。
【請求項１２】
前記オーディオ信号を表す指標は、前記オーディオ信号の特定音量の近似であることを特徴とする請求項１１に記載の方法。
【請求項１３】
前記オーディオ信号の関数又は前記オーディオ信号を表す指標は、前記オーディオ信号又は前記オーディオ信号を表す指標に対する１以上の拡大縮小であることを特徴とする請求項１１又は請求項１２に記載の方法。
【請求項１４】
請求項１乃至請求項１３のいずれか１項に記載の方法のすべてのステップを実行するようにした装置。
【請求項１５】
請求項１乃至請求項１３のいずれか１項に記載の方法のすべてのステップを実行させるための、コンピュータが読み取り可能な媒体に保存したコンピュータプログラム。
【国際調査報告】
2009532739.tif 000119
2009532739.tif 000120
2009532739.tif 000121