(57)【要約】   本発明は、音響心理学的マスキング・モデルに基いた音声信号を強調する方法を提供するものであり、当該方法は、「ミュージカルノイズ」として知られている人為的な処理上のノイズを含む、ノイズ成分を十分に抑制しつつ、音声成分の忠実度を損なうことのない音声強調の機能を有している。【選択図】 図２
2010521715.tif 000002
【特許請求の範囲】
【請求項１】
音声成分とノイズ成分からなるオーディオ信号の音声成分を強調するための方法であって、
オーディオ信号を時間領域から周波数領域の複数のサブバンドに変換するステップと、
オーディオ信号のサブバンドを処理するステップであって、当該ステップには、制御によって個々のサブバンドのゲインを低減することによって調整することが含まれ、この制御は、少なくとも部分的に、個々のサブバンドにおけるオーディオ信号のノイズ成分の振幅を推定することによって行われるステップと、
音声成分が強調されたオーディオ信号を提供するために、処理されたオーディオ信号を周波数領域から時間領域に変換するステップと、
を備えたことを特徴とする方法。
【請求項２】
請求項1に記載の音声成分を強調するための方法であって、
前記制御は、少なくとも部分的に、オーディオ信号の音声成分の振幅の推定値を、音響心理学的マスキング・モデルに適用した結果得られた個々のサブバンドのマスキング・スレッショルドから導きだされることを特徴とする方法。
【請求項３】
請求項2に記載の音声成分を強調するための方法であって、
前記制御が、サブバンドにおけるノイズ成分の振幅の推定値が当該サブバンドのマスキング・スレッショルド以上であるときに、当該サブバンドのゲインを低減するようにすることを特徴とする方法。
【請求項４】
請求項3に記載の音声成分を強調するための方法であって、
前記制御が、ゲインの変化を適用した後のノイズ成分の振幅の推定値がサブバンドにおけるマスキング・スレッショルドと等しいか、それ以下になるようにサブバンドのゲインを低減するようにすることを特徴とする方法。
【請求項５】
請求項3または4に記載の音声成分を強調するための方法であって、
前記ゲインの低減量は、音声の歪みの程度と知覚できるノイズの程度とをバランスさせる重み付け係数に対応させて減らすようにしたことを特徴とする方法。
【請求項６】
請求項5に記載の音声成分を強調するための方法であって、
前記重み付け係数は、選択可能な設計パラメータであることを特徴とする方法。
【請求項７】
請求項1乃至6のいずれかに記載の音声成分を強調するための方法であって、
オーディオ信号の音声成分の振幅の推定値が、隣接する周波数のサブバンドに対して音声成分のエネルギを配分するための広がり関数に適用されることを特徴とする方法。
【請求項８】
請求項1乃至7のいずれかに記載の音声成分を強調するための方法を実行するように設定された装置。
【請求項９】
請求項1乃至7のいずれかに記載の音声成分を強調するための方法をコンピュータに実行させるための、コンピュータ読み取り可能な媒体に記憶されたコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号処理にかかるものである。  更に詳細には、本発明はノイズ環境下における音声の強調およびその明確化にかかるものである。
【背景技術】
【０００２】
我々は、ノイズに溢れた世界で生きている。  外部ノイズはいたるところに存在し、人間の活動に起因して発生すると共に、自然の発生源からもノイズは発生する。  音声による通信を行っているときには、意図した音声信号と同時に外部ノイズが送信されており、受信品質に悪影響を与えている。  この問題は、かかる望まないノイズ成分を取り除いて音声を強調する技術を使うことによって緩和させることができ、鮮明で理解し易い信号を作り出すことが可能となる。
【０００３】
多くの音声強調システムは、種々の順応的なフィルタリング操作に依存したものである。  かかるシステムは、高い信号-ノイズ比(SNR)を有するノイズを含んだ音声信号の時間/周波数(T/F)領域を保存しつつ、低い信号-ノイズ比(SNR)を有するノイズを含んだ音声信号の時間/周波数(T/F)領域を弱めるものである。  従って、ノイズ成分は大幅に低減される一方、音声の本質的な成分は保存される。  通常、かかるフィルタリング操作は、デジタル信号プロセッサ(DSP)チップのような計算手段によってデジタル領域において処理される。
【０００４】
順応的なフィルタリング操作が実行されるサブバンド領域プロセッシングは、好ましい処理方法の一つである。  簡単に言えば、時間領域における不変の音声信号を、離散フーリエ変換(DFT)のようなフィルターバンクを使用することによって種々のサブバンドへ変換する。  続いて、各サブバンドにおける信号は、音声とノイズの既知の統計的な特性に基き、望ましいレベルにまで抑制される。  そして、最後に、強調された音声信号を作り出すために、サブバンド領域における抑制されたノイズ信号は、逆フィルターバンクを使用することによって時間領域に変換される。  そして、この強調された音声信号の音質は、抑制手順の細部に非常に依存するものである。  
典型的な先行技術である、音声を強調するための手順の例を図1に示す。  入力は、アナログ音声信号をデジタル化することによって生成され、入力には明瞭な音声と共にノイズが含まれている。  この改質していないオーディオ信号 y(n)は、フィルターバンク機能を持つフィルターバンク解析器12(Analysis Filterbank)へ送られる。  ここで、n=0, 1, …,∞は時間インデックスである。  そして、フィルターバンク機能部12は、複数のサブバンド信号 Yk(m), k=1, …,K, m=0, 1, …,∞を生成する。  ここで、kはサブバンドの番号、mは各サブバンド信号の時間インデックスである。  サブバンド信号は、フィルターバンク解析器12におけるダウン-サンプリングであるため、y(n)に較べて低いサンプリング・レートとなっている。  抑制規則部、あるいは抑制機能部(Suppression Rule)14では、ノイズ分散推定器によって各サブバンドのノイズレベルが推定される。  推定されたノイズ・レベルに基いて、適切な抑制ゲインgkが決定され、以下の式で示すようにサブバンド信号に適用される。
【０００５】
2010521715.tif 000003
を生成するために、合成フィルターバンクあるいは合成フィルターバンク機能部18(合成フィルターバンク:Synthesis Filterbank)へ送られる。  プレゼンテーションを明瞭にするために、図1は、複数のサブバンド信号(k)の一つにだけ適用する抑制ゲインを発生させ、そしてこれを適用する際の詳細を示している。  
明らかに、音声強調システムの品質は、その抑制方法に強く依存する。  スペクトラル減算法(「Spectral subtraction」: 非特許文献1)、ウェイナー・フィルター(「Weiner filter」: 非特許文献2)、平均二乗誤差最小化短時間振幅スペクトル(「MMSE-STSA」: 非特許文献3)、および平均二乗誤差最小化振幅対数スペクトル(「MMSE-LSA」: 非特許文献4)は、既に提案されている方法である。  抑制規則(Suppression Rule)は、平均２乗誤差(MSE)のような信号の歪のクライテリアという意味においては、音声成分にできるだけ近い出力が得られるように設計されている。 その結果、ノイズ成分のレベルは低減され、音声成分が強くでてくるようになる。  しかし、オリジナルのオーディオ信号から音声信号成分あるいはノイズ信号成分を分離することは極めて難しく、このような最小化法は合理的な統計的モデルを使用して行われる。  その結果、最終的に強調された音声信号の良し悪しは、使用する統計的モデルと、それから導かれる抑制規則にのみ依存することになる。  
そうではあっても、実際にはノイズのない出力を作り出すことは不可能である。  どのような抑制方法をとるにしても、ノイズ信号成分を完全に捕捉し、そしてこれを抑制することは極端に難しいことから、知覚によって認識できる残留ノイズがどうしても存在することになる。  更に、抑制の操作そのものは、その上最終的な音声信号に影響を与えるものであり、逆に音声信号の品質と明瞭さに影響を及ぼしてしまうものである。  一般に、強く減衰させるように抑制規則を設定すると、ノイズの少ない出力を得ることができるが、結果的に得られる音声信号が大きく歪んでしまうことになる。  逆に言えば、適度な減衰が行われるように抑制規則を設定することによって、歪みの少ない音声信号を生成することができるようになるが、適切なレベルまでノイズを低減することについては犠牲を払わねばならない。  かかる相反する事項を最適にバランスさせるために、慎重なトレード・オフを行うことが必要になる。  従来技術としての抑制規則では、かかる問題点を解決したものはなく、最適にバランスさせることは未だ実現されていない。  
多くの音声強調システムに共通するその他の問題点として、「ミュージカルノイズ(musical noise)」(非特許文献1)がある。  この処理上の人為的なノイズは、サブバンド領域におけるフィルタリング操作の過程における副産物である。  残留ノイズの成分は、その振幅において強い変動を示すものであり、もし、十分に抑制しないでおくと、残留ノイズの成分は、ランダムな周波数を持った短くて、バースト性のミュージカルトーンに変換される。
【０００６】
以下に示す非特許文献は、ここで引用することにより、そのまま本明細書に組み入れられるものとする。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】S. F. Boll著 「Suppression of acoustic noise in speech using spectral  subtraction」 IEEE Trans. Acoust., Speech, Signal Processing, vol. 27,   pp. 113-120, Apr. 1979.
【非特許文献２】B. Widrow and S. D. Steans著 「Adaptive Signal Processing」 Englewood  Cliffs, NJ: Prentice Hall, 1985.
【非特許文献３】Y. Ephraim and D. Malah著 「Speech enhancement using a minimum mean square error short time spectral amplitude estimator」 IEEE Trans. Acoust., Speech, Signal Processing, vol. 32, pp. 1109-1121, Dec. 1984.
【非特許文献４】Y. Ephraim and D. Malah著 「Speech enhancement using a minimum mean square error Log-spectral amplitude estimator」 IEEE Trans. Acoust., Speech, Signal Processing, vol. 33, pp. 443-445, Dec. 1985.
【非特許文献５】P. J. Wolfe and S. J. Godsill著 「Efficient alternatives to Ephraim and Malah suppression rule for audio signal enhancement」 EURASIP   Journal on Applied Signal Processing, vol. 2003, Issue 10, Pages 1043-  1051, 2003.
【非特許文献６】R. Martin著 「Spectral subtraction based on minimum statistics」 Proc.        EUSIPCO, 1994, pp. 1182-1185.
【非特許文献７】E. Terhardt著 「Calculating Virtual Pitch」 Hearing Research, pp. 1 55- 182, 1, 1979.
【非特許文献８】ISO/IEC JTC1/SC29/WG11 「Information technology - Coding of moving  pictures and associated audio for digital storage media at up to about 1.5  Mbit/s-Part3」 Audio, IS 11172-3, 1992
【非特許文献９】J. Johnston著 「Transform coding of audio signals using perceptual noise criteria」 IEEE J. Select. Areas Commun., vol. 6, pp. 314-323, Feb.   1988.
【非特許文献１０】S. Gustafsson, P. Jax, P Vary著 「A novel psychoacoustically motivated audio enhancement algorithm preserving background noise  characteristics」  Proceedings of the 1998 IEEE International Conference on Acoustics, Speech, and Signal Processing, 1 998.   ICASSP '98.
【非特許文献１１】Yi Hu, and P. C. Loizou著 「Incorporating a psychoacoustic model in frequency domain speech enhancement」 IEEE Signal Processing Letter, pp. 270-273, vol. 11, no. 2, Feb. 2004.
【非特許文献１２】L. Lin, W. H. Holmes, and E. Ambikairajah著 「Speech denoising using  perceptual modification of Wiener filtering」 Electronics Letter, pp  1486-1487, vol. 38, Nov, 2002.
【発明の概要】
【０００８】
音声とノイズ成分を含んだオーディオ信号の音声信号を強調する。  オーディオ信号は時間領域から周波数領域にある複数のサブバンドに変換される。  オーディオ信号のサブバンドは、制御によって前記サブバンドの一つのゲインを低減することによって調整するという方法により処理される。  この制御は、少なくとも部分的に、サブバンドにおけるオーディオ信号(特に、入力されてくるオーディオ信号サンプル)のノイズ成分の振幅を推定することによって行われる。  最終的には、処理されたオーディオ信号は、強調された音声成分を有するオーディオ信号を提供するために、周波数領域から時間領域へ変換される。  この制御は、少なくとも部部的に、各サブバンドにおけるマスキング・スレッショルドによって行うようにしても良い。  このマスキング・スレッショルドは、オーディオ信号の音声成分の振幅の推定値を音響心理学的マスキング・モデルに適用することによって得られる。  更に、この制御では、サブバンドにおける(入力されてくるオーディオ信号サンプルにおける)ノイズ成分の振幅の推定値がサブバンドのマスキング・スレッショルド以上である場合に、サブバンドのゲインを低減させるようになっている。  また、この制御では、当該ゲインを適用した後に、サブバンドにおける(入力されてくるオーディオ信号サンプルにおける)ノイズ成分の振幅の推定値がサブバンドのマスキング・スレッショルドと同じかそれ以下になるように、サブバンドのゲインを低減させるようになっている。  ゲインの低減量は、音声の歪みの程度と知覚により認識できるノイズの程度をバランスさせる重み付け係数に対応させて減らすようにすることもできる。  この重み付け係数は、選択可能な設計パラメータとすることができる。  音声成分のエネルギを音声成分に近い周波数のサブバンドに分配するために、オーディオ信号の音声成分の振幅の推定値を広がり関数(spreading function)に適用することもできる。
【０００９】
本発明の上述した事項は、ここで説明した方法を実行できるようにした装置あるいは方法によって実行することができる。  コンピュータプログラム、すなわちコンピュータ読み取り可能な媒体に記録されたプログラムは、かかる方法のいずれかをコンピュータに実行させることができる。
【００１０】
本発明の一つの目的は、ノイズ成分を十分に抑制しつつ、音声成分の忠実度を損なうことのない音声強調の機能を提供することである。
【００１１】
また、本発明の更なる目的は、ミュージカルノイズの効果を除去することがでる音声強調の機能を提供することである。
【００１２】
本発明に関する、ここで述べた技術的特徴やその他の技術的特徴、およびその利点については、本明細書の以下の部分および本明細書に添付された特許請求の範囲によって説明されており、これらによって更に明確になるであろう。  この技術的特徴やその利点については、添付した特許請求の範囲において記載した器具やそれらの組合せによって実現できるものである。  更に、この技術的特徴やその利点は、本発明を実際に実施することによって理解でき、あるいは以下に記載する明細書の説明によって明らかにされるであろう。
【図面の簡単な説明】
【００１３】
【図１】図1は、一般的な音声強調の手順に関する機能ブロック図を示したものである。
【図２】図2は、本発明にかかる知覚モデルに基いた音声強調の手順例に関する機能ブロック図を示したものである。
【図３】図3は、図2に示す知覚モデルに基いた音声強調のためのオペレーションを理解するのに役立つフローチャートを示したものである。
【発明を実施するための形態】
【００１４】
アペンディクスAには、本明細書で使用する用語および略字の用語集を示してある。  また、符号とその符号の定義のリストをアペンディクスBに示してある。  これらアペンディクスAおよびBは、本明細書の不可欠な一部を構成するものである。
【００１５】
本発明は、音声強調システムにおけるノイズの低減とそれによって生じる音声の歪みという相反する事項をバランスさせることを課題とするものである。  要約すれば、組み込まれた音声成分を推定し、それによってマスキング・スレッショルドを構築するものである。  組み込まれたノイズ成分も同様に推定され、結果的に抑制ゲインの計算に使用される。  本発明にかかる方法を実施するために、以下のような項目が実行される。
【００１６】
1)  オーディオ信号におけるノイズ成分の振幅の推定
2)  オーディオ信号におけるノイズの分散の推定
3)  オーディオ信号における音声成分の振幅の推定
4)  オーディオ信号における音声の分散の推定
5)  音響心理学的モデル
6)  抑制ゲインの計算
1)から4)の項目を決定するために行われる推定の方法は、本発明にとって重要な意味を持つものではない。
【００１７】
図2に本発明にかかる例示的な手順を示す。  ここで、オーディオ信号は、フィルターバンク機能を持つフィルターバンク解析器22(Analysis Filterbank)へ送られる。  そして、このフィルターバンク解析器22には、複素正弦波を入力するプロトタイプのロー・パスフィルタを調節することによって、複数の周波数領域のサブバンドへ変換する離散フーリエ変換(DFT)のようなものがある。  その結果得られる出力サブバンド信号は、入力信号とサブバンド分析フィルターをたたみ込んだ後、低速度でダウンサンプリングすることによって生成される。  従って、各サブバンドの出力信号は、入力信号の与えられた周波数範囲を表す情報を持った振幅と位相
を有する複素係数のセットとして与えられる。
【００１８】
次に、サブバンド信号は、推定機能を持つ音声成分の振幅推定器24(Speech Amplitude Estimator)、および推定機能を持つノイズ成分の振幅推定器26(Noise Amplitude Estimator)へ送られる。 両者はオリジナルのオーディオ信号の中に組み込まれており、ここでの推定は、先に行われた計算処理と、統計的モデルに依存している。  ここで説明する本発明の実施例では、最小平均二乗誤差(Minimum Mean Square Error: MMSE)の指数推定器(非特許文献 5)を使用することができる。  基本的には、MMSEの指数推定器は、最初に、統計的モデルと変質されていないオーディオ信号に基き、音声およびノイズ成分の各々の確率分布を決定する。  次に、ノイズ成分は、推定誤差の平均二乗を最小化する値になるように決定される。  
音声分散推定器36(Speech Variance Estimation)とノイズ分散推定器38(Noise Variance Estimation)は、本発明を実行するために必要となるリストアップした上記項目の、2)および4)にそれぞれ対応するものとして図2にも示してある。  しかしながら、本発明はこれらの物理量を得るために使用する方法の細部に依存するものではない。  
音響心理学的モデル28(Psychoacoustic model)は、マスカー信号(masker signal)として推定された音声成分を使用することによって、異なった周波数領域におけるサブバンドのマスキング・スレッショルドを計算するために使用される。  マスキング・スレッショルドの特定のレベルは、隣接する周波数帯のサブバンドへマスカー信号(masker signal)のエネルギを分配する分散機能を適用した後に決定される。  
次に、各サブバンドの抑制ゲインは、抑制ゲイン計算器30(Suppression Gain Calculation)によって決定され、抑制ゲイン計算器30では推定されたノイズ成分が計算されたマスキング・スレッショルドと比較される。  実際には、マスキング・スレッショルドのレベルに比べ強いノイズ成分を有するサブバンド信号には強い減衰作用を適用することになる。  この実施例では、各サブバンドに対する抑制ゲインは、マスキング・スレッショルドのレベルまでノイズ成分の振幅を減衰させるのに十分な抑制量となるように決定される。  抑制ゲイン計算器内にノイズ成分推定器を包含させることは、重要なことである。  ノイズ成分推定器がない場合には、ノイズ成分の平均レベルに基づいて抑制ゲインが決定され、そのため「ミュージカルノイズ」として知られている現象に関連した不要なピーク成分を除去し損なうからである。  
次に、抑制ゲインを、音声の歪みの程度と知覚により認識できるノイズの程度をバランスさせ、かつノイズ成分を正確に追跡することができるようにサンプル毎に更新される、重み付け係数に対応させて低減させることもある。  このようにすることによって音声成分を過度に抑制してしまうことを緩和することができ、音声の歪とノイズの抑制という二つの相反する事項の妥協点を実現するのに役立つ。
【００１９】
最後に、抑制ゲインはサブバンド信号に適用される。  抑制ゲインを適用することは、乗算記号32によって象徴的に示されている。  次に、抑制されたサブバンド信号は、合成フィルターバンクあるいは合成フィルターバンク機能部34(合成フィルターバンク:Synthesis Filterbank)へ送られ、時間領域での強調された音声成分が生成される。  一般的なプロセスの全体を表したフローチャートを図3に示す。
【００２０】
ここで説明する種々の実施例において示し、あるいは説明するデバイス、機能、およびプロセスは、各図において説明する方法以外の方法に組み変えることができることは、容易に理解できるであろう。  例えば、コンピュータソフトウェアの命令シーケンスに従って実行する場合に、図2および3に示す機能の全てが、適切なデジタル信号処理ハードウェア内で稼動するマルチスレッド化されたソフトウェアの命令シーケンスによって実行されるが、かかる場合において、各図に示される実施例の種々のデバイスや機能は、ソフトウェアの命令の各部分に相当するものである。
【００２１】
音声成分およびノイズ成分の推定(図3の44, 48参照)
本発明にかかる典型的な音声強調装置に入力される入力信号は、音声成分x(n)とノイズ成分d(n)が線形に重ねられたものと仮定する。
【００２２】
2010521715.tif 000004
ここで、n=0, 1, …,∞は時間インデックスである。  フィルターバンク解析器22(図2)は、入力信号を以下のようにサブバンド領域に変換する (フィルターバンク解析器, k=1,…,K、を使用し、ノイズを含んだ入力信号y(n)からのサブバンド信号 Yk(m)の生成) (図3の42参照)。
【００２３】
2010521715.tif 000005
ここで、mはサブバンド領域における時間インデックスであり、kはサブバンドインデックスであり、Kはサブバンドの全体の個数を示す。  フィルターバンクによる変換のために、通常サブバンド信号は、時間領域における信号よりも低いサンプリングレートを有している。  この典型的な実施例においては、離散フーリエ変換(DFT)を用いた変換フィルターバンクを使用している。  従って、出力サブバンド信号は、複素数として表され、更に以下の式によって表される。
【００２４】
2010521715.tif 000006
ここで、Rk(m), Ak (m), Nk (m)はそれぞれオーディオ信号入力の振幅、音声成分の振幅、およびノイズ成分の振幅であり、
2010521715.tif 000007
はそれぞれの位相を表す。
【００２５】
音声成分およびノイズ成分は、λx(k)とλd(k)の分散をそれぞれ有する無相関のゼロ平均複素ガウス分布と仮定すると、入力オーディオ信号に基づく各サンプル入力の音声成分およびノイズ成分の振幅を推定することが可能となる。  推定した振幅は以下の式で表現される。
【００２６】
2010521715.tif 000008
音声成分の種々の推定器が各文献によって提案されている。  全てを網羅したものではないが、ゲイン関数
2010521715.tif 000009
の利用できる候補を以下に示す。
【００２７】
1.  平均二乗誤差最小化短時間振幅スペクトル(MMSE-STSA)による推定器であって非特許文献3において紹介されているゲイン関数。
【００２８】
2010521715.tif 000010
2.  最小平均二乗誤差(MMSE)スペクトル指数推定器であって非特許文献5において紹介されているゲイン関数。
【００２９】
2010521715.tif 000011
3.  平均二乗誤差最小化対数短時間振幅スペクトル(MMSE log-STSA) による推定器であって非特許文献4において紹介されているゲイン関数。
【００３０】
2010521715.tif 000012
以上の式において、以下の定義が適用される。
【００３１】
2010521715.tif 000013
それぞれ、演繹的および帰納的な信号-ノイズ比(SNR)として解釈されるものである。    言い換えれば、演繹的な信号-ノイズ比(SNR)とは、ノイズの分散に対する推定した(実際には未知のものであるが)音声の分散(ここでは、「演繹的な」と呼ぶ)の比を意味する。  帰納的な信号-ノイズ比(SNR)とは、ノイズの分散に対する実際に観測した信号の振幅の二乗(ここでは、「帰納的な」と呼ぶ)の比を意味する。
【００３２】
このモデルの構成において、上述した音声成分の推定器は、ゲイン関数の中の
2010521715.tif 000014
入力であるオーディオサンプル中のノイズ成分を推定するために使用される。
【００３３】
そして、音声成分の推定器は、以下の式で表される。
【００３４】
2010521715.tif 000015
他の推定器を使用することは可能であるが、本実施例においては、
2010521715.tif 000016
を推定するために、最小平均二乗誤差(MMSE)スペクトル指数推定器を使用している。
【００３５】
音声分散およびノイズ分散の推定(図2の36, 38参照)
上述したゲイン関数を計算するために、サブバンド入力信号Ykから、分散
2010521715.tif 000017
このことについては、図2(音声分散の推定36とノイズ分散の推定38)において説明している。 
2010521715.tif 000018
2010521715.tif 000019
2010521715.tif 000020
ここでμは、0<μ<1であり、予め選択される定数である。
【００３６】
上述した音声成分とノイズ成分の振幅の推定方法は、単に一つの例として示したものである。  適用分野によっては、もっと単純なものやもっと精緻なものを使用するようにしてもよい。  ノイズ振幅をよりよく推定するために、複数のマイクロフォンの入力を使用するようにしても良い。
【００３７】
マスキング・スレッショルドの計算(図3の46参照)
音声成分の振幅を推定できると、それに関連するマスキング・スレッショルドを、音響心理学的モデルを使って計算することができる。  この方法を示すために、マスカー信号(masker signal)は、各サブバンドの中心周波数に位置する澄んだ音調信号であって、
2010521715.tif 000021
の振幅を有するものと仮定する。  このように単純化することによって、各サブバンドに対するマスキング・スレッショルドmkを計算する以下の手順を導きだすことができる。
【００３８】
1.  音声の指数は、以下の式によって音圧レベル(SPL)領域に変換される。
【００３９】
2010521715.tif 000022
ここで、指数の正規化項PNは、適切なプレイバック・ボリュームを仮定することによって選択されるものである。
【００４０】
2.  マスキング・スレッショルドは、個々のマスキングから計算される。
【００４１】
2010521715.tif 000023
ここで、fjはサブバンドjの中心周波数をHzとして表したものである。  また、Z(f)は、バルク(Bark)周波数マッピングにおける線形周波数fを示すものであり、以下の式で表される。
【００４２】
2010521715.tif 000024
また、SF(i,j)は、サブバンドjからサブバンドiまでの広がり関数(spreading function)である。  例えば、ISO/IEC MPEG-1オーディオ音響心理学的モデルＩ(非特許文献8参照)において与えられている広がり関数は以下のようになっている。
【００４３】
2010521715.tif 000025
ここで、バルク(Bark)におけるマスキー/マスカー・セパレーション(maskee-masker separation)Δzは、以下の式で与えられる。
【００４４】
2010521715.tif 000026
3.  全体的なマスキング・スレッショルドを計算する。  ここで、以下の式に示すように、全てのマスカーの寄与分が合算されて、各サブバンドk=1,…Kに対する全体レベルとしてのマスキング・スレッショルドが生成される。
【００４５】
2010521715.tif 000027
得られた、マスキング・レベルは更に以下の式によって正規化される。
【００４６】
2010521715.tif 000028
正規化されたスレッショルドは、絶対的なヒアリング・スレッショルド(非特許文献7参照)と結合して、次式に示すように全体的なマスキング・スレッショルドが生成される。
【００４７】
2010521715.tif 000029
ここでTq(k)は、音圧レベル(SPL)の領域におけるサブバンドkの中心周波数における絶対的なヒアリング・スレッショルドである。  そして、最終的に全体的なマスキング・スレッショルドは、次式に示すようにエレクトロニクス領域へ変換される。
【００４８】
2010521715.tif 000030
マスキング・スレッショルドmkは、他の心理学的音響モデルを使用しても作成することができる。  他の方法として、非特許文献9に記載されたものの他、非特許文献8に記載された心理学的音響モデルＩ及び心理学的音響モデルＩＩを使用することもできる。
【００４９】
抑制ゲインの計算(図3の50参照)
各サブバンドに対する抑制ゲインgk, k=1,…Kの値は、最終的な信号におけるノイズ低減の程度および音声の歪みを決定づけることになる。  最適な抑制ゲインを導き出すために、以下の式で定義される評価関数を導入する。
【００５０】
2010521715.tif 000031
この評価関数は、式中に示す二つの部分から構成されている。  「speech distortion」(音声の歪み)と記載された部分は、抑制ゲインgkを適用する前後における音声成分振幅の対数の差である。  「perceptible noise」(知覚できるノイズ)と記載された部分は、マスキング・スレッショルドの対数と、抑制ゲインgkを適用した後における推定したノイズ成分振幅の対数との差である。  ここで、抑制ゲインを適用した後、ノイズ成分の対数がマスキング・スレッショルド以下になると、「perceptible noise」(知覚できるノイズ)の項は消滅することになる。  
評価関数として、以下の式を使用することもできる。
【００５１】
2010521715.tif 000032
式(25)における音声の歪みの項と知覚できるノイズの項の相対的な重要度については、重み付け係数βkによって決定される。  ここで、
2010521715.tif 000033
評価関数を最小化する最適な抑制ゲインは、式(25)を使って以下のように表される。
【００５２】
2010521715.tif 000034
重み付け係数βkに関するCkの微分係数をゼロとおき、二次微分係数を正とすると、以下の式が得られる。  
2010521715.tif 000035
式(28)は以下のように解釈することができる。  すなわち、Gkはβk=0の時に評価関数Ckを最小にする抑制ゲインであって、音声の歪みを考慮しない場合に相当するものである。  そして、Gkは以下の式で表される。
【００５３】
2010521715.tif 000036
2010521715.tif 000037
ここで、それはマスキングされ聞こえなくなる。  言い換えれば、音声の歪みを考慮しない、すなわちβk=0と置く事により、式(25)の「speech distortion」(音声の歪み)の項をゼロに置くと、Gkは、マスキングしていないノイズ成分を聴覚できるスレッショルド点に等しいか、それ以下のレベルに抑制するのに必要な、最適な抑制ゲインとなる。
【００５４】
しかし、音声の歪みを考慮するならば、Gkはもはや最適ではなく、音声の歪みが生じることになる。  このような状態を避けるために、最終的な抑制ゲインgkは、更に指数因子λd(m)によって修正される。  この指数因子λd(m)では、重み付け係数βkが知覚できるノイズの程度に対する音声の歪みの程度をバランスさせるようになっている(式(25)参照のこと)。  重み付け係数βkは音声の強調を行う設計者によって選択することができる。  重み付け係数βkは信号に依存するようにしてもよい。  従って、重み付け係数βkは式(25)の音声の歪みに関係する項とノイズの抑制に関係する項の間の相対的な重要度を定義することになる。  そして、このことは、次に式(29)の「非音声」の抑制ゲインに対する修正の程度を決定することになる。  言い換えれば、重み付け係数βkが大きくなれば、「音声の歪み」が抑制ゲインgkの決定により大きな支配力を及ぼすことになる。
【００５５】
その結果、重み付け係数βkは、強調された信号の最終的な品質を決定づける上で、重要な役割を演ずることになる。  一般的に言って、重み付け係数βkが大きいと音声の歪みは小さくなるが、残留するノイズは大きくなる。  逆に、重み付け係数βkが小さいと、より多くノイズを消去することができるが、音声成分により大きな歪みが生じるようになる。  実際には、重み付け係数βkは必要に応じて調整する必要がある。
【００５６】
一旦、抑制ゲインgkが決まると、強調されたサブバンド信号が以下の式によって得られる。
【００５７】
(以下の式で表される強調されたサブバンド信号を生成させるために、抑制ゲインgkがYk(m)に適用される。:図3の52参照)
2010521715.tif 000038
2010521715.tif 000039
次に、時間インデックスmは、1づつ加えられ(m←m+1:図3の56)、図3に示すプロセスがくり返される。
【００５８】
本発明の実行
本発明は、ハードウェアで、あるいはソフトウェアで、またはこれらを組み合わせることによって実行することができる(例えば、プログラマブル・ロジック回路)。
【００５９】
特に規定しない限り、本発明の一部として使用されるプロセスは、本質的に特定のコンピュータやその他の特定の装置に関係するものではない。  特に、ここで説明した内容に従って書かれたプログラムを使用し、種々の汎用機種のコンピュータを利用することができる。  あるいは、所定の処理ステップを実行するために、もっと特殊な装置(例えば集積回路)を構成することによって、更に便利になる。  従って、本発明は、一つまたは複数のプログラマブルコンピュータシステムに命令を与える一つまたは複数のコンピュータプログラムによって実行することができる。  そして、このプログラマブルコンピュータシステムは、少なくとも一つのプロセッサーと、少なくとも一つのデータ記憶システム(揮発性および非揮発性のメモリ及び/又は記憶エレメントを含む)と、少なくとも一つの入力装置または入力ポート、および少なくとも一つの出力装置または出力ポートを備えている。  プログラムコードは、入力データに適用され、ここで説明した機能を実行し、出力情報を生成する。  この出力情報は、よく知られた方法によって、一つまたは複数の出力装置で出力される。
【００６０】
かかるプログラムは、コンピュータシステムとコミュニケートするために、所望のコンピュータプログラム言語を使用して実行される(コンピュータプログラム言語には、機械語、アッセンブリ、高度なプロシージャー言語や論理言語、あるいはオブジェクト指向のプログラミング言語等が含まれる)。  いずれの場合であっても、言語としては、コンパイラー言語またはインタープリタ型言語とすることができる。
【００６１】
かかるコンピュータプログラムは、好ましくは、一般的なあるいは特定目的のプログラマブルコンピュータによって読み出し可能な記憶媒体または記憶装置(例えば、ソリッドステートメモリまたはソリッドステート媒体、あるいは磁気媒体または光学媒体)に記憶されるか、ダウンロードされる。  そして、ここで説明したプロシージャーを実行するために、記憶媒体または記憶そうここで説明したプロシージャーを実行するために、記憶媒体または記憶装置がコンピュータシステムによって読み取られたときに、コンピュータは設定され、操作されるようになっている。    本発明は、コンピュータプログラムとして設定されたコンピュータ読み取り可能記録媒体として実行するものとして考えることもできる。  そして、このように構成された記憶媒体は、ここで説明した機能を実行するために、特定のそして予め定義された方法で、コンピュータシステムを操作できるようになっている。
【００６２】
本発明の多数にわたる実施例について説明してきたが、本発明の技術的思想と発明の範囲から離れることなく、種々の改良を行うことが可能であることを理解しておく必要がある。  例えば、ここで説明したステップのある部分は、その順番に依存しているものであるが、その順番とは別の順番で実行することも可能である。
【表１】
2010521715.tif 000040
2010521715.tif 000041
【符号の説明】
【００６３】
DFT           離散フーリエ変換(Discrete Fourier Transform)
DSP           デジタル信号プロセッサ(Digital Signal Processing)
MSE           平均２乗誤差(Mean Square Error)
MMSE-STSA     平均二乗誤差最小化短時間振幅スペクトル
(Minimum MSE Short Time Spectral Amplitude)
MMSE-LSA      平均二乗誤差最小化振幅対数スペクトル
(Minimum MSE Log-Spectral Amplitude)
SNR           信号-ノイズ比(Signal to Noise ratio)
SPL           音圧レベル(Sound Pressure Level)
T/F           時間周波数（time/frequency）
【図１】
2010521715.tif 000042
【図２】
2010521715.tif 000043
【図３】
2010521715.tif 000044
【手続補正書】
【提出日】平成21年1月19日(2009.1.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声成分とノイズ成分からなるオーディオ信号の音声成分を強調するための方法であって、
連続した時間インデックスの各段階におけるオーディオ信号を時間領域から周波数領域の複数のサブバンドに変換するステップと、
当該時間インデックスの各段階におけるオーディオ信号のサブバンドを処理するステップであって、当該ステップには、制御によって個々のサブバンドのゲインを低減することによって調整することが含まれ、この制御は、少なくとも部分的に、個々のサブバンドの各々におけるオーディオ信号のノイズ成分の明確な短時間の振幅を特定の時間インデックスに対して推定することによって行われ、当該ノイズ成分の明確な短時間の振幅は、少なくとも部分的に、統計学的モデルと特定の時間インデックスにおけるオーディオ信号に基いているステップと、
音声成分が強調されたオーディオ信号を提供するために、処理されたオーディオ信号を周波数領域から時間領域に変換するステップと、
を備えたことを特徴とする方法。
【請求項２】
請求項1に記載の音声成分を強調するための方法であって、
前記制御は、少なくとも部分的に、オーディオ信号の音声成分の振幅の推定値を、音響心理学的マスキング・モデルに適用した結果得られた個々のサブバンドのマスキング・スレッショルドから導きだされることを特徴とする方法。
【請求項３】
請求項2に記載の音声成分を強調するための方法であって、
前記制御が、サブバンドにおけるノイズ成分の振幅の推定値が当該サブバンドのマスキング・スレッショルド以上であるときに、当該サブバンドのゲインを低減するようにすることを特徴とする方法。
【請求項４】
請求項3に記載の音声成分を強調するための方法であって、
前記制御が、ゲインの変化を適用した後のノイズ成分の振幅の推定値がサブバンドにおけるマスキング・スレッショルドと等しいか、それ以下になるようにサブバンドのゲインを低減するようにすることを特徴とする方法。
【請求項５】
請求項3または4に記載の音声成分を強調するための方法であって、
前記ゲインの低減量は、音声の歪みの程度と知覚できるノイズの程度とをバランスさせる重み付け係数に対応させて減らすようにしたことを特徴とする方法。
【請求項６】
請求項5に記載の音声成分を強調するための方法であって、
前記重み付け係数は、選択可能な設計パラメータであることを特徴とする方法。
【請求項７】
請求項1乃至6のいずれかに記載の音声成分を強調するための方法であって、
オーディオ信号の音声成分の振幅の推定値が、隣接する周波数のサブバンドに対して音声成分のエネルギを配分するための広がり関数に適用されることを特徴とする方法。
【請求項８】
請求項1乃至7のいずれかに記載の音声成分を強調するための方法を実行するように設定された装置。
【請求項９】
請求項1乃至7のいずれかに記載の音声成分を強調するための方法をコンピュータに実行させるための、コンピュータ読み取り可能な媒体に記憶されたコンピュータプログラム。
【手続補正書】
【提出日】平成21年9月16日(2009.9.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声成分とノイズ成分からなるオーディオ信号の音声成分を強調するための方法であって、
連続した時間インデックスの各段階におけるオーディオ信号を時間領域から周波数領域の複数のサブバンドに変換するステップと、
当該時間インデックスの各段階におけるオーディオ信号のサブバンドを処理するステップであって、当該ステップには、制御によって個々のサブバンドのゲインを低減することによって調整することが含まれ、この制御は、少なくとも部分的に、個々のサブバンドの各々におけるオーディオ信号のノイズ成分の振幅を特定の時間インデックスに対して推定することによって行われ、当該推定は、少なくとも部分的に、統計学的モデルと特定の時間インデックスの各々のオーディオ信号に基いているステップと、
音声成分が強調されたオーディオ信号を提供するために、処理されたオーディオ信号を周波数領域から時間領域に変換するステップと、
を備えたことを特徴とする方法。
【請求項２】
請求項1に記載の音声成分を強調するための方法であって、
前記制御は、少なくとも部分的に、オーディオ信号の音声成分の振幅の推定値を、音響心理学的マスキング・モデルに適用した結果得られた個々のサブバンドのマスキング・スレッショルドから導きだされることを特徴とする方法。
【請求項３】
請求項2に記載の音声成分を強調するための方法であって、
前記制御が、サブバンドにおけるノイズ成分の振幅の推定値が当該サブバンドのマスキング・スレッショルド以上であるときに、当該サブバンドのゲインを低減するようにすることを特徴とする方法。
【請求項４】
請求項3に記載の音声成分を強調するための方法であって、
前記制御が、ゲインの変化を適用した後のノイズ成分の振幅の推定値がサブバンドにおけるマスキング・スレッショルドと等しいか、それ以下になるようにサブバンドのゲインを低減するようにすることを特徴とする方法。
【請求項５】
請求項3または4に記載の音声成分を強調するための方法であって、
前記ゲインの低減量は、音声の歪みの程度と知覚できるノイズの程度とをバランスさせる重み付け係数に対応させて減らすようにしたことを特徴とする方法。
【請求項６】
請求項5に記載の音声成分を強調するための方法であって、
前記重み付け係数は、選択可能な設計パラメータであることを特徴とする方法。
【請求項７】
請求項1乃至6のいずれかに記載の音声成分を強調するための方法であって、
オーディオ信号の音声成分の振幅の推定値が、隣接する周波数のサブバンドに対して音声成分のエネルギを配分するための広がり関数に適用されることを特徴とする方法。
【請求項８】
請求項1乃至7のいずれかに記載の音声成分を強調するための方法を実行するように設定された装置。
【請求項９】
請求項1乃至7のいずれかに記載の音声成分を強調するための方法をコンピュータに実行させるための、コンピュータ読み取り可能な媒体に記憶されたコンピュータプログラム。
【国際調査報告】
2010521715.tif 000045
2010521715.tif 000046
2010521715.tif 000047