(57)【要約】【課題】入力音響信号に含まれる非定常的な雑音信号の推定を行って定常的な雑音信号以外にも適用可能な高精度な音声信号区間を推定する方法、及びその装置の提供。【解決手段】音響信号分析手段により、入力信号を一定区間ごとに切り出したフレームごとに音声特徴量を抽出する。音響信号分析手段で抽出された音声特徴量の分布パラメータをパラメータ生成部で生成し、その分布パラメータに対して、雑音の存在しないクリーン音声確率モデルを記憶したクリーン音声記憶部２４のパラメータを加味し、並列非線形カルマンフィルタと並列カルマンスムーザを用いて処理して、雑音モデルパラメータ推定手段１５により雑音信号の確率モデルパラメータを生成する。音声／非音声状態確率比算出手段１６により、雑音モデルパラメータと入力信号とを処理してフレームごとに音声状態確率と非音声状態確率との確率比を算出して、フレームごとに音声／非音声状態を判定する。【選択図】図１
2008058876.tif 000002
【特許請求の範囲】
【請求項１】
音声信号と雑音信号を含む音響信号を入力とし、入力信号において音声信号が存在する時間区間を検出、推定する音声信号区間推定装置であり、
上記入力信号を一定区間ごとに切り出したフレームごとに音声特徴量を抽出する音響信号分析手段と、
上記抽出した音声特徴量の分布パラメータを生成するパラメータ生成部と、
雑音の存在しないクリーン音声確率モデルを記憶したクリーン音声記憶部と、
上記分布パラメータに対し上記クリーン音声確率モデルのパラメータを加味して並列非線形カルマンフィルタと並列カルマンスムーザを用いて処理して、雑音信号の確率モデルパラメータを生成する雑音モデルパラメータ推定手段と、
上記雑音モデルパラメータと上記入力信号とを処理してフレームごとに音声状態確率と非音声状態確率との確率比を算出する音声／非音声状態確率比算出手段と、
上記確率比を入力としてフレームごとに上記入力信号が音声状態に属するか非音声状態に属するかを判定する音声信号区間推定手段と、
を具備することを特徴とする音声信号区間推定装置。
【請求項２】
請求項１に記載の音声信号区間推定装置において、
上記クリーン音声確率モデルは複数の正規分布の混合確率モデル（ＧＭＭ：Gaussian Mixture Model）であり、
上記雑音モデルパラメータ推定手段は、
上記分布パラメータに対し、複数の上記クリーン音声確率モデルパラメータを加味して、過去の時刻から現在の時刻に対して順方向に上記雑音の確率モデルパラメータの逐次生成を上記並列非線形カルマンフィルタにより行う前向き推定部と、上記前向き推定により逐次生成された雑音信号の確率モデルパラメータを、各時刻ごとに上記クリーン音声の正規分布重みに対応して加算する前向き信頼度付与部と、上記前向き推定部及び上記前向き信頼度付与部により逐次生成された雑音信号の確率モデルパラメータについて、上記複数のクリーン音声確率モデルパラメータを加味して、未来の時刻から現在の時刻に対して逆方向に上記雑音信号の確率モデルパラメータを逐次生成する後向き推定部と、上記後向き推定により逐次生成された雑音信号の確率モデルパラメータを、各時刻ごとに上記クリーン音声の正規分布重みに対応して加算する後向き信頼度付与部と、
を具備するものであることを特徴とする音声信号区間推定装置。
【請求項３】
請求項１又は２に記載の音声信号区間推定装置において、
上記音声／非音声識別手段は、上記雑音モデルパラメータと上記入力信号を入力として、音声状態に対する出力確率と非音声状態に対する出力確率を算出する出力確率算出部と、
音声／非音声状態の有限状態機械における状態遷移確率と上記出力確率とから上記音声状態確率と非音声状態確率との比を算出する確率比算出部と、
を具備するものであることを特徴とする音声信号区間推定装置。
【請求項４】
音声信号と雑音信号を含む音響信号である入力信号を一定区間ごとに切り出したフレームごとに音声特徴量を抽出する音響信号分析過程と、
上記音声特徴量の分布パラメータを生成し、上記分布パラメータに対し雑音の存在しないクリーン音声確率モデルのパラメータを加味して並列非線形カルマンフィルタと並列カルマンスムーザを用いて処理して、雑音信号の確率モデルパラメータを生成する雑音モデルパラメータ推定過程と、
上記雑音モデルパラメータと上記入力信号とを処理してフレームごとに音声状態確率と非音声状態確率との確率比を算出する音声／非音声状態確率比算出過程と、
上記確率比を入力として上記フレームごとに上記入力信号が音声状態に属するか非音声状態に属するかを判定する音声信号区間推定過程と、
を含むことを特徴とする音声信号区間推定方法。
【請求項５】
請求項４に記載の音声信号区間推定方法において、
上記雑音モデルパラメータ推定過程は、
上記分布パラメータに対し、複数の上記クリーン音声確率モデルパラメータを加味して、過去の時刻から現在の時刻に対して順方向に上記雑音の確率モデルパラメータの逐次生成を上記並列非線形カルマンフィルタにより行う前向き推定過程と、上記前向き推定過程により逐次生成された雑音信号の確率モデルパラメータを各時刻ごとに上記クリーン音声の正規分布重みに対応して加算する前向き信頼度付与過程と、上記前向き推定過程及び上記前向き信頼度付与過程により逐次生成された雑音信号の確率モデルパラメータについて、上記複数のクリーン音声確率モデルパラメータを加味して、未来の時刻から現在の時刻に対して逆方向に上記雑音信号の確率モデルパラメータを逐次生成する後向き推定過程と、上記後向き推定過程により逐次生成された雑音信号の確率モデルパラメータを各時刻ごとに上記クリーン音声の正規分布重みに対応して加算する後向き信頼度付与過程と、
を含むことを特徴とする音声信号区間推定方法。
【請求項６】
請求項４又は５に記載の音声信号区間推定方法において、
上記音声／非音声状態確率比算出過程は、上記雑音モデルパラメータと上記入力信号を処理して、音声状態に対する出力確率と非音声状態に対する出力確率を算出する出力確率算出過程と、
音声／非音声状態の有限状態機械における状態遷移確率と上記出力確率とから上記音声状態確率と非音声状態確率との比を算出する確率比算出過程と、
を含むことを特徴とする音声信号区間推定方法。
【請求項７】
請求項１乃至３の何れかに記載した各装置としてコンピュータを機能させるための装置プログラム。
【請求項８】
請求項７に記載した何れかのプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号と雑音信号が含まれる音響信号から、上記音声信号が存在する区間の推定を、音声状態確率、非音声状態確率を求めて行う音声信号区間推定方法、及びその装置、そのプログラムとそのプログラムを記憶する記憶媒体に関する。
【背景技術】
【０００２】
音声信号の符号化、雑音信号の抑圧、残響除去、自動音声認識などの音声信号処理技術の多くにおいては、処理対象とする音声信号以外の信号、つまり雑音信号が含まれる音響信号から、処理対象とする音声信号が存在する区間を推定する必要があり、この区間推定の精度がその後の処理の効果にも大きく影響する。よって、あらゆる音声信号処理技術の基礎となる技術であり、早急に解決されるべき問題である。
後掲の非特許文献１は、入力となる音響信号の周波数スペクトル、信号の全帯域のエネルギーおよび帯域分割後の各帯域のエネルギー、信号波形の零交差数、およびそれらの時間微分などの特徴量を利用した音声信号区間推定方法が開示されている。これらの音響特徴を用いた音声信号区間推定方法では、入力される音響信号を２５ｍｓ程度のある一定時間長に分割し、分割された各信号区間で上述の音響特徴を算出し、その値が別途定めた閾値を超える場合には音声区間、そうでなければ非音声区間として判定する。
【０００３】
後掲の非特許文献２は、入力となる音響信号にWiener filter理論に基づく雑音除去を適用し、雑音除去後の信号の全帯域のエネルギーおよび帯域分割後の各帯域のエネルギー、周波数スペクトルの分散値などの特徴量を利用した音声信号区間推定方法が開示されている。これらの音響特徴を用いた音声信号区間推定方法では、入力される音響信号を２５ｍｓ程度のある一定時間長に分割し、分割された各信号区間で上述の音響特徴を算出し、その値が別途定めた閾値を超える場合には音声区間、そうでなければ非音声区間として判定する。
【０００４】
後掲の非特許文献３には、信号の状態遷移を定義した音声信号区間推定方法が開示されている。この方法では、入力となる音響信号が時間経過とともに音声状態、および非音声状態を遷移する信号であると見なす。音声状態、および非音声状態の状態遷移は、入力信号が音声状態に属する確率、非音声状態に属する確率を基準として決定され、音声状態に属する信号のみを出力する。
また、音声信号区間推定の性能を改善させるための技術として、入力となる音響信号に含まれる、雑音信号を正確に推定する技術が必要となる。このような技術において、信号の統計的な特徴が時々刻々と変化する、非定常的な雑音信号の逐次推定技術が極めて重要である。
【０００５】
後掲の非特許文献４は、時系列パラメータの一般的な逐次推定方法であるカルマンフィルタが開示されている。この方法では、過去の時刻のパラメータが現在の時刻のパラメータに与える影響を考慮することにより最適なパラメータ推定結果を得る。
後掲の非特許文献５は、前記カルマンフィルタを発展させたカルマンスムーザが開示されている。この方法では、過去の時刻だけでなく、未来の時刻のパラメータの関係を考慮することにより、より正確なパラメータ推定結果を得る。
【非特許文献１】Benyassine,A.,Shlomot,E.,and Su,H-Y.“ITU-T recommendation G.729 Annex B: A silence compression scheme for use with G.729 optimized for V.70 digital simultaneous voice and data applications,”IEEE Communications Magazine, pp.64-73, September,1997.
【非特許文献２】ETSI ES 202 050 v.1.1.4 “Speech processing,Transmission and Quality aspects(STQ), Advanced Distributed Speech Recognition; Front-end feature extraction algorithm; Compression algorithms,”Nov.2005.
【非特許文献３】Sohn,J.,Kim,N.S.and Sung. W.“A Statistical Model-Based Voice Activity Detection,”IEEE Signal Processing Letters,Vol.6,No.1,pp.1-3,January,1999.
【非特許文献４】Kalman,R.E.“A New Approach to Linear Filtering and Prediction Problems,”Transactions of the ASME-Journal of Basic Engineering,Vol.82,Series D,pp.35-45,1960.
【非特許文献５】片山  徹、応用カルマンフィルタ、第７章、朝倉書店、１９８３
【発明の開示】
【発明が解決しようとする課題】
【０００６】
非特許文献１、非特許文献２、および非特許文献３に記載の技術は、入力音響信号に含まれる雑音信号の特徴が、定常的なものであるという前提のもとで音声信号区間推定を行う技術である。しかし、実環境における雑音信号の多くは非定常的な特徴をもっている。すなわち、雑音信号の統計的な特徴が、時間の経過に伴い変動する。そのため、非特許文献１、非特許文献２、および非特許文献３に記載の技術では、雑音の時間変動に対応できず、高精度に音声信号区間の推定を行うことができない。
非定常的な雑音信号の推定について、非特許文献４、および非特許文献５に記載の技術では、カルマンフィルタ、およびカルマンスムーザを用いて目的信号の逐次推定を行う。前者のカルマンフィルタは時間に対して順方向に推定を行う方法であり、後者のカルマンスムーザはカルマンフィルタの推定結果を時間に対して逆方向に再推定を行う方法である。しかし、これらの逐次推定方法は、各時刻において１つの推定結果のみを出力する。つまり、ある時刻で致命的な誤差が発生した場合、その誤差が以降の時刻の推定結果に影響を与え、誤差の回復が困難となる。
【０００７】
また、非特許文献３に記載の技術は、入力音響信号が音声状態と非音声状態に相互に状態遷移することに着目して、音声信号区間推定を行う技術である。しかし、遷移先の状態の決定は、過去の信号の状態のみに依存し、未来の信号の状態に対する影響を考慮しておらず、信号の正確な状態遷移を表現できない。
それゆえに、本発明の目的は、入力音響信号に含まれる非定常的な雑音信号の推定を行って定常的な雑音信号以外にも適用可能であり、さらに入力音響信号の過去、現在のみでなく、未来の時刻における状態の影響を考慮した、高精度な音声信号区間を推定する方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明による音声信号区間推定装置は、音響信号分析手段により、入力信号を一定区間ごとに切り出したフレームごとに、音声特徴量を抽出する。
雑音モデルパラメータ推定手段により、音響信号分析手段で抽出された音声特徴量の分布パラメータをパラメータ生成部で生成し、その分布パラメータに対して、雑音の存在しないクリーン音声確率モデルのパラメータを加味し、並列非線形カルマンフィルタと並列カルマンスムーザを用いて処理して、雑音信号の確率モデルパラメータを生成する。
音声／非音声状態確率比算出手段により、雑音モデルパラメータと入力信号とを処理してフレームごとに音声状態確率と非音声状態確率との確率比を算出する。
上記確率比に基づきフレームごとに入力信号が音声状態に属するか非音声状態に属するかを音声信号区間推定手段により判定する。
【発明の効果】
【０００９】
上記構成によれば、特に並列カルマンスムーザ処理により未来の時刻における状態の影響も考慮され、またクリーン音声確率モデルのパラメータも加味されて処理されるため、入力信号より音声信号が存在する区間を正確に推定、検出することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照しつつ、本発明の一実施の形態について説明する。なお、以下の説明に用いる図面では、同一の部品には同一の符号を記してある。それらの名称、機能も同一であり、それらについての説明は繰り返さない。
以下の説明において、テキスト中で使用する記号「＾」「〜」等は、本来直後の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直前に記載する。式中においてはこれらの記号は本来の位置に記述している。以下の説明において、ベクトル、および行列については例えば「ベクトルＡ」、「行列Ｂ」等のように直前に「ベクトル」、「行列」等を付与して記載するが、式中ではいずれも太字で記載する。行列に関しては特に断りが無い限り、対角成分のみに要素を有する対角行列を意味するものとする。また、ベクトル、および行列の各要素単位で行われる処理は、特に断りが無い限り、全てのベクトル、および行列の全ての要素に対して適用されるものとする。
【実施例１】
【００１１】
＜音声信号区間推定装置全体の構成＞
図１に本発明による音声信号区間推定装置の実施例１のブロック図を示す。音声１１と雑音１２が重畳された音声が、収音部１３によって収音されて入力信号（音響信号とも称す）Ｓｉｎとして音声信号区間推定装置１０に入力される。
音声信号区間推定に用いる音響特徴量を抽出するための音響信号分析手段１４と、雑音モデルパラメータを推定するための雑音モデルパラメータ推定手段１５と、当該時刻において、音響信号Ｓｉｎが音声状態に属する確率と非音声状態に属する確率の比を求めるための音声状態／非音声状態確率比算出手段１６と、音声状態／非音声状態確率比に基づき当該時刻における音声／非音声識別を行うための音声信号区間推定手段１７とを含む。
【００１２】
収音部１３内のマイクロホン１３ａで収音される音声１１と雑音１２は、Ａ／Ｄコンバータ１３ｂによって、例えば８，０００Ｈｚのサンプリングレートで離散的にサンプリングされて音響信号Ｓｉｎとなり、音響信号分析手段１４に入力される。以下、音声１１を「クリーン音声」と呼ぶ。
音声信号区間推定装置１０は、音響信号Ｓｉｎを受けて、音声区間推定結果１８を出力する。音声区間推定結果１８は、当該時刻の音響信号が音声状態に属すれば１を、非音声状態に属すれば０を取る時系列信号である。音声信号区間推定装置１０は、音声区間推定結果１８の値を音響信号Ｓｉｎにかけ合わせた信号を出力してもよい。すなわち、音声状態に属する時刻の音響信号Ｓｉｎの値は保持され、非音声状態に属する時刻では、信号の値が全て０に置換される。
【００１３】
音響信号分析手段１４は、音響信号Ｓｉｎを時間軸方向に一定時間幅で始点を移動させながら、一定時間長の音響信号Ｓｉｎを次々と切り出す。なお、この一定時間長をフレームという。例えば１６０サンプル点（８，０００Ｈｚ×２０ｍｓ）長の音響信号を、８０サンプル点（８，０００Ｈｚ×１０ｍｓ）ずつ始点を移動させながら切り出す。切り出された音響信号に対して例えば高速フーリエ変換（ＦＦＴ）１４ａおよび、２４次元のメルフィルタバンク１４ｂによる分割を行い、２４次元のメルスペクトルを算出する。つまり、当該時刻のフレームにおける音響信号Ｓｉｎの音響特徴量を抽出して、音響信号分析手段１４の出力とする（図２の２１）。
【００１４】
音響信号分析手段１４の出力である２４次元のメルスペクトル２１は、雑音モデルパラメータ推定手段１５の入力となる。雑音モデルパラメータ推定手段１５では、入力された音響特徴量の分布パラメータをパラメータ生成部１５ａで生成する。その分布パラメータに対して、雑音の存在しないクリーン音声確率モデルのパラメータを加味して並列非線形カルマンフィルタ、および並列カルマンスムーザを用いて処理して、雑音モデルパラメータを推定する。ここでクリーン音声確率モデルは、クリーン音声記憶部２４に記憶されているものが用いられる。また並列とは、複数のパラメータを用いて雑音モデルパラメータを推定することを意味する。
【００１５】
雑音モデル（確率密度関数）は以下のように定義される。ここで、Ｏｔは時刻（フレーム）ｔにおける音響信号ＳｉｎのメルスペクトルＯｋ，ｔ２１を要素に持つベクトル（ｋはメルスペクトルＯｋ，ｔ２１を出力するメルフィルタ番号）、ｐ(Ｏｔ｜Noise)はＯｔの雑音モデルに対する尤度（出力確率）、Ｎｋ，ｔは雑音モデルのパラメータである。
雑音モデルの出力確率は下記式（１）により計算される。
【数１】
2008058876.tif 000003
上記の雑音モデルはＯｔの平均ベクトルを零ベクトルとしたときのガウス分布であり、パラメータＮｋ，ｔは音響信号Ｓｉｎに含まれる雑音信号のメルスペクトルに相当する。従って、雑音モデルパラメータの逐次推定は、音響信号Ｓｉｎのメルスペクトル２１から雑音信号のメルスペクトルを逐次推定することに相当する。パラメータＮｋ，ｔは、雑音モデルパラメータ推定手段１５により推定される。
【００１６】
＜雑音モデルパラメータ推定手段１５の構成＞
雑音モデルパラメータ推定手段１５の構成例を図２に示す。前向き推定部２２と前向き信頼度付与部３２、後向き推定部２９と後向き信頼度付与部３０、クリーン音声記憶部２４と、パラメータ記憶部２５を含む。
クリーン音声記憶部２４には、この例ではクリーン音声信号の混合ガウス分布モデルＧＭＭ（Gaussian Mixture Model）２６が記憶されている。
ＧＭＭ２６は、コンピュータの主記憶上に保持される。ＧＭＭ２６、およびその構成方法は公知の技術であるので、説明を省略する。ＧＭＭ２６は複数の正規分布（たとえば６４個）を含有しており、それぞれの正規分布は、混合重みｗＳ，ｉ、平均μＳ，ｉ，ｋ、分散σＳ，ｉ，ｋをパラメータとして構成され、ｉは各正規分布の番号を示す。ＧＭＭ２６のパラメータ中のｗＳ，ｉ以外は、前向き推定部２２と後向き推定部２９への入力となり、ｗＳ，ｉは前向き信頼度付与部３２と後向き信頼度付与部３０、への入力となる。
パラメータ記憶部２５は、初期雑音モデル推定用バッファ２７と、雑音モデル推定用バッファ２８とを含む。
【００１７】
＜前向き推定部２２と前向き信頼度付与部３２の動作＞
前向き推定部２２と前向き信頼度付与部３２の動作フローを図３に示す。
以下この図３に示す処理を並列非線形カルマンフィルタと呼ぶ。
対数変換処理Ｓ３０１にて、入力信号のメルスペクトルＯｋ，ｔ２１を次式により対数メルスペクトルＯｌｏｇｋ，ｔに変換する。下記の式（２）に示すようにメルスペクトルの自然対数をとることにより、Ｏｋ，ｔ２１の時間変化が滑らかになり、推定性能の改善が得られる。
【００１８】
【数２】
2008058876.tif 000004
次に、フレーム判定処理Ｓ３０２にてｔ＜１０であれば、雑音初期モデル推定用バッファリング処理Ｓ３０３にて初期雑音モデル推定用バッファ２７に、対数メルスペクトルＯｌｏｇｋ，ｔを記憶する。フレーム判定処理Ｓ３０２にてｔ＝１０であれば、雑音初期モデル推定用バッファ読出処理Ｓ３０４にて初期雑音モデル推定用バッファ２７からＯｌｏｇｋ，０，…，Ｏｌｏｇｋ，９を取り出し、初期雑音モデル推定処理Ｓ３０５にて初期雑音モデルの分布パラメータである初期の雑音モデルパラメータ（平均，分散）Ｎｉｎｉｔｋ，σｉｎｉｔＮ，ｋを、以下の式（３）、（４）の計算により推定する。
【００１９】
【数３】
2008058876.tif 000005
また、フレーム判定処理Ｓ３０２にてｔ＞１０であれば、雑音モデル推定用バッファ読出処理Ｓ３０６にて雑音モデル推定用バッファ２８から１時刻前の推定結果＾Ｎｋ，ｔ−１，＾σＮ，ｋ，ｔ−１を取り出す。
パラメータ予測処理Ｓ３０７にて、１時刻前の推定結果より現在の時刻のパラメータを以下のランダムウォーク過程により予測する。つまり、ｔ−１の過去より現在時刻ｔに対して順方向に、パラメータを下記式（５）、（６）により予測する。
【数４】
2008058876.tif 000006
上式において、Ｎｐｒｅｄｋ，ｔ，σｐｒｅｄＮ，ｋ，ｔは時刻ｔにおける予測値、εは小さな値（例えば０．００１）とし、ｔ＝１０の場合は以下の式（７）、（８）により予測処理を行う。
【数５】
2008058876.tif 000007
パラメータ更新処理Ｓ３０８にてパラメータの更新を行う。パラメータの更新には、入力信号の対数メルスペクトルＯｌｏｇｋ，ｔ，パラメータ予測処理Ｓ３０７の予測結果に加え、クリーン音声１１のパラメータを必要とし、これはＧＭＭ２６のパラメータ、μＳ，ｉ，ｋ，σＳ，ｉ，ｋを利用する。ここで、ＧＭＭは複数の異なる正規分布を持ち、複数のパラメータμＳ，ｉ，ｋ，σＳ，ｉ，ｋが存在するため、複数のパラメータそれぞれを用いた並列更新処理を行う。式（９）、（１１）に示す様に、クリーン音声確率モデルの複数のパラメータを用いて、音響信号Ｓｉｎの確率モデルパラメータの平均と分散を求めている。すなわち、ＧＭＭ２６に含まれる正規分布の数と同数の更新結果を得る。更新処理は次式により行う。
【００２０】
【数６】
2008058876.tif 000008
上式において、＾Ｎｉ，ｋ，ｔ，＾σＮ，ｉ，ｋ，ｔは、更新されたパラメータである。
このように、音響信号Ｓｉｎの音響特徴量の分布パラメータに対して、複数のクリーン音声のパラメータμＳ，ｉ，ｋ，σＳ，ｉ，ｋをそれぞれ加味して並列非線形カルマンフィルタ処理を行う。
次に、前向き信頼度付与部３２による前向き信頼度付与処理Ｓ３０９によって、パラメータ更新処理Ｓ３０８で得られた複数のパラメータ更新結果を次式で重み付け平均することにより、前向き推定結果＾Ｎｋ，ｔ，＾σＮ，ｋ，ｔを得る。
【００２１】
【数７】
2008058876.tif 000009
上式において、ＯｌｏｇｔはＯｌｏｇｋ，ｔを要素にもつ２４次元のベクトル、ｙｉ，ｔは式（９）のｙｉ，ｋ，ｔを要素にもつ２４次元のベクトル、σｙ，ｉ，ｔは式（１１）のσｙ，ｉ，ｋ，ｔを対角要素にもつ２４ｘ２４次元の行列、ｐ（Ｏｌｏｇｔ；ｙｉ，ｔ，σｙ，ｉ，ｔ）は、ｙｉ，ｔを平均ベクトル、σｙ，ｉ，ｔを対角共分散行列とする多次元正規分布の尤度（出力確率）であり、ｗＮ，ｉは各推定結果＾Ｎｉ，ｋ，ｔ、および＾σＮ，ｉ，ｋ，ｔに対する重みである。重みｗＮ，ｉは、式（１５）に示されているようにＧＭＭ２６内の混合重みｗＳ，ｉに対応し、且つ全ての〜ｗＮ，ｉの合計が１になるように正規化された値である。したがって、式（１６），（１７）で重み付け平均される。
【００２２】
雑音モデル推定用バッファリング処理Ｓ３１０にて、雑音モデル推定用バッファ２８に当該フレームのＯｌｏｇｋ，ｔ，Ｎｐｒｅｄｋ，ｔ，σｐｒｅｄＮ，ｋ，ｔ，＾Ｎｉ，ｋ，ｔ，＾σＮ，ｉ，ｋ，ｔ，＾Ｎｋ，ｔ，＾σＮ，ｋ，ｔを記憶する。
式（５）、（６）の予測処理、および式（９）〜（１４）の更新処理は、従来の非線形カルマンフィルタであるが、本発明では、ＧＭＭ２６のパラメータを用いて複数のフィルタを構成する並列推定手段と、複数の推定結果を重み付け平均することで信頼度を付与する信頼度付与処理手段とを含んでおり、より正確な雑音モデルのパラメータ推定が実現される。つまり、推定結果を重み付け平均することで、雑音モデルパラメータの推定精度を向上させている。
【００２３】
＜後向き推定部２９と後向き信頼度付与部３０の動作＞
後向き推定部２９と後向き信頼度付与部３０の動作フローを図４に示す。
以下この図４に示す処理を並列カルマンスムーザと呼ぶ。
処理Ｓ４０１にて、ｔ＜１０であれば、処理Ｓ４０２にて変数ｔｂに０を設定して処理を終了し、そうでなければ、処理Ｓ４０３にてｔｂの値を判定する。
処理Ｓ４０３にて、ｔｂの値が後向き推定に要するフレーム数Ｂ（例えばＢ＝５）未満であれば、処理Ｓ４０４にてｔｂの値を１加算して処理を終了し、ｔｂの値がＢ以上であれば、処理Ｓ４０５にて後向き推定用のカウンタｂｗの値にＢを設定する。
雑音モデル推定用バッファ読出処理Ｓ４０６にて、雑音モデル推定用バッファ２８から時刻ｓ＝ｔ−Ｂ＋ｂｗのパラメータＮｐｒｅｄｋ，ｓ，σｐｒｅｄＮ，ｋ，ｓ，時刻ｓ−１のパラメータＯｌｏｇｋ，ｓ−１，＾Ｎｉ，ｋ，ｓ−１，＾σＮ，ｉ，ｋ，ｓ−１を取り出す。ｂｗ＝Ｂ、すなわち時刻ｓ＝ｔの場合は、雑音モデル推定用バッファ２８から＾Ｎｉ，ｋ，ｔ，＾σＮ，ｉ，ｋ，ｔ，＾Ｎｋ，ｔ，＾σＮ，ｋ，ｔを取り出し、〜Ｎｉ，ｋ，ｓ＝＾Ｎｉ，ｋ，ｔ，〜σＮ，ｉ，ｋ，ｓ＝＾σＮ，ｉ，ｋ，ｔ，〜Ｎｋ，ｓ＝〜Ｎｋ，ｔ，〜σＮ，ｋ，ｓ＝＾σＮ，ｋ，ｔと定義する。
【００２４】
ｓ＝ｔで後向き推定を開始し、この例の場合、ｔ−１、からｔ−４まで過去に遡って確率モデルパラメータを算出する。これは、時刻ｔ−４を基準に、ｔ−４を現在時刻とみなせば当該時刻ｓ＝ｔ、つまり未来の時刻ｔから現在の時刻ｔ−４に対して逆方向に上記雑音信号の確率モデルパラメータを逐次生成することになる。
パラメータ平滑処理Ｓ４０７にて、後向き推定を用いて次式によるパラメータの再推定（平滑化）を行う。
【００２５】
【数８】
2008058876.tif 000010
上式において、〜Ｎｉ，ｋ，ｓ−１，〜σＮ，ｉ，ｋ，ｓ−１は、更新されたパラメータである。
次に、後向き信頼度付与処理Ｓ４０８にて、パラメータ平滑処理Ｓ４０７にて得られた複数のパラメータ平滑結果〜Ｎｉ，ｋ，ｓ−１，〜σＮ，ｉ，ｋ，ｓ−１と対応するＧＭＭ２６のパラメータ、μＳ，ｉ，ｋ，σＳ，ｉ，ｋを用いて次式で重み付け平均することにより、後向き推定結果〜Ｎｋ，ｓ−１，〜σＮ，ｋ，ｓ−１を得る。式（２１）、（２３）に示す様に、クリーン音声確率モデルの複数のパラメータを用いて、観測信号の確率モデルパラメータの平均と分散を求めている。
【００２６】
【数９】
2008058876.tif 000011
上式において、〜ｙｉ，ｓ−１は式（２１）の〜ｙｉ，ｋ，ｓ−１を要素にもつ２４次元のベクトル、〜σｙ，ｉ，ｓ−１は式（２３）の〜σｙ，ｉ，ｋ，ｓ−１を対角要素にもつ２４ｘ２４次元の行列、ｐ（Ｏｌｏｇｓ−１；〜ｙｉ，ｓ−１，〜σｙ，ｉ，ｓ−１）は、〜ｙｉ，ｓ−１を平均ベクトル、〜σｙ，ｉ，ｓ−１を対角共分散行列とする多次元正規分布の尤度（出力確率）であり、〜ｗＮ，ｉは各平滑結果〜Ｎｉ，ｋ，ｓ−１、および〜σＮ，ｉ，ｋ，ｓ−１に対する重みである。重み〜ｗＮ，ｉは、式（２４）に示されているようにＧＭＭ２６内の混合重みｗＳ，ｉに対応し、且つ全ての〜ｗＮ，ｉの合計が１になるように正規化された値である。したがって、式（２５），（２６）で重み付け平均される。
【００２７】
このように、前向き推定部２２及び前向き信頼度付与部３２により逐次生成された雑音信号の確率モデルパラメータに対して、後向き推定部２９と後向き信頼度付与部３０において複数のクリーン音声のパラメータをそれぞれ加味して並列カルマンスムーザ処理を行う。
処理Ｓ４０９にて、ｂｗの値を１減算（すなわち時刻ｓの値を１減算）する。
処理Ｓ４１０にて、ｂｗ＞０であれば、処理Ｓ４０６にもどり、そうでなければ、処理を終了する。
雑音モデルパラメータ推定手段１５は、前向き推定部２２（並列非線形カルマンフィルタ）、後向き推定部２９（並列カルマンスムーザ）により得られた雑音モデルパラメータを出力パラメータ３１として出力し、音声／非音声状態確率比算出手段１６への入力とする。
出力パラメータ３１は、当該時刻ｔから過去の時刻ｔ−Ｂにおけるパラメータ〜Ｎｋ，ｔ，…，〜Ｎｋ，ｔ−Ｂおよび、入力信号の対数メルスペクトルＯｌｏｇｋ，ｔ，…，Ｏｌｏｇｋ，ｔ−Ｂにより構成される。
【００２８】
この実施例１は、異なるフィルタパラメータを設定した非線形カルマンフィルタ、およびカルマンスムーザを並列に実行し、複数の推定結果に対して重み付け平均を行い正確な雑音モデルパラメータの推定結果を得る点と、入力音響信号の過去、現在、未来の時刻における状態を考慮した音声状態／非音声状態確率比算出方法、および音声／非音声識別方法の点において、従来の技術と異なる。
以上述べた雑音モデルパラメータ推定手段１５の構成により、入力信号に含まれる雑音信号の統計的性質が時間に伴い変化する非定常雑音であっても、複数の推定結果を重み付け平均することで、雑音信号の確率モデルパラメータの推定精度を向上させることができる。
【００２９】
＜音声状態／非音声状態確率比算出手段１６の構成＞
音声状態／非音声状態確率比算出手段１６は、雑音モデルパラメータ推定手段１５の出力パラメータ３１を受けて、当該フレームの入力信号が音声状態に属する確率（以下、音声状態確率）、非音声状態に属する確率（以下、非音声状態確率）の比である音声状態／非音声状態確率比６５を算出して出力する。
【００３０】
図５の５０は有限状態機械により表現された、音声状態／非音声状態の状態遷移モデルであり、非音声状態Ｈ０５１と、音声状態Ｈ１５２と、各状態への遷移確率ａｍ，ｎ５３〜５６とを含む（ｍは現在属する状態番号、ｎは遷移先の状態番号）。音声状態／非音声状態の状態遷移モデル５０に基づき、音声状態／非音声状態確率比６５を算出する。
添え字の状態番号０は非音声状態を、添え字の状態番号１は音声状態をそれぞれ示し、状態遷移確率ａｍ，ｎ５３〜５６は、ａｍ，０＋ａｍ，１＝１を満たす。
音声状態／非音声状態確率比算出手段１６の構成例を図６に示す。音声状態／非音声状態確率比算出手段１６は、出力確率算出部１６ａと確率比算出部１６ｂと、パラメータ記憶部６２とを含む。
【００３１】
パラメータ記憶部６２は、確率比算出用バッファ６３と、状態遷移確率テーブル６４とを含み、状態遷移確率テーブル６４は、非音声状態Ｈ０５１、音声状態Ｈ１５２における同一状態間、異なる状態間の遷移確率ａ０，０、ａ０，１、ａ１，１、ａ１，０５３〜５６の値が記憶されている。
当該フレームｔにおける音響信号の状態をｑｔと定義すると、音声状態確率と非音声状態確率の比Ｌ(ｔ)は次式により得られる。
【００３２】
【数１０】
2008058876.tif 000012
上式は、ベイズの定理により次式のように展開される。
【数１１】
2008058876.tif 000013
上式において、確率ｐ(Ｈ０)，ｐ(Ｈ１)はそれぞれ次式により与えられる。
【数１２】
2008058876.tif 000014
確率ｐ(Ｏｔ，ｑｔ＝Ｈｎ)は、前向き確率αｎ，ｔ、および後向き確率βｎ，ｔを用いて次式により与えられ、
【数１３】
2008058876.tif 000015
音声状態／非音状態確率比Ｌ(ｔ)、前向き確率αｎ，ｔ、および後向き確率βｎ，ｔの算出は、出力確率算出部１６ａにて行う。その動作フローを図７に示す。
後向き確率βｎ，ｔは、雑音モデルパラメータ推定手段１５の後向き推定部２９と同様にＢフレーム未来の時刻から遡って、現在の時刻の確率を算出する。よって、確率比算出部６１は、該当時刻ｔよりもＢフレーム過去の時刻ｓ＝ｔ−Ｂにおける音声状態／非音状態確率比Ｌ(ｓ)６５、前向き確率αｎ，ｓ、および後向き確率βｎ，ｓを算出する。
【００３３】
処理Ｓ７０１にて、ｔ＜１０＋Ｂ、すなわちｓ＜１０であれば、初期値設定処理Ｓ７０２にて前向き確率αｎ，ｓを以下の様に設定する。
【数１４】
2008058876.tif 000016
確率比算出用バッファリング処理Ｓ７０３にて、確率比算出用バッファ６３にこれら前向き確率α０，ｓ＝１、α１，ｓ＝０を記憶する。処理Ｓ７０１にて、ｔ＜１０＋Ｂでなければ、出力確率算出処理Ｓ７０４にて前向き確率αｎ，ｓの算出に必要となる各状態における出力確率ｂｎ(Ｏｓ)を算出する。
非音声状態Ｈ０５１と、音声状態Ｈ１５２それぞれにおける出力確率を与える確率密度関数は次式により定義される。
【００３４】
【数１５】
2008058876.tif 000017
上式のそれぞれの状態における出力確率ｂｎ(Ｏｓ)は、数値計算上の安定性を確保するため、以下の方法にて算出する。Ｓｋ，ｓは、メルスペクトルＯｋ，ｓの音声信号成分、Ｎｋ，ｓは雑音信号成分を表す。
まず、それぞれの状態における出力確率ｂｎ(Ｏｓ)の比Λｓを次式により求める。
【数１６】
2008058876.tif 000018
で与えられる。上式のＮ２ｋ，ｓは、雑音モデルパラメータ推定手段１５の出力パラメータ３１の一部〜Ｎｋ，ｓを用いて、
【数１７】
2008058876.tif 000019
により与えられる。
式（３６）で与えられるΛｓ、およびｂ０(Ｏｓ)＋ｂ１(Ｏｓ)＝１の制約の基、それぞれの状態における出力確率ｂｎ(Ｏｓ)は次式により与えられる。
【数１８】
2008058876.tif 000020
確率比算出用バッファ読出処理Ｓ７０５にて、確率比算出用バッファ６３より時刻ｓ−１の前向き確率αｎ，ｓ−１を取り出す。
前向き確率算出処理Ｓ７０６にて、状態遷移確率テーブル６４より遷移確率ａｍ，ｎ５３〜５６を取り出し、時刻ｓの前向き確率αｎ，ｓを次式により算出する。
【００３５】
【数１９】
2008058876.tif 000021
処理Ｓ７０７にて後向き確率算出用のカウンタｂｗの値にＢを設定する。
出力確率算出処理Ｓ７０８にて、時刻ｓ＋ｂｗ−１の後向き確率βｎ，ｓ＋ｂｗ−１の算出に必要となる各状態における出力確率ｂｎ(Ｏｓ＋ｂｗ)を算出する。計算方法は、出力確率算出処理Ｓ７０４と同様である。
後向き確率算出処理Ｓ７０９にて、状態遷移確率テーブル６４より遷移確率ａｍ，ｎ５３〜５６を取り出し、時刻ｓ＋ｂｗ−１の後向き確率βｎ，ｓ＋ｂｗ−１を次式により算出する。
【数２０】
2008058876.tif 000022
上式において、ｂｗ＝Ｂの場合は、初期値
【数２１】
2008058876.tif 000023
を与える。
処理Ｓ７１０にて、ｂｗの値を１減算する。
処理Ｓ７１１にて、ｂｗ＞０であれば、処理Ｓ７０８にもどり、そうでなければ、確率比算出処理Ｓ７１２に移行する。この時点で、時刻ｓにおける時刻後向き確率βｎ，ｓが得られる。
【００３６】
確率比算出部１６ｂにおける確率比算出処理Ｓ７１２にて、時刻ｓにおける音声状態／非音状態確率比Ｌ(ｓ)６５を次式により算出する。
以上のように雑音モデルパラメータ推定手段１５で求めたパラメータ〜Ｎｋ，ｓと入力信号、つまりメルスペクトルＯｋ，ｓとにより出力確率ｂｎ(Ｏｓ)が計算され、これら出力確率ｂｎ(Ｏｓ)と、遷移確率ａｍ，ｎとから前向き確率αｎ，ｓと後向き確率βｎ，ｓが計算され、更にこれら各時刻の確率αｎ，ｓ、βｎ，ｓから状態遷移確率ｐ(ＯＳ，ｑＳ＝Ｈｎ)が計算される。
【数２２】
2008058876.tif 000024
確率比算出用バッファリング処理Ｓ７０３にて、確率比算出用バッファ６３に前向き確率αｎ，ｓを記憶する。
【００３７】
＜音声信号区間推定手段１７＞
音声信号区間推定手段１７にて、音声状態／非音声状態確率比算出手段１６の出力である、音声状態／非音状態確率比Ｌ(ｓ)６５を受けて、時刻ｓの音響信号Ｓｉｎフレームが音声状態に属するか非音声状態に属するかを判定する。
音声信号区間推定手段１７の機能構成例を図８に示す。
音声状態／非音状態確率比Ｌ(ｓ)６５の値がＬ（ｓ）レジスタ８０に保持され、このＬ（ｓ）は別途設定する閾値ＴＨが記憶された閾値ＴＨレジスタ８１の値と、比較部８２で比較される。音声状態／非音状態確率比Ｌ(ｓ)６５の値が閾値ＴＨ以上であれば、比較部８２は、時刻ｓのフレームの音響信号Ｓｉｎが音声状態に属すると判定して、１を音声区間推定結果１８として出力する。閾値ＴＨ未満であれば、時刻ｓのフレームの音響信号Ｓｉｎが非音声状態に属すると判断して０を音声区間推定結果１８として出力する。閾値ＴＨは、例えば５とされる。
【００３８】
＜本発明の実現方法＞
上記のこの発明による音声信号区間推定方法は、コンピュータが読み取り可能な符号によって、上記の各過程が記述されたプログラムをコンピュータに実行させることによって実現される。これらのプログラムは例えば磁気ディスクあるいはＣＤ−ＲＯＭのようなコンピュータが読み取り可能な記憶媒体に記憶され、記憶媒体からコンピュータにインストールするか或いは通信回線を通じてインストールされて実行される。
【００３９】
＜変更例＞
上記実施の形態において、パラメータ予測処理Ｓ３０７にて、ランダムウォーク過程により１時刻前の推定結果より現在の時刻のパラメータを予測しているが、自己回帰法（線形予測法）などを用いて予測してもよい。この場合、自己回帰係数の次数に応じて最終的な雑音モデルパラメータ推定性能が向上することが期待される。
上記実施の形態において、前向き信頼度付与処理Ｓ３０９、およびＳ４０８にて、重み付け平均ではなく、最大の重みを持つ推定結果をそのまま使用してもよい。この場合、その最大の重みは他の推定結果の重みに比べて十分大きな重みを持っていることが望ましい。
上記実施の形態において、ＧＭＭ２６の代わりに、音声信号の確率モデルとしてＨＭＭ（Hidden Markov Model）等の他の確率モデルを用いてもよい。
上記実施の形態において、音声信号区間推定手段１７における閾値判定後に、音声信号区間、および非音声信号区間の継続長を調査して、音声区間推定結果１８を自動訂正する処理を接続してもよい。つまり１フレームは、例えば０.０１秒程度の時間であるのに対して、普通、発話時間は十分長い。その想定される長い発話時間中に非音声状態の判定が突発的に発生した場合、そのフレームは誤判定されたと判断できる。このように、突発的な識別誤りを訂正することができるため、音声信号区間推定の性能が向上することが期待される。これは、図８に示す音声信号区間推定手段１７内に突発異常検出補正部８３を設けることで実現できる。突発異常検出補正部８３は、想定される発話時間内に発生した非音声状態のフレームに対しては、音声状態を表す１を出力する。または、図８に破線で示す様に、音声状態／非音声状態の判定結果に音響信号Ｓｉｎとかけ合わせた信号を出力するようにし、突発異常検出補正部８３を同様に作用させてもよい。
【００４０】
＜発明の評価実験＞
本発明の効果を示すために、音声信号と雑音信号が混在する音響信号を本発明の音声信号区間検出装置に入力し、音声信号区間を検出する実験例を示す。以下実験方法、および結果について説明する。
本実験では、日本語旅行対話音声データベースに収録されたクリーン音声２２９２文のデータをクリーン音声１１とし、空港ロビーにて収録した騒音を雑音１２として、それぞれを信号対雑音比０ｄＢで人工的に加算した信号を音響信号Ｓｉｎとして作成した。それぞれの信号は、サンプリング周波数は８０００Ｈｚ、量子化ビット数１６ビットで離散サンプリングされた。この音響信号に対し、１フレームの時間長を２０ｍｓ（１６０サンプル点）とし、１０ｍｓ（８０サンプル点）ごとにフレームの始点を移動させて、音響信号分析手段１４を適用し、２４次元のメルスペクトルを音響特徴量として抽出した。
【００４１】
ＧＭＭ２６には、２４次元の対数メルスペクトルを音響特徴量とする混合分布数６４のモデルを用いた。パラメータ予測処理Ｓ３０７においてεのパラメータ値には０．００１を設定し、処理Ｓ４０３において、後向き推定に要するフレーム数Ｂには５を設定した。状態遷移確率テーブル６４において、遷移確率ａｍ，ｎ５３〜５６（図５参照）の値にはそれぞれ、０．８，０．２，０．９，０．１を設定した。音声信号区間推定手段１７において、閾値ＴＨの値には５を設定した。
性能の評価は次式のFalse acceptanceとFalse rejectionの調和平均であるHarmonic meanにより行った。False acceptanceは、下記の式（４８）に示すように非音声区間を誤って音声区間と識別した割合、False rejectionは、下記の式（４９）に示すように音声区間を誤って非音声区間と識別した割合である。評価尺度に下記の式（５０）に示すHarmonic meanを用いて、本発明の性能評価と従来技術との性能の比較を行った。
【００４２】
【数２３】
2008058876.tif 000025
図９に、実験結果を示す。図９の縦軸はHarmonic meanを示しており、値が小さいほど性能が高いことを示す。横軸は、各音声信号区間推定方法を示しており、９１，９２，９３は、それぞれ非特許文献１、非特許文献２、非特許文献３に開示された方法による結果であり、９４は本発明による結果を示す。
図９の結果から、本発明により従来技術に比べて高い性能を得られることが明らかとなった。
【図面の簡単な説明】
【００４３】
【図１】本発明による音声信号区間推定装置の一実施例を示すブロック図。
【図２】雑音モデルパラメータ推定手段の一例を示すブロック図。
【図３】前向き推定部と前向き信頼度付与部の動作フローを示す図。
【図４】後向き推定部と後向き信頼度付与部の動作フローを示す図。
【図５】音声状態／非音声状態の状態遷移モデルを示す図。
【図６】音声状態／非音声状態確率比算出手段の一例を示すブロック図。
【図７】音声状態／非音声状態確率比算出手段の動作フローを示す図。
【図８】音声信号区間推定手段の一例を示すブロック図。
【図９】本発明による音声信号区間推定方法と従来法の推定結果を比較した実験結果を示す図。
【図１】
2008058876.tif 000026
【図２】
2008058876.tif 000027
【図３】
2008058876.tif 000028
【図４】
2008058876.tif 000029
【図５】
2008058876.tif 000030
【図６】
2008058876.tif 000031
【図７】
2008058876.tif 000032
【図８】
2008058876.tif 000033
【図９】
2008058876.tif 000034