(57)【要約】【課題】特徴ベクトルに対し、適切な変換を施すことのできる音声非音声判別装置を提供する。【解決手段】既知の学習サンプルに基づいて算出された変換行列のパラメータを保持する特徴変換パラメータ保持手段１２０と、学習サンプルに基づいて算出された、音声非音声モデルのパラメータを保持する音声非音声判別パラメータ保持手段１２２と、音響信号をフレーム単位に分割するフレーム分割手段１０２と、複数フレームの音響信号から特徴ベクトルを抽出する特徴ベクトル抽出手段１０４と、特徴ベクトルを特徴変換パラメータを利用して線形変換を行う特徴変換手段１０６と、線形変換された後の特徴ベクトルと音声非音声モデルのパラメータにより定まる音声非音声モデルとの照合結果に基づいて、複数フレームに含まれる所定の入力フレームが音声フレームであるか非音声フレームであるかを判別する音声非音声判別手段１１０とを備えた。【選択図】        図１
2007114413.tif 000002
【特許請求の範囲】
【請求項１】
予め設定されている既知の学習サンプルに対して算出された実際の音声非音声尤度に基づいて算出された変換行列のパラメータを保持する特徴変換パラメータ保持手段と、
前記学習サンプルの前記音声非音声尤度に基づいて算出された、音声非音声モデルのパラメータを保持する音声非音声判別パラメータ保持手段と、
音響信号を取得する音響信号取得手段と、
前記音響信号取得手段が取得した前記音響信号をフレーム単位に分割するフレーム分割手段と、
前記フレーム分割手段により得られた複数フレームの音響信号から特徴ベクトルを抽出する特徴ベクトル抽出手段と、
前記特徴ベクトル抽出手段により抽出された前記特徴ベクトルを前記特徴変換パラメータ保持手段が保持している前記変換行列を利用して線形変換を行う特徴変換手段と、
前記特徴変換手段により線形変換された後の前記特徴ベクトルと前記音声非音声判別パラメータ保持手段が保持する前記パラメータにより定まる前記音声非音声モデルとの照合結果に基づいて、前記複数フレームに含まれる所定の入力フレームが音声フレームであるか非音声フレームであるかを判別する音声非音声判別手段と
を備えたことを特徴とする音声非音声判別装置。
【請求項２】
前記特徴変換手段により線形変換された後の前記特徴ベクトルを、前記音声非音声判別パラメータ保持手段が保持する前記音声非音声モデルのパラメータにより定まる前記音声非音声モデルと照合する照合手段をさらに備え、
前記音声非音声判別手段は、前記照合手段による照合結果と、予め定められた閾値とを比較することにより、前記複数フレームに含まれる所定のフレームが音声フレームであるか非音声フレームであるかを判別することを特徴とする請求項１に記載の音声非音声判別装置。
【請求項３】
前記学習サンプルの前記音声非音声尤度を算出する音声非音声尤度算出手段と、
前記音声非音声尤度算出手段により算出された前記音声非音声尤度に基づいて、前記変換行列のパラメータを算出する特徴変換パラメータ算出手段と
をさらに備え、
前記特徴変換パラメータ保持手段は、前記特徴変換パラメータ算出手段により算出された前記変換行列のパラメータを保持することを特徴とする請求項２に記載の音声非音声判別装置。
【請求項４】
前記特徴変換パラメータ算出手段は、前記学習サンプルに対し算出された前記音声非音声尤度と、当該学習サンプルに対し設定されている前記音声非音声尤度との差がより小さくなるような前記変換行列のパラメータを算出することを特徴とする請求項３に記載の音声非音声判別装置。
【請求項５】
学習モードと音声非音声判別モードとを有し、
前記特徴変換パラメータ算出手段は、前記学習モードに設定されているときに前記変換行列のパラメータを算出することを特徴とする請求項３または４に記載の音声非音声判別装置。
【請求項６】
前記音声非音声判別手段は、前記音声非音声判別モードに設定されているときに、前記入力フレームが前記音声フレームであるか前記非音声フレームであるかを判別することを特徴とする請求項５に記載の音声非音声判別装置。
【請求項７】
前記学習サンプルの前記音声非音声尤度を算出する音声非音声尤度算出手段と、
前記音声非音声尤度算出手段により算出された前記音声非音声尤度に基づいて、前記音声モデルおよび前記非音声モデルそれぞれのパラメータを算出する音声非音声判別パラメータ算出手段と
をさらに備え、
前記音声非音声判別パラメータ保持手段は、前記音声非音声判別パラメータ算出手段により算出された前記音声モデルおよび前記非音声モデルそれぞれのパラメータを保持することを特徴とする請求項２に記載の音声非音声判別装置。
【請求項８】
前記音声非音声判別パラメータ算出手段は、前記学習サンプルに対し算出された前記音声非音声尤度と、当該学習サンプルに対し設定されている前記音声非音声尤度との差がより小さくなるような前記音声モデルおよび前記非音声モデルのパラメータを算出することを特徴とする請求項７に記載の音声非音声判別装置。
【請求項９】
学習モードと音声非音声判別モードとを有し、
前記音声非音声判別パラメータ算出手段は、前記学習モードに設定されているときに前記変換行列のパラメータを算出することを特徴とする請求項７または８に記載の音声非音声判別装置。
【請求項１０】
前記特徴変換手段は、前記特徴抽出手段により抽出された前記特徴ベクトルをより低次元の前記特徴ベクトルに線形変換することを特徴とする請求項１から９のいずれか一項に記載の音声非音声判別装置。
【請求項１１】
前記特徴抽出手段は、前記音響信号のスペクトルの静的特徴量と動的特徴量とを結合したｎ次元の前記特徴ベクトルを抽出することを特徴とする請求項１から１０のいずれか一項に記載の音声非音声判別装置。
【請求項１２】
前記特徴抽出手段は、複数フレームそれぞれの前記音響信号のスペクトル特徴量を結合したｎ次元の前記特徴ベクトルを抽出することを特徴とする請求項１から１１のいずれか一項に記載の音声非音声判別装置。
【請求項１３】
予め設定されている既知の学習サンプルに対して算出された実際の音声非音声尤度に基づいて算出された変換行列のパラメータを保持する特徴変換パラメータ保持手段と、
前記学習サンプルの前記音声非音声尤度に基づいて算出された、音声非音声モデルのパラメータを保持する音声非音声判別パラメータ保持手段と、
音響信号を取得する音響信号取得手段と、
前記音響信号取得手段が取得した前記音響信号をフレーム単位に分割するフレーム分割手段と、
前記フレーム分割手段により得られた複数フレームの音響信号から特徴ベクトルを抽出する特徴ベクトル抽出手段と、
前記特徴ベクトル抽出手段により抽出された前記特徴ベクトルを前記特徴変換パラメータ保持手段が保持している前記変換行列を利用して線形変換を行う特徴変換手段と、
前記特徴変換手段により線形変換された後の前記特徴ベクトルと前記音声非音声判別パラメータ保持手段が保持する前記パラメータにより定まる前記音声非音声モデルとの照合結果に基づいて、前記複数フレームに含まれる所定の入力フレームが音声フレームであるか非音声フレームであるかを判別する音声非音声判別手段と、
前記音声非音声判別手段による判別結果に基づいて、音声区間を検出する音声区間検出手段と
を備えたことを特徴とする音声区間検出装置。
【請求項１４】
音響信号を取得する音響信号取得ステップと、
前記音響信号取得ステップにおいて取得した前記音響信号をフレーム単位に分割するフレーム分割ステップと、
前記フレーム分割ステップにおいて得られた複数フレームの音響信号から特徴ベクトルを抽出する特徴ベクトル抽出ステップと、
前記特徴ベクトル抽出ステップにおいて抽出された前記特徴ベクトルを、予め設定されている既知の学習サンプルに対して算出された実際の音声非音声尤度に基づいて算出された変換行列のパラメータを保持する特徴変換パラメータ保持手段が保持している前記変換行列を利用して線形変換を行う特徴変換ステップと、
前記特徴変換ステップにおいて線形変換された後の前記特徴ベクトルと、前記学習サンプルの前記音声非音声尤度に基づいて算出された音声非音声モデルのパラメータを保持する音声非音声判別パラメータ保持手段が保持する前記パラメータにより定まる前記音声非音声モデルとの照合結果に基づいて、前記複数フレームに含まれる所定の入力フレームが音声フレームであるか非音声フレームであるかを判別する音声非音声判別ステップと
を有することを特徴とする音声非音声判別方法。
【請求項１５】
音響信号を取得する音響信号取得ステップと、
前記音響信号取得ステップにおいて取得した前記音響信号をフレーム単位に分割するフレーム分割ステップと、
前記フレーム分割ステップにおいて得られた複数フレームの音響信号から特徴ベクトルを抽出する特徴ベクトル抽出ステップと、
前記特徴ベクトル抽出ステップにおいて抽出された前記特徴ベクトルを、予め設定されている既知の学習サンプルに対して算出された実際の音声非音声尤度に基づいて算出された変換行列のパラメータを保持する特徴変換パラメータ保持手段が保持している前記変換行列を利用して線形変換を行う特徴変換ステップと、
前記特徴変換ステップにおいて線形変換された後の前記特徴ベクトルと、前記学習サンプルの前記音声非音声尤度に基づいて算出された音声非音声モデルのパラメータを保持する音声非音声判別パラメータ保持手段が保持する前記パラメータにより定まる前記音声非音声モデルとの照合結果に基づいて、前記複数フレームに含まれる所定の入力フレームが音声フレームであるか非音声フレームであるかを判別する音声非音声判別ステップと、
前記音声非音声判別ステップにおける判別結果に基づいて、音声区間を検出する音声区間検出ステップと
を有することを特徴とする音声区間検出方法。
【請求項１６】
音声非音声判別処理をコンピュータに実行させる音声非音声判別プログラムであって、
音響信号を取得する音響信号取得ステップと、
前記音響信号取得ステップにおいて取得した前記音響信号をフレーム単位に分割するフレーム分割ステップと、
前記フレーム分割ステップにおいて得られた複数フレームの音響信号から特徴ベクトルを抽出する特徴ベクトル抽出ステップと、
前記特徴ベクトル抽出ステップにおいて抽出された前記特徴ベクトルを、予め設定されている既知の学習サンプルに対して算出された実際の音声非音声尤度に基づいて算出された変換行列のパラメータを保持する特徴変換パラメータ保持手段が保持している前記変換行列を利用して線形変換を行う特徴変換ステップと、
前記特徴変換ステップにおいて線形変換された後の前記特徴ベクトルと、前記学習サンプルの前記音声非音声尤度に基づいて算出された音声非音声モデルのパラメータを保持する音声非音声判別パラメータ保持手段が保持する前記パラメータにより定まる前記音声非音声モデルとの照合結果に基づいて、前記複数フレームに含まれる所定の入力フレームが音声フレームであるか非音声フレームであるかを判別する音声非音声判別ステップと
を有することを特徴とする音声非音声判別プログラム。
【請求項１７】
音声区間検出処理をコンピュータに実行させる音声区間検出プログラムであって、
音響信号を取得する音響信号取得ステップと、
前記音響信号取得ステップにおいて取得した前記音響信号をフレーム単位に分割するフレーム分割ステップと、
前記フレーム分割ステップにおいて得られた複数フレームの音響信号から特徴ベクトルを抽出する特徴ベクトル抽出ステップと、
前記特徴ベクトル抽出ステップにおいて抽出された前記特徴ベクトルを、予め設定されている既知の学習サンプルに対して算出された実際の音声非音声尤度に基づいて算出された変換行列のパラメータを保持する特徴変換パラメータ保持手段が保持している前記変換行列を利用して線形変換を行う特徴変換ステップと、
前記特徴変換ステップにおいて線形変換された後の前記特徴ベクトルと、前記学習サンプルの前記音声非音声尤度に基づいて算出された音声非音声モデルのパラメータを保持する音声非音声判別パラメータ保持手段が保持する前記パラメータにより定まる前記音声非音声モデルとの照合結果に基づいて、前記複数フレームに含まれる所定の入力フレームが音声フレームであるか非音声フレームであるかを判別する音声非音声判別ステップと、
前記音声非音声判別ステップにおける判別結果に基づいて、音声区間を検出する音声区間検出ステップと
を有することを特徴とする音声区間検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号が音声信号であるか非音声信号であるかを判別する音声非音声判別装置、さらに音声区間を検出する音声区間検出装置、音声非音声判別方法、音声区間検出方法、音声非音声判別プログラムおよび音声区間検出プログラムに関するものである。
【背景技術】
【０００２】
従来の音響信号の音声/非音声判別処理においては、入力信号から短時間パワー、ケプストラムなどの単一フレーム特徴量を抽出し、得られた特徴量を閾値処理することで当該フレームの音声/非音声を判別していた。しかし、このような単一フレーム特徴量は、特徴量の時間変化情報を含んでおらず、音声/非音声判別にとって最適な特徴量とは言えなかった。
【０００３】
そこで、例えば非特許文献１に示す方法においては、フレームごとに抽出されたＭＦＣＣ（Ｍｅｌ  Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  Ｃｏｅｆｆｉｃｉｅｎｔ）を複数フレームにわたって結合したベクトルを特徴量として用いている。
【０００４】
このように、複数フレームにわたって抽出した特徴ベクトルを用いることで時間変化情報を抽出することが可能になる。これにより、雑音環境下においてもロバストな音声/非音声判別を実現することができる。
【０００５】
一方、複数フレームにわたって特徴ベクトルを抽出した場合、その次元は高次元となり演算量が大幅に増加してしまうという問題がある。これを解決する方法としては、変換行列を用いた線形変換を用いて低次元の特徴ベクトルに変換する方法が知られている。
【０００６】
一般に高次元特徴ベクトルを低次元特徴ベクトルに変換する際、主成分分析（ＰＣＡ：  Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）やＫＬ展開（Ｋａｒｈｕｎｅｎ−Ｌｏeｖｅ  ｅｘｐａｎｓｉｏｎ）などの変換行列が用いられている（例えば、「非特許文献２」参照）。
【０００７】
【非特許文献１】N. Binder, K. Markov, R. Gruhn and S. Nakamura, "SPEECH-NON-SPEECH SEPARATION WITH GMMS", 日本音響学会2001秋季研究発表会 Vol.1, pp. 141-142, 2001
【０００８】
【非特許文献２】石井健一郎，上田修功，前田英作，村瀬洋，"わかりやすいパターン認識"，オーム社 (1998-08-20出版，ISBN:4274131491)
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述のように低次元特徴ベクトルに変換する際の変換行列は、変換前の学習サンプルを最良近似する基準で学習されたものであり、音声と非音声を判別する上で、最適な変換を選択しているとはいえなかった。
【００１０】
さらに、このようにより低次元の特徴ベクトルに変換する場合だけでなく、等しい次元への変換などの場合にも、より最適な変換を行うことができれば、より精度よく音声／非音声判別を行うことができる。
【００１１】
本発明は、上記に鑑みてなされたものであって、特徴ベクトルに対し、適切な変換を施すことのできる音声非音声判別装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するために、本発明は、音声非音声判別装置であって、予め設定されている既知の学習サンプルに対して算出された実際の音声非音声尤度に基づいて算出された変換行列のパラメータを保持する特徴変換パラメータ保持手段と、前記学習サンプルの前記音声非音声尤度に基づいて算出された、音声非音声モデルのパラメータを保持する音声非音声判別パラメータ保持手段と、音響信号を取得する音響信号取得手段と、前記音響信号取得手段が取得した前記音響信号をフレーム単位に分割するフレーム分割手段と、前記フレーム分割手段により得られた複数フレームの音響信号から特徴ベクトルを抽出する特徴ベクトル抽出手段と、前記特徴ベクトル抽出手段により抽出された前記特徴ベクトルを前記特徴変換パラメータ保持手段が保持している前記変換行列を利用して線形変換を行う特徴変換手段と、前記特徴変換手段により線形変換された後の前記特徴ベクトルと前記音声非音声判別パラメータ保持手段が保持する前記パラメータにより定まる前記音声非音声モデルとの照合結果に基づいて、前記複数フレームに含まれる所定の入力フレームが音声フレームであるか非音声フレームであるかを判別する音声非音声判別手段とを備えたことを特徴とする。
【００１３】
また、本発明の他の形態は、音声区間検出装置であって、予め設定されている既知の学習サンプルに対して算出された実際の音声非音声尤度に基づいて算出された変換行列のパラメータを保持する特徴変換パラメータ保持手段と、前記学習サンプルの前記音声非音声尤度に基づいて算出された、音声非音声モデルのパラメータを保持する音声非音声判別パラメータ保持手段と、音響信号を取得する音響信号取得手段と、前記音響信号取得手段が取得した前記音響信号をフレーム単位に分割するフレーム分割手段と、前記フレーム分割手段により得られた複数フレームの音響信号から特徴ベクトルを抽出する特徴ベクトル抽出手段と、前記特徴ベクトル抽出手段により抽出された前記特徴ベクトルを前記特徴変換パラメータ保持手段が保持している前記変換行列を利用して線形変換を行う特徴変換手段と、前記特徴変換手段により線形変換された後の前記特徴ベクトルと前記音声非音声判別パラメータ保持手段が保持する前記パラメータにより定まる前記音声非音声モデルとの照合結果に基づいて、前記複数フレームに含まれる所定の入力フレームが音声フレームであるか非音声フレームであるかを判別する音声非音声判別手段と、前記音声非音声判別手段による判別結果に基づいて、音声区間を検出する音声区間検出手段とを備えたことを特徴とする。
【００１４】
また、本発明の他の形態は、音声非音声判別方法であって、音響信号を取得する音響信号取得ステップと、前記音響信号取得ステップにおいて取得した前記音響信号をフレーム単位に分割するフレーム分割ステップと、前記フレーム分割ステップにおいて得られた複数フレームの音響信号から特徴ベクトルを抽出する特徴ベクトル抽出ステップと、前記特徴ベクトル抽出ステップにおいて抽出された前記特徴ベクトルを、予め設定されている既知の学習サンプルに対して算出された実際の音声非音声尤度に基づいて算出された変換行列のパラメータを保持する特徴変換パラメータ保持手段が保持している前記変換行列を利用して線形変換を行う特徴変換ステップと、前記特徴変換ステップにおいて線形変換された後の前記特徴ベクトルと、前記学習サンプルの前記音声非音声尤度に基づいて算出された音声非音声モデルのパラメータを保持する音声非音声判別パラメータ保持手段が保持する前記パラメータにより定まる前記音声非音声モデルとの照合結果に基づいて、前記複数フレームに含まれる所定の入力フレームが音声フレームであるか非音声フレームであるかを判別する音声非音声判別ステップとを有することを特徴とする。
【００１５】
また、本発明の他の形態は、音声区間検出方法であって、音響信号を取得する音響信号取得ステップと、前記音響信号取得ステップにおいて取得した前記音響信号をフレーム単位に分割するフレーム分割ステップと、前記フレーム分割ステップにおいて得られた複数フレームの音響信号から特徴ベクトルを抽出する特徴ベクトル抽出ステップと、前記特徴ベクトル抽出ステップにおいて抽出された前記特徴ベクトルを、予め設定されている既知の学習サンプルに対して算出された実際の音声非音声尤度に基づいて算出された変換行列のパラメータを保持する特徴変換パラメータ保持手段が保持している前記変換行列を利用して線形変換を行う特徴変換ステップと、前記特徴変換ステップにおいて線形変換された後の前記特徴ベクトルと、前記学習サンプルの前記音声非音声尤度に基づいて算出された音声非音声モデルのパラメータを保持する音声非音声判別パラメータ保持手段が保持する前記パラメータにより定まる前記音声非音声モデルとの照合結果に基づいて、前記複数フレームに含まれる所定の入力フレームが音声フレームであるか非音声フレームであるかを判別する音声非音声判別ステップと、前記音声非音声判別ステップにおける判別結果に基づいて、音声区間を検出する音声区間検出ステップとを有することを特徴とする。
【００１６】
また、本発明の他の形態は、音声非音声判別処理をコンピュータに実行させる音声非音声判別プログラムであって、音響信号を取得する音響信号取得ステップと、前記音響信号取得ステップにおいて取得した前記音響信号をフレーム単位に分割するフレーム分割ステップと、前記フレーム分割ステップにおいて得られた複数フレームの音響信号から特徴ベクトルを抽出する特徴ベクトル抽出ステップと、前記特徴ベクトル抽出ステップにおいて抽出された前記特徴ベクトルを、予め設定されている既知の学習サンプルに対して算出された実際の音声非音声尤度に基づいて算出された変換行列のパラメータを保持する特徴変換パラメータ保持手段が保持している前記変換行列のを利用して線形変換を行う特徴変換ステップと、前記特徴変換ステップにおいて線形変換された後の前記特徴ベクトルと、前記学習サンプルの前記音声非音声尤度に基づいて算出された音声非音声モデルのパラメータを保持する音声非音声判別パラメータ保持手段が保持する前記パラメータにより定まる前記音声非音声モデルとの照合結果に基づいて、前記複数フレームに含まれる所定の入力フレームが音声フレームであるか非音声フレームであるかを判別する音声非音声判別ステップとを有することを特徴とする。
【００１７】
また、本発明の他の形態は、音声区間検出処理をコンピュータに実行させる音声区間検出プログラムであって、音響信号を取得する音響信号取得ステップと、前記音響信号取得ステップにおいて取得した前記音響信号をフレーム単位に分割するフレーム分割ステップと、前記フレーム分割ステップにおいて得られた複数フレームの音響信号から特徴ベクトルを抽出する特徴ベクトル抽出ステップと、前記特徴ベクトル抽出ステップにおいて抽出された前記特徴ベクトルを、予め設定されている既知の学習サンプルに対して算出された実際の音声非音声尤度に基づいて算出された変換行列のパラメータを保持する特徴変換パラメータ保持手段が保持している前記変換行列を利用して線形変換を行う特徴変換ステップと、前記特徴変換ステップにおいて線形変換された後の前記特徴ベクトルと、前記学習サンプルの前記音声非音声尤度に基づいて算出された音声非音声モデルのパラメータを保持する音声非音声判別パラメータ保持手段が保持する前記パラメータにより定まる前記音声非音声モデルとの照合結果に基づいて、前記複数フレームに含まれる所定の入力フレームが音声フレームであるか非音声フレームであるかを判別する音声非音声判別ステップと、前記音声非音声判別ステップにおける判別結果に基づいて、音声区間を検出する音声区間検出ステップとを有することを特徴とする。
【発明の効果】
【００１８】
本発明にかかる音声非音声判別装置は、特徴変換パラメータ保持手段が、予め設定されている既知の学習サンプルに対して算出された実際の音声非音声尤度に基づいて算出された変換行列のパラメータを保持し、音声非音声判別パラメータ保持手段が、学習サンプルの音声非音声尤度に基づいて算出された、音声非音声モデルのパラメータを保持し、音響信号取得手段が、音響信号を取得し、フレーム分割手段が、音響信号取得手段が取得した音響信号をフレーム単位に分割し、特徴ベクトル抽出手段が、フレーム分割手段により得られた複数フレームの音響信号から特徴ベクトルを抽出し、特徴変換手段が、特徴ベクトル抽出手段により抽出された特徴ベクトルを特徴変換パラメータ保持手段が保持している変換行列を利用して線形変換を行い、音声非音声判別手段が、特徴変換手段により線形変換された後の特徴ベクトルと音声非音声判別パラメータ保持手段が保持するパラメータにより定まる音声非音声モデルとの照合結果に基づいて、複数フレームに含まれる所定の入力フレームが音声フレームであるか非音声フレームであるかを判別するので、特徴ベクトルに対し、適切な変換を施すことができ、より正確に音声非音声判別を行うことができるという効果を奏する。
【００１９】
また、本発明の他の形態にかかる音声区間検出装置は、特徴変換パラメータ保持手段が、予め設定されている既知の学習サンプルに対して算出された実際の音声非音声尤度に基づいて算出された変換行列のパラメータを保持し、音声非音声判別パラメータ保持手段が、学習サンプルの音声非音声尤度に基づいて算出された、音声非音声モデルのパラメータを保持し、音響信号取得手段が、音響信号を取得し、フレーム分割手段が、音響信号取得手段が取得した音響信号をフレーム単位に分割し、特徴ベクトル抽出手段が、フレーム分割手段により得られた複数フレームの音響信号から特徴ベクトルを抽出し、特徴変換手段が、特徴ベクトル抽出手段により抽出された特徴ベクトルを特徴変換パラメータ保持手段が保持している変換行列を利用して線形変換を行い、音声非音声判別手段が、特徴変換手段により線形変換された後の特徴ベクトルと音声非音声判別パラメータ保持手段が保持するパラメータにより定まる音声非音声モデルとの照合結果に基づいて、複数フレームに含まれる所定の入力フレームが音声フレームであるか非音声フレームであるかを判別し、音声区間検出手段が、音声非音声判別手段による判別結果に基づいて、音声区間を検出するので、特徴ベクトルに対し、適切な変換を施すことができ、より正確に音声非音声判別を行うことができ、さらにより正確に音声区間を検出することができるという効果を奏する。
【発明を実施するための最良の形態】
【００２０】
以下に、本発明にかかる音声非音声判別装置、音声区間検出装置、音声非音声判別方法、音声区間検出方法、音声非音声判別プログラムおよび音声区間検出プログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
【００２１】
（実施の形態１）
図１は、実施の形態１にかかる音声区間検出装置１０の機能構成を示すブロック図である。音声区間検出装置１０は、ＡＤ変換部１００と、フレーム分割部１０２と、特徴抽出部１０４と、特徴変換部１０６と、モデル照合部１０８と、音声非音声判別部１１０と、音声区間検出部１１２と、特徴変換パラメータ保持部１２０と、音声非音声判別パラメータ保持部１２２とを備えている。
【００２２】
ＡＤ変換部１００は、所定のサンプリング周波数で入力信号をＡ／Ｄ変換する。フレーム分割部１０２は、ＡＤ変換部１００から出力されるデジタル信号を予め定められた単位のフレームに分割する。特徴抽出部１０４は、フレーム分割部１０２により得られた複数フレームの音響信号からｎ次元の特徴ベクトルを抽出する。
【００２３】
特徴変換パラメータ保持部１２０は、変換行列のパラメータを保持している。
【００２４】
特徴変換部１０６は、特徴抽出部１０４において得られたｎ次元特徴ベクトルを変換行列によりｍ次元（ｍ＜ｎ）の特徴ベクトルに線形変換する。なお、他の例としては、ｎ＝ｍであってもよい。すなわち、次元の等しい異なる特徴ベクトルに変換してもよい。
【００２５】
音声非音声判別パラメータ保持部１２２は、音声非音声判別パラメータを保持している。ここで、音声非音声判別パラメータとは、特徴ベクトルと照合する音声モデルのパラメータおよび非音声モデルのパラメータである。
【００２６】
モデル照合部１０８は、特徴変換部１０６で得られたｍ次元の特徴ベクトルと、予め学習により得た音声モデルとの照合およびｍ次元の特徴ベクトルと非音声モデルとの照合を行い、評価値を算出する。なお、ここで照合する音声モデルおよび非音声モデルは、それぞれ音声非音声判別パラメータ保持部１２２に保持されている音声非音声判別パラメータにより定まる。
【００２７】
音声非音声判別部１１０は、モデル照合部１０８の評価値を閾値処理することにより、入力フレームが音声フレームであるか非音声フレームであるかを判別する。音声区間検出部１１２は、音声非音声判別部１１０により得られた各フレームの判別結果に基づいて、音響信号における音声区間を検出する。
【００２８】
図２は、実施の形態１にかかる音声区間検出装置１０による音声区間検出処理を示すフローチャートである。まず、ＡＤ変換部１００は、音声区間検出を行うべき音響信号を取得し、この音響信号をアナログ信号からデジタル信号に変換する（ステップＳ１００）。次に、フレーム分割部１０２は、ステップＳ１００において得られたデジタル信号を所定の間隔で、所定の長さのフレームに分割する（ステップＳ１０２）。なお、長さは、２０〜３０ｍｓｅｃが好ましい。また、間隔は、１０〜２０ｍｓｅｃ程度が好ましい。このとき、フレーム化処理を行う窓関数としてハミング窓を用いる。
【００２９】
次に特徴抽出部１０４は、ステップＳ１０２において得られた複数フレームの音響信号からｎ次元特徴ベクトルを抽出する（ステップＳ１０４）。具体的には、まず、各フレームの音響信号からＭＦＣＣを抽出する。ＭＦＣＣは、当該フレームのスペクトル特徴を表している。ＭＦＣＣは、音声認識における特徴量として広く用いられている。
【００３０】
次に、時刻ｔにおける前後３〜６フレームのＭＦＣＣから、スペクトルの動的な特徴量であるデルタを計算する。そして、ｎ次元特徴ベクトルｘ（ｔ）を得る。
【数１】
2007114413.tif 000003
【数２】
2007114413.tif 000004
上記（式１）および（式２）において、Ｘｉ（ｔ）はｉ次元目のＭＦＣＣ、Δｉ（ｔ）はそのデルタ特徴量、Ｋはデルタを計算するフレーム数、ＮはＭＦＣＣの次元数を表している。
【００３１】
（式２）に示すように、特徴ベクトルｘは、ＭＦＣＣ（静的特徴量）およびデルタ（動的特徴量）を結合したベクトルである。さらに、（式２）に示すように、特徴ベクトルｘは、複数フレームのスペクトル情報を反映した特徴量である。
【００３２】
このように、複数フレームを用いることにより、スペクトルの時間変化情報を抽出することができる。すなわち、単一フレームから抽出した特徴量（例えば、ＭＦＣＣ）に比べて、音声／非音声判別においてより有効な情報を含んでいる。
【００３３】
また、他の例としては、単一フレーム特徴量を複数フレームにわたって結合したベクトルを利用してもよい。この場合には、時刻ｔにおける特徴ベクトルｘ（ｔ）は以下の式で表すことができる。
【数３】
2007114413.tif 000005
【数４】
2007114413.tif 000006
ここで、ｚ（ｔ）は時刻ｔにおけるＭＦＣＣ、Ｚは結合に使用する当該フレーム前後のフレーム数を表している。
【００３４】
（式４）により得られる特徴ベクトルｘも複数フレームを利用した特徴量である。さらに、（式４）により得られる特徴ベクトルｘスペクトルの時間変化を含んだ特徴量である。
【００３５】
この例においては、単一フレーム特徴量としてＭＦＣＣを用いていたが、これにかえて、ＦＦＴパワースペクトルを用いてもよい。また、他の例としては、メルフィルタバンク分析、ＬＰＣケプストラムなどの特徴量を用いてもよい。
【００３６】
次に、モデル照合部１０８は、ステップＳ１０４において得られたｎ次元特徴ベクトルを、特徴変換パラメータ保持部１２０に保持されている変換行列を利用して、ｍ次元（ｍ＜ｎ）の特徴ベクトルに変換する（ステップＳ１０６）。
【００３７】
特徴ベクトルは、複数フレーム情報を利用した特徴量であり単一フレーム特徴量と比較して一般に高次元の特徴ベクトルになっている。そこで特徴変換部１０６は、演算量の削減を目的としてｎ次元特徴ベクトルｘを、以下の線形変換によりｍ次元（ｍ＜ｎ）の特徴ベクトルｙに変換する。
【数５】
2007114413.tif 000007
ここで、Ｐはｍ×ｎの変換行列を表している。変換行列Ｐの値は、分布の最良近似を目的とした主成分分析やＫＬ展開などの手法を用いて予め学習することにより得られる値である。変換行列Ｐについては後述する。
【００３８】
次に、モデル照合部１０８は、ステップＳ１０６において得られたｍ次元の特徴ベクトルｙおよび予め学習した音声および非音声ＧＭＭ（Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ）を用いて音声らしさを表す評価値ＬＲ（対数尤度比）を計算する（ステップＳ１０８）。
【数６】
2007114413.tif 000008
ここで、ｇ（ | ｓｐｅｅｃｈ）は、音声ＧＭＭ、ｇ（ | ｎｏｎｓｐｅｅｃｈ）は非音声ＧＭＭの対数尤度を表している。
【００３９】
各ＧＭＭは、ＥＭアルゴリズム（Ｅｘｐｅｃｔａｔｉｏｎ−Ｍａｘｉｍｉｚａｔｉｏｎ  ａｌｇｏｒｉｔｈｍ）を用いた最大尤度基準により学習することにより得られる。各ＧＭＭの値については後述する。
【００４０】
また、本実施の形態においては、音声／非音声のモデルとしてＧＭＭを用いているが、これに限定されるものではない。他の例としては、例えばＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ），ＶＱコードブックなどを用いてもよい。
【００４１】
次に、音声非音声判別部１１０は、ステップＳ１０８において得られた音声らしさを表す評価値ＬＲに基づいて、以下の閾値処理により各フレームの音声／非音声を判別する（ステップＳ１１０）。
【数７】
2007114413.tif 000009
ここで、θは音声らしさの閾値を表しており、例えば、θ＝０のように値を指定する。
【００４２】
次に、音声区間検出部１１２は、ステップＳ１１０において得られたフレーム毎の判別結果に基づいて入力信号の音声始端および音声終端を検出する（ステップＳ１１２）。以上で、音声区間検出装置１０による音声区間検出処理が完了する。
【００４３】
図３は、音声始端および音声終端を検出する処理を説明するための図である。音声区間検出部１１２は、有限状態オートマトンを用いて音声始終端を検出する。このオートマトンは、フレーム毎の判別結果を基に動作している。
【００４４】
初期状態は非音声である。このときタイマカウンタはゼロに設定される。判定結果が音声である場合には、タイマカウンタが時間計測を開始する。そして音声始端確定時間以上連続して判定結果が音声であった場合には、音声始端であると判断する。すなわち音声始端を確定する。そして、タイマカウンタをゼロにリセットし、音声状態に遷移する。一方、判別結果が非音声であった場合には、引き続き非音声状態とする。
【００４５】
音声状態に遷移した後、判別結果が非音声である場合には、タイマカウンタが時間計測を開始する。そして、音声終端確定時間以上連続した判定結果が非音声であった場合には、音声終端であると判断する。すなわち音声終端を確定する。
【００４６】
始端確定時間および終端確定時間は、予め定められている。始端確定時間は、例えば６０ｍｓｅｃと設定しておく。また、終端確定時間は、８０ｍｓｅｃと設定しておく。
【００４７】
このように、入力された複数フレームの音響信号からｎ次元特徴ベクトルを抽出することにより、特徴量の時間変化情報も利用することできる。すなわち、単一フレーム特徴量を用いた場合に比べて、音声／非音声判別に有効な特徴量を抽出することができる。これにより、より正確な音声／非音声判別を行うことができる。さらにより正確に音声区間検出を行うことができる。
【００４８】
以上説明した処理のうち、特徴変換部１０６が利用する変換行列、すなわち特徴変換パラメータ保持部１２０に保持されている変換行列のパラメータ（変換行列Ｐの要素）は学習サンプルを用いて予め学習させることにより得られるものである。ここで、学習サンプルとは、音声非音声モデルとの照合による評価値が既知の音響信号である。
【００４９】
学習により得られた変換行列のパラメータが特徴変換パラメータ保持部１２０に登録される。なお、変換行列Ｐのパラメータは、行列の要素、ＧＭＭのパラメータは、平均ベクトル、分散、混合重みである。
【００５０】
同様に、モデル照合部１０８が利用する音声非音声判別パラメータ、すなわち音声非音声判別パラメータ保持部１２２に保持されている音声非音声判別パラメータも、学習サンプルを用いて予め学習させることにより得られるものである。学習により得られた音声非音声判別パラメータ（音声／非音声ＧＭＭ）が音声非音声判別パラメータ保持部１２２に登録される。
【００５１】
本実施の形態にかかる音声区間検出装置１０は、識別的学習手法である識別的特徴抽出（ＤＦＥ：Ｄｉｓｃｒｉｍｉｎａｔｉｖｅ  Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｉｏｎ）を用いて、変換行列Ｐおよび音声／非音声ＧＭＭのパラメータの最適化を行う。
【００５２】
ＤＦＥは、最小分類誤り（ＭＣＥ：Ｍｉｎｉｍｕｍ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｅｒｒｏｒ）に基づく一般化確率的降下法（ＧＰＤ：  Ｇｅｎｅｒａｌｉｚｅｄ  Ｐｒｏｂａｂｉｌｉｓｔｉｃ  Ｄｅｓｃｅｎｔ）により、特徴抽出器（変換行列Ｐ）と識別器（音声／非音声ＧＭＭ）を同時に最適化する枠組みを有している。主に音声認識、文字認識などの分野で適用されその有効性が報告されているものである。ＤＦＥを用いた文字認識技術については、例えば、特許第３５３７９４９号公報に詳細が記載されている。
【００５３】
以下、本実施の形態にかかる音声区間検出装置１０に登録されている変換行列Ｐおよび音声／非音声ＧＭＭを決定するための処理について説明する。分類するクラスを音声（Ｃ1）および非音声（Ｃ2）の２クラスとする。変換行列Ｐおよび音声／非音声ＧＭＭにおける全パラメータ集合（変換行列Ｐの要素、ＧＭＭの平均ベクトル、分散、混合重み）をΛとする。ｇ1は音声ＧＭＭを、ｇ2は非音声ＧＭＭを表している。
【００５４】
このとき、学習サンプルから抽出したｍ次元特徴ベクトル
【数８】
2007114413.tif 000010
について、
【数９】
2007114413.tif 000011
を定義する。
【００５５】
（式８）に示すｄk（ｙ；Λ）は、ｇkとｇiの対数尤度比を表している。ｄk（ｙ；Λ）は、学習サンプルである音響信号が正解カテゴリに分類される場合は負の値となる。また、不正解カテゴリに分類させる場合は正の値となる。ここで、分類誤りによる損失ｌk（ｙ；Λ）を（式９）のように定義する。
【数１０】
2007114413.tif 000012
ここで、α＞０である。
【００５６】
この損失関数では、誤認識の程度が大きいほど１に近づき、小さいほど０に近づく。パラメータ集合Λの学習は、損失関数を小さくすることを目的として行われ、Λは、（式１０）のように更新される。
【数１１】
2007114413.tif 000013
ここで、εはステップサイズパラメータと呼ばれる小さな正数である。予め用意しておいた学習サンプルについて（式１０）を用いてパラメータΛを更新することにより、パラメータ集合Λの最適化、すなわち変換行列Ｐおよび音声／非音声ＧＭＭの両パラメータを誤識別の度合いが小さくなるよう最適化することができる。
【００５７】
なお、ＤＦＥでパラメータを調整する際、変換行列Ｐおよび音声／非音声ＧＭＭの初期値を設定しておく必要がある。本実施の形態においては、Ｐの初期値として主成分分析で計算したｍ×ｎの変換行列を用いることとする。また、ＧＭＭの初期値としてＥＭアルゴリズムで計算したパラメータを用いることとする。
【００５８】
このように、複数フレームから抽出したｎ次元特徴量をｍ（ｍ＜ｎ）次元特徴量に変換する際に使用する変換行列Ｐおよび音声／非音声ＧＭＭのパラメータを、誤識別の度合いが小さくなるよう識別的な学習法を用いて調整するので、音声／非音声判別性能を向上させることができる。さらに、音声区間を正確に検出することができる。
【００５９】
前述したように、変換行列Ｐについては主成分分析やＫＬ展開を用いて学習することが可能である。また、音声非音声判別パラメータについてはＥＭアルゴリズムなどを用いて学習することが可能である。主成分分析やＫＬ展開は学習サンプルに対する最良近似に基づいている。また、ＥＭアルゴリズムは学習サンプルに対する最大尤度基準に基づいている。これらは、いずれも音声／非音声を判別する上で最適なパラメータ学習法であるとは言えない。
【００６０】
これに対し、本実施の形態にかかる音声区間検出装置１０が利用する変換行列Ｐおよび音声／非音声ＧＭＭは、識別的学習手法である識別的特徴抽出（ＤＦＥ）を用いて決定されているので、より正確な音声／非音声判別および音声区間検出を行うことができる。
【００６１】
図４は、実施の形態１に係る音声区間検出装置１０のハードウェア構成を示す図である。音声区間検出装置１０は、ハードウェア構成として、音声区間検出装置１０における音声区間検出処理を実行する音声区間検出プログラムなどが格納されているＲＯＭ５２と、ＲＯＭ５２内のプログラムに従って音声区間検出装置１０の各部を制御するＣＰＵ５１と、音声区間検出装置１０の制御に必要な種々のデータを記憶するＲＡＭ５３と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５７と、各部を接続するバス６２とを備えている。
【００６２】
先に述べた音声区間検出装置１０における音声区間検出プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フロッピー（Ｒ）ディスク（ＦＤ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。
【００６３】
この場合には、音声区間検出プログラムは、音声区間検出装置１０において上記記録媒体から読み出して実行することにより主記憶装置上にロードされ、上記ソフトウェア構成で説明した各部が主記憶装置上に生成されるようになっている。
【００６４】
また、本実施の形態の音声区間検出プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
【００６５】
以上、本発明を実施の形態を用いて説明したが、上記実施の形態に多様な変更または改良を加えることができる。
【００６６】
そうした変更例としては、本実施の形態においては音声区間検出まで行う音声区間検出装置について説明したが、音声非音声判別まで行う音声非音声判別装置であってもよい。音声非音声判別装置は、図１に示す音声区間検出装置の機能構成のうち音声区間検出部１１２を備えず、音声非音声の判別結果を出力する。
【００６７】
（実施の形態２）
図５は、実施の形態２にかかる音声区間検出装置１０の機能構成を示すブロック図である。実施の形態２にかかる音声区間検出装置１０は、損失計算部１３０と、パラメータ更新部１３２とを備えている。
【００６８】
損失計算部１３０は、特徴抽出部１０４により得られたｍ次元の特徴ベクトルと音声モデルおよび非音声モデルをそれぞれ照合する。そして、実施の形態１において説明した（式９）の損失を計算する。
【００６９】
パラメータ更新部１３２は、（式９）で表される損失関数を小さくするように、特徴変換パラメータ保持部１２０に保持されている変換行列のパラメータおよび音声非音声判別パラメータ保持部１２２に保持されている音声非音声判別パラメータを更新する。具体的には、実施の形態１において説明した（式１０）に示すようなΛを算出する。
【００７０】
また、実施の形態２にかかる音声区間検出装置１０は、学習モードと音声非音声判別モードとを有している。実施の形態２にかかる音声区間検出装置１０は、学習モードにおいては、学習サンプルとしての音響信号に対する処理を行うことにより、パラメータ更新部１３２によるパラメータ更新を行う。
【００７１】
図６は、実施の形態２にかかる音声区間検出装置１０が、学習モードにおいて行うパラメータ更新処理を示すフローチャートである。学習モードにおいては、ＡＤ変換部１００は、学習サンプルをアナログ信号からデジタル信号に変換する（ステップＳ１００）。次に、フレーム分割部１０２および特徴抽出部１０４の処理により学習サンプルに対するｎ次元特徴ベクトルが算出される（ステップＳ１０２，ステップＳ１０４）。さらに、特徴変換部１０６の処理により、ｍ次元特徴ベクトルが得られる（ステップＳ１０６）。
【００７２】
次に、損失計算部１３０は、ステップＳ１０６において得られたｍ次元特徴ベクトルを利用して、実施の形態１において説明した（式９）に示す損失を計算する（ステップＳ１２０）。次に、音声非音声判別パラメータ保持部１２２は、損失関数に基づいて、特徴変換パラメータ保持部１２０に保持されている変換行列のパラメータ（変換行列Ｐの要素）および音声非音声判別パラメータ保持部１２２に保持されている音声非音声判別パラメータ（音声ＧＭＭおよび非音声ＧＭＭ）を更新する（ステップＳ１２２）。以上で学習モードにおけるパラメータ更新処理が完了する。
【００７３】
なお、以上の処理を繰り返し実行してもよい。これにより、パラメータ集合Λの最適化を行うことができる。すなわち、変換行列Ｐ、音声／非音声ＧＭＭの両パラメータを誤識別の度合いが小さくなるように最適化することができる。
【００７４】
音声非音声判別モードにおいては、実施の形態１において図２を用いて説明した音声区間検出処理を行う。なお、この場合、学習モード時に学習した変換行列Ｐおよび音声／非音声ＧＭＭを用いて、判別対象となる音響信号の音声/非音声を判別する。
【００７５】
具体的には、ステップＳ１０６においては、学習モード時に選択したｎ次元特徴ベクトルｘを利用する。また、学習モード時に学習した変換行列Ｐを用いてｍ次元特徴ベクトルｙに変換する。また、ステップＳ１０８においては、学習モード時に学習した音声／非音声ＧＭＭを用いて対数尤度比を算出する。
【００７６】
このように、学習モードを有し、入力された学習サンプルを用いて変換行列および音声／非音声ＧＭＭのパラメータを、誤識別の度合いが小さくなるよう識別的な学習法を用いて調整することにより、音声／非音声判別性能を向上させることができる。さらに音声区間検出性能を向上させることができる。
【００７７】
なお、実施の形態２にかかる音声区間検出装置１０のこれ以外の構成および処理は、実施の形態１にかかる音声区間検出装置１０の構成および処理と同様である。
【図面の簡単な説明】
【００７８】
【図１】実施の形態１にかかる音声区間検出装置１０の機能構成を示すブロック図である。
【図２】実施の形態１にかかる音声区間検出装置１０による音声区間検出処理を示すフローチャートである。
【図３】音声始端および音声終端を検出する処理を説明するための図である。
【図４】実施の形態１に係る音声区間検出装置１０のハードウェア構成を示す図である。
【図５】実施の形態２にかかる音声区間検出装置１０の機能構成を示すブロック図である。
【図６】実施の形態２にかかる音声区間検出装置１０が、学習モードにおいて行うパラメータ更新処理を示すフローチャートである。
【符号の説明】
【００７９】
１０  音声区間検出装置
５１  ＣＰＵ
５２  ＲＯＭ
５３  ＲＡＭ
５７  通信Ｉ／Ｆ
６２  バス
１００  ＡＤ変換部
１０２  フレーム分割部
１０４  特徴抽出部
１０６  特徴変換部
１０８  モデル照合部
１１０  音声非音声判別部
１１２  音声区間検出部
１２０  特徴変換パラメータ保持部
１２２  音声非音声判別パラメータ保持部
１３０  損失計算部
１３２  パラメータ更新部
【図１】
2007114413.tif 000014
【図２】
2007114413.tif 000015
【図３】
2007114413.tif 000016
【図４】
2007114413.tif 000017
【図５】
2007114413.tif 000018
【図６】
2007114413.tif 000019