(57)【要約】本発明は、音声認識におけるモデルベースの雑音抑制の新規な手法を提供することを目的とする。本発明は、モデルベースの雑音補正において、観測値yを因子とするミスマッチベクトルg（あるいは、クリーン音声ｘ）の確率分布とバンドごとの信頼性指標βを因子とするミスマッチベクトルg（あるいは、クリーン音声ｘ）の確率分布の積として表現される確率モデルを生成し、当該確率モデルを対象としてＭＭＳＥ推定を実行し、クリーン音声推定値ｘ^を推定する。その結果、各バンドが、その信頼性の高さに応じた寄与度でＭＭＳＥ推定の結果に影響を与えるようになり、さらに、観測音声のＳ/Ｎ比が高くなるにつれて、その出力値が観測値の方にシフトするので、その結果として、フロントエンドの出力が最適化される。
2013132959.tif 000002
【特許請求の範囲】
【請求項１】
雑音抑制方法であって、
観測音声のスペクトルに基づいてバンドごとの信頼性指標を作成するステップと、
バンドごとの次元を持つ混合多次元正規分布として表現され、各正規分布が第１の正規分布と第２の正規分布の積として表現される確率モデルを生成するステップと、
前記確率モデルに対してＭＭＳＥ推定を実行してミスマッチベクトル推定値を推定し、該ミスマッチベクトル推定値に基づいてクリーン音声推定値を導出するステップと
を含み、
前記第１の正規分布は、前記観測音声に基づいて生成されたミスマッチベクトルの確率分布であり、
前記第２の正規分布は、平均がゼロ、分散が前記信頼性指標が大きくなるほど小さい値を出力する関数として定義される、
方法。
【請求項２】
雑音抑制方法であって、
観測音声のスペクトルに基づいてバンドごとの信頼性指標を作成するステップと、
バンドごとの次元を持つ混合多次元正規分布として表現され、各正規分布が第１の正規分布と第２の正規分布の積として表現される確率モデルを生成するステップと、
前記確率モデルに対してＭＭＳＥ推定を実行してクリーン音声推定値を導出するステップと
を含み、
前記第１の正規分布は、前記観測音声に基づいて生成されたクリーン音声の確率分布であり、
前記第２の正規分布は、平均が観測値、分散が前記信頼性指標が大きくなるほど小さい値を出力する関数として定義される、
方法。
【請求項３】
前記信頼性指標は、前記観測音声における調波構造の顕著さを表す指標である、請求項１または２に記載の方法。
【請求項４】
前記信頼性指標に作成するステップは、
前記観測音声のスペクトルから調波構造を抽出して正規化するステップと、
正規化した値をメルスケール上で平滑化するステップと、
平滑した値０から１の間で正規化するステップと
を含む請求項１〜３のいずれか一項に記載の方法。
【請求項５】
コンピュータに、請求項１〜４のいずれか一項に記載の方法の各ステップを実行させるためのコンピュータ実行可能なプログラム。
【請求項６】
雑音抑制装置であって、
観測音声のスペクトルに基づいてバンドごとの信頼性指標を作成する信頼性指標作成部と、
バンドごとの次元を持つ混合多次元正規分布として表現される確率モデルであって、各正規分布が第１の正規分布と第２の正規分布の積として表現される確率モデルを生成し、該確率モデルに対してＭＭＳＥ推定を実行してミスマッチベクトル推定値を推定し、該ミスマッチベクトル推定値に基づいてクリーン音声推定値を導出する雑音抑制部とを含み、  前記第１の正規分布は、前記観測音声に基づいて生成されたミスマッチベクトルの確率分布であり、
前記第２の正規分布は、平均がゼロ、分散が前記信頼性指標が大きくなるほど小さい値を出力する関数として定義される、
雑音抑制装置。
【請求項７】
雑音抑制装置であって、
観測音声のスペクトルに基づいてバンドごとの信頼性指標を作成する信頼性指標作成部と、
バンドごとの次元を持つ混合多次元正規分布として表現される確率モデルであって、各正規分布が第１の正規分布と第２の正規分布の積として表現される確率モデルを生成し、該確率モデルに対してＭＭＳＥ推定を実行してクリーン音声推定値を導出する雑音抑制部とを含み、
前記第１の正規分布は、前記観測音声に基づいて生成されたクリーン音声の確率分布であり、
前記第２の正規分布は、平均が観測値、分散が前記信頼性指標が大きくなるほど小さい値を出力する関数として定義される、
雑音抑制装置。
【請求項８】
前記信頼性指標は、前記観測音声における調波構造の顕著さを表す指標である、請求項６または７に記載の雑音抑制装置。
【請求項９】
前記信頼性指標作成部は、
前記観測音声のスペクトルから調波構造を抽出して正規化する手段と、
正規化した値をメルスケール上で平滑化する手段と、
平滑した値０から１の間で正規化する手段と
を含む請求項６〜８のいずれか一項に記載の雑音抑制装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識技術に関し、より詳細には、雑音抑制技術に関する。
【背景技術】
【０００２】
音声認識技術において、背景雑音の影響を排除することは、発話の認識精度を改善する上で重要な懸案事項である。従来のフィルタリング手法（スペクトルサブトラクション法やウィーナーフィルタリング法など）は、背景雑音が比較的小さい場合に一定の成果を示したが、大きい背景雑音の下では、目的の音声が雑音に埋没してしまうため、所望の効果を得ることができなかった。【０００３】
この点につき、近年、クリーン音声（一切の雑音が重畳されていない発話音声）の確率モデルを使用したアプローチが注目されている。これらのモデルベースの雑音抑制方法は、大きい背景雑音の下でも高い性能を示すことが報告されている。この点につき、特開２００８−２９８８４４号公報（特許文献１）は、モデルベース雑音抑制を採用した音声認識システムを開示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２９８８４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、音声認識のフロントエンドに適用される新規な雑音抑制方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明者は、音声認識のフロントエンドに適用される新規な雑音抑制方法につき鋭意検討した結果、観測音声のバンドごとの信頼性指標を組み込んだ因子モデルを利用する構成に想到し、本発明に至ったのである。【０００７】
すなわち、本発明によれば、雑音抑制方法であって、観測音声のスペクトルに基づいてバンドごとの信頼性指標を作成するステップと、バンドごとの次元を持つ混合多次元正規分布として表現され、各正規分布が第１の正規分布と第２の正規分布の積として表現される確率モデルを生成するステップと、前記確率モデルに対してＭＭＳＥ推定を実行してミスマッチベクトル推定値を推定し、該ミスマッチベクトル推定値に基づいてクリーン音声推定値を導出するステップとを含み、前記第１の正規分布は、前記観測音声に基づいて生成されたミスマッチベクトルの確率分布であり、前記第２の正規分布は、平均がゼロ、分散が前記信頼性指標が大きくなるほど小さい値を出力する関数として定義される方法が提供される。【０００８】
また、本発明によれば、雑音抑制方法であって、観測音声のスペクトルに基づいてバンドごとの信頼性指標を作成するステップと、バンドごとの次元を持つ混合多次元正規分布として表現され、各正規分布が第１の正規分布と第２の正規分布の積として表現される確率モデルを生成するステップと、前記確率モデルに対してＭＭＳＥ推定を実行してクリーン音声推定値を導出するステップとを含み、前記第１の正規分布は、前記観測音声に基づいて生成されたクリーン音声の確率分布であり、前記第２の正規分布は、平均が観測値、分散が前記信頼性指標が大きくなるほど小さい値を出力する関数として定義される方法が提供される。【０００９】
さらに、本発明によれば、上記各方法をコンピュータに実行させるためのコンピュータ・プログラムが提供され、上記各方法を実現するための機能を実装した雑音抑制装置が提供される。
【発明の効果】
【００１０】
上述したように、本発明によれば、観測音声スペクトルのバンドごとの信頼性指標を組み込んだ因子モデルを利用することによって、フロントエンドの出力が最適化される。
【図面の簡単な説明】
【００１１】
【図１】従来の音声認識システムのフロントエンドの構成を示す概念図。
【図２】観測音声の周波数スペクトルからメルＬＰＷを生成するまでの工程を示す概念図。
【図３】メルＬＰＷから信頼性指標βを作成する工程を示す概念図。
【図４】本実施形態の音声認識システムのフロントエンドの構成を示す概念図。
【図５】本実施形態のフロントエンドにおいて実行される処理を示したフローチャート。
【発明を実施するための形態】
【００１２】
以下、本発明を図面に示した実施の形態をもって説明するが、本発明は、図面に示した実施の形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。
【００１３】
一般に、音声認識システムは、発話された音声の音波信号に所定の変換を施して特徴量を抽出するまでのフロントエンドと、フロントエンドで抽出された特徴量に基づいてデータベースを検索し、発話の内容を特定するバックエンドから構成される。本発明は、フロントエンドに適用されるモデルベースの雑音補正について、観測音声スペクトルの信頼性指標を組み込んだ因子モデルを利用する新しい手法を提供する。
【００１４】
＜モデルベース雑音補正＞
本発明の各実施形態の説明に入る前に、フロントエンドに適用されるモデルベースの雑音補正について、図１に基づいて説明する。なお、以下の説明において、「観測音声」とは、発話音声に背景雑音が重畳された実際の観測音を意味し、「クリーン音声」とは、一切の雑音が重畳されていない発話音声を意味し、「クリーン音声推定値」は、観測音声から推定されるクリーン音声の推定値を意味する。また、「周波数スペクトル」とは、パワースペクトルまたは振幅スペクトルを意味する。
【００１５】
モデルベース雑音補正とは、要するに、クリーン音声ｘを、観測値yが与えられたときのxの確率分布p(x | y)としてモデル化し、当該確率モデルp(x | y)からクリーン音声ｘの推定値を推定する技術であり、ＭＭＳＥ推定は、その後段の推定に使用される要素技術である。
【００１６】
図１は、モデルベース雑音補正を適用した従来の音声認識システム５００のフロントエンドの構成を概念的に示している。
【００１７】
マイクによって収録された観測音声は、Ａ／Ｄ変換器によってデジタル信号（音波信号）に変換された後、適切な窓関数によるフレーム化および離散フーリエ変換（ＤＦＴ）を経て、フレーム毎の周波数スペクトルに変換される。次に、周波数スペクトルは、メル・フィルタバンク（メルスケール上に等間隔に配置された帯域フィルタバンク）にかけられた後、その対数をとってメル対数スペクトルに変換された後、雑音抑制部５０２に入力される。
【００１８】
雑音抑制部５０２は、モデルベース雑音補正部５１２と、ＭＭＳＥ推定部５１４と、クリーン音声のガウス混合モデル（以下、ＧＭＭという）を記憶するデータベース５１６を含んで構成されており、入力されたメル対数スペクトルに基づいて、フレーム毎のクリーン音声推定値を生成し、特徴量抽出部５０４に出力する。
【００１９】
モデルベース雑音補正部５１２は、観測音声に含まれるクリーン音声を確率分布として表現する機能部であり、ＶＴＳ、ＳＰＬＩＣＥ、ＤＮＡ、Ｓｅｇｕｒａといった既存のモデル化アルゴリズムにより実装される。モデルベース雑音補正部５１２は、雑音抑制部５０２に入力されるフレーム毎のメル対数スペクトルと、データベース５１６に記憶されるクリーン音声モデル（ＧＭＭ）を使用して所定の演算を実行し、観測音声に含まれるクリーン音声をバンドごとの次元を持つ混合多次元正規分布として出力する。
【００２０】
ＭＭＳＥ推定部５１４は、モデルベース雑音補正部５１２から出力された確率分布に基づいてＭＭＳＥ推定を実行し、クリーン音声推定値を生成する。なお、データベース５１６に記憶されるクリーン音声モデルは、事前の学習に基づいて音素ごとに生成されたメル対数スペクトル領域のＧＭＭであり、モデルベース雑音補正部５１２は、クリーン音声をメル対数スペクトル領域のＧＭＭとして出力し、ＭＭＳＥ推定部５１４は、クリーン音声推定値をメル対数スペクトル領域のベクトルとして生成する。
【００２１】
特徴量抽出部５０４は、ＭＭＳＥ推定部５１４が出力するクリーン音声推定値からメル周波数ケプストラム係数（ＭＦＣＣ）などの所定の特徴量を抽出し、バックエンドに渡す。バックエンドでは、フロントエンドから受領した特徴量に基づき、ＨＭＭ、音響モデル、Ｎグラム言語モデルなどの既知の構成を使用して、発話の内容が特定される。
【００２２】
以上、従来の音声認識システムのフロントエンドの構成について概説したが、続いて、既存のＭＭＳＥ推定の詳細について説明する。従来のモデルベース雑音補正のアルゴリズムには、先に説明した、観測音声からクリーン音声推定値を直接推定する第１の方式の他、観測音声から補正量を推定し、観測音声と補正量の推定値の差分からクリーン音声推定値を導出する第２の方式があり、第２の方式では、補正量（ミスマッチベクトル）の推定にＭＭＳＥ推定が使用される。以下では、説明の都合上、Ｓｅｇｕｒａが採用する第２の方式を基調にして説明する。
＜既存のＭＭＳＥ推定＞
【００２３】
観測音声yのフレームtにおけるバンドd（メルスケールの周波数帯）のメル対数スペクトル領域の観測値yd(t)は、クリーン音声の値xd(t)とノイズの値nd(t)の関数として下記式（１）のように表すことができる。
【００２４】
【数１】
2013132959.tif 000003
【００２５】
上記式（１）において、tを省略し、ベクトルで表記すると下記式（２）になる。
【００２６】
【数２】
2013132959.tif 000004
【００２７】
バンドdごとのミスマッチベクトルgは、下記式（３）に示すミスマッチ関数Ｇより与えられる。
【００２８】
【数３】
2013132959.tif 000005
【００２９】
ここで、クリーン音声ｘは、下記式（４）に示すK混合のＧＭＭとしてモデル化される。
【００３０】
【数４】
2013132959.tif 000006
【００３１】
上記式（４）において、γk、μx,k、Σx,kは、それぞれ、k番目の正規分布の事前確率、平均ベクトル、共分散行列を示す。
【００３２】
上記式（１）〜（４）に基づき、一次のテイラー展開を用いると、ミスマッチベクトルgは下記式（５）に示すK混合のＧＭＭとしてモデル化される。
【００３３】
【数５】
2013132959.tif 000007
【００３４】
なお、上記式（５）において平均ベクトルμg,kは下記式（６）で表され、共分散行列Σg,kは下記式（７）で表される。
【００３５】
【数６】
2013132959.tif 000008
【００３６】
そして、上記式（７）における補助関数Ｆは下記式（８）のように定義される。
【００３７】
【数７】
2013132959.tif 000009
【００３８】
その結果、クリーン音声推定値ｘ^は、下記式（９-１）で与えられる。
【００３９】
【数８】
2013132959.tif 000010
【００４０】
一方、観測音声ｙからクリーン音声推定値ｘ^を直接推定する第１の方式の場合、クリーン音声推定値ｘ^は、上記式（９-１）に代えて、下記式（９-２）で与えられる。
【００４１】
【数９】
2013132959.tif 000011
【００４２】
ここで、上記式（９-１）および式（９-２）における事後確率ρkは、いずれも、下記式（１０）で与えられる。
【００４３】
【数１０】
2013132959.tif 000012
【００４４】
そして、上記式（１０）における平均ベクトルμy,kは、下記式（１１）で表され、共分散行列Σy,kは、下記式（１２）で表される。
【００４５】
【数１１】
2013132959.tif 000013
【００４６】
なお、上記式（１１）および式（１２）において、音声モデルのパラメータ[μx,k ,Σx,k]は、事前の学習データにより与えられ、雑音モデルのパラメータ[μn ,Σn]は、モデルベース雑音補正部５１２が無声音区間の観測値に基づいて設定し、ＭＭＳＥ推定部５１４に与える。
【００４７】
以上、既存のＭＭＳＥについて説明してきたが、次に、観測音声スペクトルの信頼性指標を組み込んだ因子モデルを利用する本発明の新しい手法について説明する。以下の説明においては、この手法をＰＣＷ−ＭＭＳＥ（Probabilistic Confidence Weighted MMSE）として参照する。
＜ＰＣＷ−ＭＭＳＥ＞
【００４８】
以下では、説明の都合上、Ｓｅｇｕｒａが採用する第２の方式を基調にして説明する。上述した第２方式のモデルベース雑音補正においては、クリーン音声推定値ｘ^を下記式（１３）で導出していた。下記式（１３）に示すように、従来では、ミスマッチベクトルgの確率分布を観測ベクトルyの１因子モデルp(g｜y)として生成し、生成したp(g｜y)についてＭＭＳＥ推定を実行した後、観測値yから推定結果を減算することによってクリーン音声推定値ｘ^を導出していた。
【００４９】
【数１２】
2013132959.tif 000014
【００５０】
この点につき、本発明は、クリーン音声推定値ｘ^を下記式（１４）で導出するものである。すなわち、本発明では、ＭＭＳＥ推定の対象となる確率分布を、２つの因子からなる２因子モデルp(g｜y，β)として定義する。ここでいう２つの因子のうち、１つは、観測ベクトルyであり、もう１つは、信頼性指標βである。
【００５１】
【数１３】
2013132959.tif 000015
【００５２】
ここで、信頼性指標とは、バンドの信頼性を表す指標である。一般に、バンドの信頼性は、背景雑音による信号劣化の観点から評価されるものであり、信頼性指標βについて、種々の設計が可能であることは言うまでもない。本発明の手法は、採用する信頼性指標の種類に限定されるものではなく、音声認識の分野において用いられる既存の信頼性指標を使用することができる。既存の信頼性指標としては、時間方向または周波数方向におけるパワーの相対的な強さを利用した信頼性指標を例示することができる。
【００５３】
＜信頼性指標の好適な実施形態＞
ここでは、本発明者が考案した新規な信頼性指標について説明する。人の発音に含まれる母音の周波数スペクトルは調波構造を持つことが知られており、背景雑音のない環境下では、観測音声の周波数スペクトルの全帯域で母音の調波構造は維持される。一方、自動車の走行音や空調音などの広帯域雑音の下では、多くのバンドで母音の調波構造が失われ、フォルマントなど音声パワーが集中したバンドのみで調波構造が維持される。
【００５４】
このことから、本発明者は、顕著な調波構造を持つバンドは、背景雑音による劣化があまり起こっていないという前提に立ち、調波構造の顕著さをそのバンドの信頼性指標として利用する手法を考案した。この手法によれば、雑音が非定常性である場合や、所定帯域の雑音レベルが常に高い場合でも、バンドの信頼性を適切に評価することができる。以下、本発明者が考案した新規な信頼性指標の作成方法について説明する。
【００５５】
新規な信頼性指標は、ＬＰＷ(Local Peak Weight)を使用して作成される。ここで、ＬＰＷとは、観測音声のスペクトル概形のうち、フォルマント情報を含むような大きな変動を取り除き、調波構造に対応する規則的な山と谷の部分のみを抽出し、その値を正規化したものであり、以下の手順で、フレーム毎に作成される。
【００５６】
まず、観測音声のフレームｔの周波数スペクトルの対数をとり、さらにその対数スペクトルを離散コサイン変換してケプストラムを求める。次に、求めたケプストラムの項の内、ＬＰＷ母音の調波構造に対応した領域の項のみを残し、それ以外の項をカットする。その後、加工後のケプストラムに逆離散コサイン変換をかけて対数スペクトル領域に戻し、これをさらに周波数スペクトル領域に戻す。最後に、周波数スペクトルの平均値が１になるように正規化してＬＰＷを得る。図２（ａ）は、観測音声のフレームｔの周波数スペクトルを示し、図２（ｂ）は、図２（ａ）に示す周波数スペクトルに基づいて生成されたＬＰＷを示す。
【００５７】
続いて、図２（ｂ）に示すＬＰＷをメルスケール上で平滑化することによって図２（ｃ）に示すメルＬＰＷを得る。具体的には、ＬＰＷをメル・フィルタバンク（メルスケール上に等間隔に配置された帯域フィルタバンク）に通すことによって値を平滑化し、メルバンド毎に１つの値を得る。図２（ｃ）が示すように、メルＬＰＷの値は、メルバンドごとに付与される。メルＬＰＷの値の大きさは、メルバンドに対応する高解像度の周波数スペクトルのバンドの調波構造の顕著さに対応している。
【００５８】
本実施形態では、上述した手順で得たメルＬＰＷの値を適切な方法で正規化してバンドごとの信頼性指標βdを求める。一例として、以下の手順で信頼性指標βdを作成することができる。
【００５９】
図３（ａ）は、フレームｔについて取得されたメルＬＰＷを示す。メルＬＰＷの値ｗｄが、最大値を１として０から１の間の値をとるように適切なスケーリング関数を用いて正規化する。スケーリング関数の例として、シグモイド関数を挙げることができる。下記式（１５）は、シグモイド関数を使用した信頼性指標βdの導出式を示す。
【００６０】
【数１４】
2013132959.tif 000016
【００６１】
なお、上記式（１５）において、ａおよびｂは、チューニングパラメータであり、適切な定数値を設定する。
【００６２】
図３（ｂ）は、上述した手順で生成された信頼性指標βdを示す。図３（ｂ）が示すように、信頼性指標βdは、メルバンドごとに付与される。以上、説明した信頼性指標βを前提として、再び、上記式（１４）を参照して説明を続ける。
【００６３】
上記式（１４）における確率モデルp(g｜y，β)は、下記式（１６）に示すように２つの確率分布の積として表すことができる。
【００６４】
【数１５】
2013132959.tif 000017
【００６５】
上記式（１６）において、p(g｜y)は、Ｓｅｇｕｒａが採用するミスマッチベクトルgの確率モデルとして参照することができ、観測ベクトルyを因子とする。
【００６６】
一方、上記式（１６）において、p(g｜β)は、信頼性指標βを因子とするミスマッチベクトルgの確率モデルである。本発明においては、因子モデルp(g｜β)は、信頼性指標βの値が大きくなるほど、ミスマッチベクトルg=0の確率が増大するように設計する。
【００６７】
すなわち、本発明は、因子モデルp(g｜β)を、下記式（１７）で表される正規分布、すなわち、平均が0であり、分散が関数ψ(β)の出力である正規分布としてモデル化する。
【００６８】
【数１６】
2013132959.tif 000018
【００６９】
そして、本発明は、上記式（１７）における関数ψ(β)として、信頼性指標βの値が大きいほど小さい値を出力する適切な関数を採用する。一例として、上記式（１７）における関数ψ(β)をk依存と考え、クリーン音声ＧＭＭのk番目の正規分布の分散をスケーリングすることで実行する。その場合、バンドdのk番目の正規分布の分散を表す関数ψ(β)を下記式（１８）のように定義することができる。
【００７０】
【数１７】
2013132959.tif 000019
【００７１】
上記式（１８）において、βdは、バンドごとの信頼性指標を示す。また、ｃは、チューニングパラメータであり、0.0から1.0の範囲で適切な定数値を設定する。
【００７２】
ここで、再び、上記式（１６）を参照して説明を続ける。
【００７３】
例えば、観測音声がほとんど劣化しておらず、その周波数スペクトルにおいて母音の調波構造が顕著である場合、信頼性指標βは大きくなる。その場合、上記式（１７）に示した分散ψ(β)が小さくなり、正規分布p(g｜β)はシャープな分布を持つようになる。その結果、p(g｜β)とp(g｜β)の積で表される確率分布p(g｜y，β)において、平均=0の正規分布p(g｜β)が支配的に働くようになり、p(g｜y，β)の平均は、g=0の方向にシフトする。その結果、上記式（１４）で求められるクリーン音声推定値ｘ^は、上記式（１３）で求められる従来のクリーン音声推定値ｘ^の出力値に比べて、より観測値yに近い値となる。
【００７４】
つまり、本発明は、ＭＭＳＥ推定の対象となる確率モデルとして２因子モデルp(g｜y，β)を採用することによって、以下の効果を奏する。すなわち、従来の１因子モデルp(g｜y)を採用する手法では、観測音声のＳ/Ｎ比がどんなに高くても、ミスマッチベクトルgの推定値が必ず減算されるために、却って音声が劣化するといった不都合が生じていたのに対し、本発明によれば、観測音声のＳ/Ｎ比が非常に高い場合、ミスマッチベクトルgの推定値が０に近づくために、その出力値は観測値yにほぼ等しくなる。この結果は、雑音抑制の目的にかなっている。
【００７５】
さらに、ＭＭＳＥ推定の対象となる確率モデルとして２因子モデルp(g｜y，β)を採用することは、音声モデルの推定の最終段に使用されるＭＭＳＥ推定を改善する効果を奏する。以下、この点について説明する。
【００７６】
本発明の２因子モデルp(g｜y，β)を採用したクリーン音声のＭＭＳＥ推定は、上記式（１６）を１つの混合正規分布に変換することによって実行することができる。すなわち、正規分布と正規分布の積は正規分布になることから、確率分布p(g｜y，β)は、下記式（１９）のように展開することができる。
【００７７】
【数１８】
2013132959.tif 000020
【００７８】
上記式（１９）における、分散Σ”g,kおよび平均μ”g,kは、それぞれ、下記式（２０）および式（２１）で与えられる。
【００７９】
【数１９】
2013132959.tif 000021
【００８０】
また、上記式（１９）における、事後確率ρ”k(y)は、下記式（２２）で与えられる。
【００８１】
【数２０】
2013132959.tif 000022
【００８２】
そして、上記式（２２）における、分散Σ”y,kおよび平均μ”y,kは、それぞれ、下記式（２３）および式（２４）で与えられる。
【００８３】
【数２１】
2013132959.tif 000023
【００８４】
最終的に、２因子モデルp(g｜y，β)を対象とする場合、ＭＭＳＥ推定の推定値は、下記式（２５）によって与えられる。
【００８５】
【数２２】
2013132959.tif 000024
【００８６】
ここで、有声音区間のフレームtに母音の調波構造が顕著なスペクトル帯域があった場合、対応するバンドdの信頼性指標βdは大きくなるであろう。その場合、上記式（２０）におけるψkが小さくなり、事後確率ρ”k(y)の計算に用いられるバンドdの分散Σ”y,kは、元の分散Σy,kよりも小さくなる。分散が小さくなるほどその正規分布はよりシャープになり、その結果として、そのバンドdが事後確率全体の尤度に及ぼす影響が大きくなる。このことは、ＭＭＳＥ推定において、母音の調波構造が顕著なスペクトル帯域に対応するメルバンドの寄与が大きくなることを意味する。
【００８７】
一方、有声音区間のフレームtに母音の調波構造が失われたスペクトル帯域があった場合、対応するバンドdの信頼性指標βdは小さくなるであろう。その場合、上記式（２０）におけるψkが大きくなり、事後確率ρ”k(y)の計算に用いられるバンドdの分散Σ”y,kは、元の分散Σy,kよりも大きくなる。分散が大きくなるほどその正規分布はブロードになり、その結果として、そのバンドdが事後確率全体の尤度に及ぼす影響が小さくなる。このことは、ＭＭＳＥ推定において、母音の調波構造が失われたスペクトル帯域に対応するメルバンドの寄与が小さくなることを意味する。
【００８８】
つまり、本発明は、ＭＭＳＥ推定の対象となる確率モデルとして２因子モデルp(g｜y，β)を採用することによって、以下の効果を奏する。すなわち、本発明によれば、各バンドが、その信頼性の高さに応じた寄与度でＭＭＳＥ推定の結果に影響を与えるようになり、その結果として、ＭＭＳＥ推定の出力が最適化される。
【００８９】
以上、本発明を、Ｓｅｇｕｒａが採用する第２の方式を基調にして説明してきたが、本発明が観測音声からクリーン音声推定値を直接推定する第１の方式に適用できることは言うまでもない。
【００９０】
本発明を第１の方式に適用する場合、ＭＭＳＥ推定の対象となる確率分布を２因子モデルp(x｜y，β)として定義し、p(x｜y，β)は、下記式（２６）に示すように２つの確率分布p(x｜y)およびp(x｜β)の積として表される。下記式（２６）において、p(x｜y)は、適切なアルゴリズムに従って生成されるクリーン音声xの確率モデルであり、p(x｜β)は、信頼性指標βを因子とするクリーン音声xの確率モデルである。
【００９１】
本発明を第１の方式に適用する場合、確率モデルp(x｜β)を、信頼性指標βの値が大きくなるほど、クリーン音声x = yの確率が増大するように設計する。すなわち、確率モデルp(x｜β)は、下記式（２７）で表される正規分布、すなわち、平均が観測値yであり、分散が関数ψ(β)の出力である正規分布としてモデル化し、関数ψ(β)として、信頼性指標βの値が大きいほど小さい値を出力する適切な関数を採用する。そして、ＭＭＳＥ推定の推定値は、下記式（２８）によって与えられる。
【数２３】
2013132959.tif 000025
【００９２】
その余については、第２の方式についてした説明を参照されたい。当業者であれば、本発明を第１の方式に適用した場合においても、第２の方式の場合と同様の効果が得られることを容易に理解するであろう。
【００９３】
図４は、本発明の実施形態である音声認識システムのフロントエンド１０００の構成を概念的に示している。フロントエンド１０００の雑音抑制部１００は、ＰＣＷ-ＭＭＳＥを実装する。フロントエンド１０００は、さらに、信頼性指標作成部１０４を含み、信頼性指標作成部１０４は、ＬＰＷ生成部１０５、メルＬＰＷ生成部１０６、正規化部１０７を含んで構成されている。以下、図５に示すフローチャートに基づいて、フロントエンド１０００において実行される処理を説明する。なお、以下の説明においては、適宜、図４を参照するものとする。
【００９４】
まず、観測音声の１フレーム分の周波数スペクトルＹが取得されると（ステップ１０１）、ＬＰＷ生成部１０５は、周波数スペクトルＹの調波構造を抽出してＬＰＷを生成する（ステップ１０２）。続いて、メルＬＰＷ生成部１０６がＬＰＷからメルＬＰＷを生成し（ステップ１０３）、正規化部１０７がメルＬＰＷを適切な方法で正規化してバンド毎の信頼性指標βを作成する（ステップ１０４）。信頼性指標作成部１０４は、雑音抑制部１００に作成した信頼性指標βを提供する。
【００９５】
その後、１フレーム分の周波数スペクトルＹは、メル対数スペクトルｙに変換され（ステップ１０５）、雑音抑制部１００に入力される。雑音抑制部１００は、入力されたメル対数スペクトルｙと信頼性指標作成部１０４から提供された信頼性指標βを使用してクリーン音声を推定する（ステップ１０６）。このとき、モデルベース雑音補正部１０２は、観測値yを因子とするミスマッチベクトルg（あるいは、クリーン音声ｘ）の確率分布と信頼性指標βを因子とするミスマッチベクトルg（あるいは、クリーン音声ｘ）の確率分布の積として表現される確率モデルを生成する。ＭＭＳＥ推定部５１４は、モデルベース雑音補正部１０２が生成した確率モデルを対象としてＭＭＳＥ推定を実行し、クリーン音声推定値ｘ^を推定する。
【００９６】
雑音抑制部１００は、推定したクリーン音声推定値ｘ^を特徴量抽出部５０４に対して出力する（ステップ１０７）。特徴量抽出部５０４は、クリーン音声推定値ｘ^から所定の特徴量を抽出し、バックエンドに渡す。上述した一連の手順が観測音声の各フレームについて繰り返し実行され（ステップ１０８、Ｎｏ）、最終フレームに至った時点で（ステップ１０８、Ｙｅｓ）、処理が終了する。
【００９７】
以上、説明したように、本発明によれば、各バンドが、その信頼性の高さに応じた寄与度でＭＭＳＥ推定の結果に影響を与えるようになり、さらに、観測音声のＳ/Ｎ比が高くなるにつれて、その出力値が観測値の方にシフトするので、その結果として、フロントエンドの出力が最適化される。
【００９８】
以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【００９９】
上述した実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのオブジェクト指向プログラミング言語などで記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。
【実施例】
【０１００】
以下、本発明について、実施例を用いてより具体的に説明を行なうが、本発明は、後述する実施例に限定されるものではない。【０１０１】
先に開示した本発明の方法をコンピュータに実行させるためのコンピュータ・プログラム（ＰＣＷ-ＭＭＳＥ）を作成し、一般社団法人情報処理学会（ＩＰＳＪ）が提供する自動車内音声認識の評価用フレームワークを使用して、各コンピュータ・プログラムの性能を評価した。【０１０２】
＜実験条件＞
本実験は、自動車内音声認識の評価用データベースCENSREC-3を用いて行った。評価条件は、学習データとテストデータの双方に遠隔マイクロフォンを使用するCondition 3とした。実験に必要な様々な特徴量を出力するフロントエンドを用意し、学習データとテストデータの双方に適用した。特徴量は、MFCC 12次元 + ΔMFCC 12次元 + ΔΔMFCC 12次元 + C0 + ΔC0 + ΔΔC0 の39次元で、発話単位のCMNを適用した。音響モデルの作り方などバックエンドの構成は無変更とした(Category 0)。【０１０３】
クリーン音声のＧＭＭは、アイドリング時に接話マイクロフォンで収録したデータで学習した。24次元のメル対数スペクトルの特徴量を使用し、混合数は256とした。【０１０４】
＜実験結果＞
下記表１は、本実施例プログラム（ＰＣＷ-ＭＭＳＥ）および比較例プログラム（標準ＭＭＳＥ：ＳｅｇｒａのＭＭＳＥ）の単語正解精度（％）を示す。なお、「CENSREC-3 Baseline」は、音声強調や雑音除去を何も行わないベースラインである。【０１０５】
【表１】
2013132959.tif 000026
【０１０６】
上記表１に示す単語正解精度（％）の全環境平均に基づいて、比較例である標準ＭＭＳＥを基準とした誤り改善率（％）を下記式（２６）により算定した。【０１０７】
【数２４】
2013132959.tif 000027
【０１０８】
その結果、ＰＣＷ-ＭＭＳＥ（実施例）の誤り改善率（％）は、33.8％であった。この結果は、本発明の方法が音声認識精度を大きく改善することを示している。
【符号の説明】
【０１０９】
１００…雑音抑制部
１０２…モデルベース雑音補正部
１０４…信頼性指標作成部
１０５…ＬＰＷ生成部
１０６…メルＬＰＷ生成部
１０７…正規化部
５００…音声認識システム
５０２…雑音抑制部
５０４…特徴量抽出部
５１２…モデルベース雑音補正部
５１４…ＭＭＳＥ推定部
５１６…データベース
１０００…フロントエンド
【図１】
2013132959.tif 000028
【図２】
2013132959.tif 000029
【図３】
2013132959.tif 000030
【図４】
2013132959.tif 000031
【図５】
2013132959.tif 000032
【手続補正書】
【提出日】平成27年2月24日(2015.2.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
雑音抑制方法であって、
観測音声のスペクトルに基づいてバンドごとの信頼性指標を作成するステップと、
バンドごとの次元を持つ混合多次元正規分布として表現され、各正規分布が第１の正規分布と第２の正規分布の積として表現される確率モデルを、前記観測音声を変換して得られるメル対数スペクトル領域の観測値と前記作成した信頼性指標とを用いて生成するステップと、
前記確率モデルに対してＭＭＳＥ推定を実行してミスマッチベクトル推定値を推定し、該ミスマッチベクトル推定値を前記観測値から減算することによりクリーン音声推定値を導出するステップと
を含み、
前記第１の正規分布は、前記観測値に基づいて生成されたミスマッチベクトルの確率分布であり、
前記第２の正規分布は、平均がゼロ、分散が前記信頼性指標が大きくなるほど小さい値を出力する関数として定義される、
方法。
【請求項２】
雑音抑制方法であって、
観測音声のスペクトルに基づいてバンドごとの信頼性指標を作成するステップと、
バンドごとの次元を持つ混合多次元正規分布として表現され、各正規分布が第１の正規分布と第２の正規分布の積として表現される確率モデルを、前記観測音声を変換して得られるメル対数スペクトル領域の観測値と前記作成した信頼性指標とを用いて生成するステップと、
前記確率モデルに対してＭＭＳＥ推定を実行してクリーン音声推定値を導出するステップと
を含み、
前記第１の正規分布は、前記観測値に基づいて生成されたクリーン音声の確率分布であり、
前記第２の正規分布は、平均が観測値、分散が前記信頼性指標が大きくなるほど小さい値を出力する関数として定義される、
方法。
【請求項３】
前記信頼性指標は、前記観測音声における調波構造の顕著さを表す指標である、請求項１または２に記載の方法。
【請求項４】
前記信頼性指標を作成するステップは、
前記観測音声のスペクトルから調波構造を抽出して正規化するステップと、
正規化した値をメルスケール上で平滑化するステップと、
平滑化した値を０から１の間で正規化するステップと
を含む請求項１〜３のいずれか一項に記載の方法。
【請求項５】
コンピュータに、請求項１〜４のいずれか一項に記載の方法の各ステップを実行させるためのコンピュータ実行可能なプログラム。
【請求項６】
雑音抑制装置であって、
観測音声のスペクトルに基づいてバンドごとの信頼性指標を作成する信頼性指標作成部と、
バンドごとの次元を持つ混合多次元正規分布として表現される確率モデルであって、各正規分布が第１の正規分布と第２の正規分布の積として表現される確率モデルを、前記観測音声を変換して得られるメル対数スペクトル領域の観測値と前記作成した信頼性指標とを用いて生成し、該確率モデルに対してＭＭＳＥ推定を実行してミスマッチベクトル推定値を推定し、該ミスマッチベクトル推定値を前記観測値から減算することによりクリーン音声推定値を導出する雑音抑制部とを含み、
前記第１の正規分布は、前記観測値に基づいて生成されたミスマッチベクトルの確率分布であり、
前記第２の正規分布は、平均がゼロ、分散が前記信頼性指標が大きくなるほど小さい値を出力する関数として定義される、
雑音抑制装置。
【請求項７】
雑音抑制装置であって、
観測音声のスペクトルに基づいてバンドごとの信頼性指標を作成する信頼性指標作成部と、
バンドごとの次元を持つ混合多次元正規分布として表現される確率モデルであって、各正規分布が第１の正規分布と第２の正規分布の積として表現される確率モデルを、前記観測音声を変換して得られるメル対数スペクトル領域の観測値と前記作成した信頼性指標とを用いて生成し、該確率モデルに対してＭＭＳＥ推定を実行してクリーン音声推定値を導出する雑音抑制部とを含み、
前記第１の正規分布は、前記観測値に基づいて生成されたクリーン音声の確率分布であり、
前記第２の正規分布は、平均が観測値、分散が前記信頼性指標が大きくなるほど小さい値を出力する関数として定義される、
雑音抑制装置。
【請求項８】
前記信頼性指標は、前記観測音声における調波構造の顕著さを表す指標である、請求項６または７に記載の雑音抑制装置。
【請求項９】
前記信頼性指標作成部は、
前記観測音声のスペクトルから調波構造を抽出して正規化する手段と、
正規化した値をメルスケール上で平滑化する手段と、
平滑化した値を０から１の間で正規化する手段と
を含む請求項６〜８のいずれか一項に記載の雑音抑制装置。
【国際調査報告】
2013132959.tif 000033
2013132959.tif 000034
2013132959.tif 000035