(57)【要約】【課題】ＨＭＭの状態遷移部分でもなめらかなトラジェクトリの生成を確保しながら、混合ガウス分布にも対応できる手法を実現する。【解決手段】本発明では、１つの状態がｎ個のガウス分布から成る混合ガウス分布を持っている場合には、１つずつの分布に対して状態方程式、観測方程式に変換し、これらの方程式を逐次実行することで、各時刻のトラジェクトリの分布を計算する。また、このトラジェクトリの分布から１つのトラジェクトリを求める場合には、各混合分布のトラジェクトリの重要度を反映した重みを付与して複数のトラジェクトリを統合する。【選択図】図４
2006171020.tif 000002
【特許請求の範囲】
【請求項１】
学習用音声または入力音声から静的特徴量および動的特徴量を抽出する特徴量抽出部と、
上記静的特徴量と上記動的特徴量から音響モデルを学習する音響モデル学習部と、
音響モデルを記録するＨＭＭデータベースと、
上記静的特徴量と上記動的特徴量との間の関係とを使って、上記音響モデルをスイッチング線形動的システムに変換するモデル変換部と、
上記スイッチング線形動的システムを記録するスイッチング線形動的システムデータベースと、
上記スイッチング線形動的システム、辞書、上記静的特徴量および上記動的特徴量からトラジェクトリを合成するトラジェクトリ合成部と、
上記トラジェクトリ、上記静的特徴量および上記動的特徴量から学習用音声の分散を計算する分散計算部と、
上記分散を記録する分散データベースと、
上記トラジェクトリと上記分散から尤度を計算するスコア計算部と
を備える音声認識装置。
【請求項２】
学習用音声から静的特徴量および動的特徴量を抽出する特徴量抽出部と、
上記静的特徴量と上記動的特徴量から音響モデルを学習する音響モデル学習部と、
音響モデルを記録するＨＭＭデータベースと、
上記静的特徴量と上記動的特徴量との間の関係とを使って、上記音響モデルをスイッチング線形動的システムに変換するモデル変換部と、
上記スイッチング線形動的システムを記録するスイッチング線形動的システムデータベースと、
上記スイッチング線形動的システム、上記静的特徴量および上記動的特徴量からトラジェクトリを合成するトラジェクトリ合成部と、
上記トラジェクトリ、上記静的特徴量および上記動的特徴量から学習用音声の分散を計算する分散計算部と、
上記分散を記録する分散データベースと、
を備える音声特徴学習装置。
【請求項３】
請求項１記載の音声認識装置であって、
１つの状態が複数個のガウス分布からなる混合ガウス分布を、１つずつの分布を示す状態方程式と観測方程式
【数１】
2006171020.tif 000012
ただし、ｋは状態方程式と観測方程式の番号を示すパラメータ
を逐次実行することで、トラジェクトリの分布を計算する上記モデル変換部
を備える音声認識装置。
【請求項４】
請求項３記載の音声認識装置であって、
上記状態方程式のＡｔｋまたは上記観測方程式のＣｔｋに上記静的特徴量と上記動的特徴量との関係を設定した上記モデル変換部
を備える音声認識装置。
【請求項５】
請求項１、３、４のいずれかに記載の音声認識装置であって、
上記スイッチング線形動的システムと音素系列から、カルマンフィルタを用いてトラジェクトリを求める上記トラジェクトリ合成部
を備える音声認識装置。
【請求項６】
請求項５記載の音声認識装置であって、
学習用音声とＨＭＭの平均値の尤度とが近くなる重みを付与して複数のトラジェクトリを統合する上記トラジェクトリ合成部
を備える音声認識装置。
【請求項７】
入力音声から静的特徴量および動的特徴量を抽出する特徴量抽出部と、
スイッチング線形動的システムを記録するスイッチング線形動的システムデータベースと、
上記スイッチング線形動的システム、辞書、上記静的特徴量および上記動的特徴量からトラジェクトリを合成するトラジェクトリ合成部と、
学習用音声の分散を記録する分散データベースと、
上記トラジェクトリと上記分散から尤度を計算するスコア計算部と
を備える音声認識装置。
【請求項８】
請求項７記載の音声認識装置であって、
上記スイッチング線形動的システムと辞書から、カルマンフィルタを用いてトラジェクトリを求める上記トラジェクトリ合成部
を備える音声認識装置。
【請求項９】
特徴量抽出部で学習用音声から静的特徴量および動的特徴量を抽出し、
音響モデル学習部で上記静的特徴量と上記動的特徴量から音響モデルを学習し、
音響モデルをＨＭＭデータベースに記録し、
モデル変換部で、上記静的特徴量と上記動的特徴量との間の関係とを使って、上記音響モデルをスイッチング線形動的システムに変換し、
上記スイッチング線形動的システムをスイッチング線形動的システムデータベースに記録し、
トラジェクトリ合成部で上記スイッチング線形動的システム、上記静的特徴量および上記動的特徴量からトラジェクトリを合成し、
分散計算部で上記トラジェクトリ、上記静的特徴量および上記動的特徴量から学習用音声の分散を計算し、
上記分散を分散データベースに記録すること、
を特徴とする音声特徴学習方法。
【請求項１０】
特徴量抽出部で入力音声から静的特徴量および動的特徴量を抽出し、
トラジェクトリ合成部で、スイッチング線形動的システムデータベースに記録されたスイッチング線形動的システム、辞書の情報、上記静的特徴量および上記動的特徴量からトラジェクトリを合成し、
スコア計算部で、分散データベースに記録された学習用音声の分散から上記トラジェクトリの入力音声に対する尤度を計算すること、
を特徴とする音声認識方法。
【請求項１１】
コンピュータを請求項1〜８のいずれかに記載の装置として機能させるプログラムおよび当該プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、隠れマルコフモデルを利用した音声認識方法、音声特徴学習方法、それらの方法を用いた装置、プログラムおよびプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
図１に従来の音声認識装置の機能構成を示す。従来の音声認識では、入力された音声は、特徴量抽出部３００で、静的特徴量および例えば静的特徴量の微分係数や２次微分係数である動的特徴量が抽出される。
学習時には、学習用音声から抽出される静的特徴量および動的特徴量が音響モデル学習部３０１に送られる。音響モデル学習部３０１では、特徴パターンとして、静的特徴量の平均値および分散と、静的特徴量の微分係数の平均値および分散と、静的特徴量の２次微分係数の平均値および分散とを独立に計算して、学習用音声に対応付けて定義される隠れマルコフモデル（以下、「ＨＭＭ」という。）の構造上に保存することで、ＨＭＭデータベース３０２を構築する。
【０００３】
認識時には、認識対象となる入力音声について抽出される静的特徴量及び動的特徴量が音声認識部３０３に送られる。音声認識部３０３では、辞書３０４に登録されている認識対象データを１つずつ読み出して、その読み出した認識対象データに対応付けられるＨＭＭ（ＨＭＭデータベース３０２に格納されている）を組み合わせることで、その読み出した認識対象データのＨＭＭを作成して、その作成したＨＭＭに対応付けて保存されている平均値および分散から、入力音声とその読み出した認識対象データとの間のスコアを計算して、スコアの高い認識対象データを認識結果として出力する。しかし、この技術では、スコアを計算する際に基準となるＨＭＭの平均値の時系列（トラジェクトリ）がＨＭＭの状態遷移部分でなめらかではなくなり、認識精度上の問題があった。
【０００４】
そこで、特許文献１に示すように、隠れマルコフモデルによって入力音声を認識するときに、音声の持つ静的特徴量と動的特徴量との間に成立する関係を用いてトラジェクトリを生成することで、高精度の音声認識を実現できるようにする方法が提案された。この方法は、ＨＭＭの各状態では１つのガウス分布しか持たないと仮定した上で、ＨＭＭを構築していた。
図２に学習モードでの機能構成を示す。学習モードでは、学習用音声を特徴量分析して静的特徴量及び動的特徴量を抽出する特徴量抽出部２００と、静的特徴量及び動的特徴量から隠れマルコフモデルを学習する音響モデル学習部２０１、結果を保存するＨＭＭデータベース２０２と、静的特徴量と動的特徴量との間の関係を記録した特徴量間関係式２０６と、ＨＭＭデータベース２０２と特徴量間関係式２０６とを参照して学習用音声に対するトラジェクトリを作成するトラジェクトリ合成部２０３と、作成したトラジェクトリからの学習用音声の分散を計算する分散計算部２０４と、その結果を保存する分散データベース２０５と、を備えるように構成している。
【０００５】
また、図３に認識モードでの機能構成を示す。認識モードでは、入力音声を特徴量分析して静的特徴量及び動的特徴量を抽出する特徴量抽出部２００と、ＨＭＭデータベース２０２と辞書２０８を参照して複数個の音声認識候補を得る音声認識部２０７と、特徴量間関係式２０６を参照して音声認識候補のトラジェクトリを作成するトラジェクトリ再合成部２０９と、分散データベース２０５を参照して音声認識候補のトラジェクトリと入力音声との間のスコアを計算することで音声認識候補を再評価するスコア再計算部２１０とを備えるように構成している。この構成によって、検証実験では特許文献１以前のＨＭＭを用いる認識を行った場合の誤り率４.1％を誤り率３.4％に低減したことを示している。
【特許文献１】特開２００３−２７１１８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１以前の手法では、スコアを計算する際に基準となるＨＭＭの平均値の時系列（トラジェクトリ）がＨＭＭの状態遷移部分でなめらかではなくなり、認識精度上の問題があった。
特許文献１の方法では、ＨＭＭの各状態では１つのガウス分布しか持たないと仮定した上で、音声の持つ静的特徴量と動的特徴量との間に成立する関係を用いてトラジェクトリを生成することで、トラジェクトリをＨＭＭの状態遷移部分でもなめらかとし、認識精度は向上した。しかし、現実にはＨＭＭの各状態では混合ガウス分布を持ち、トラジェクトリも複数存在するが、混合ガウス分布から生成される複数のトラジェクトリを求めることが出来なかった。
【０００７】
したがって、本発明が解決しようとする課題は、ＨＭＭの状態遷移部分でもなめらかなトラジェクトリの生成を確保しながら、混合ガウス分布にも対応できる手法を実現することである。
【課題を解決するための手段】
【０００８】
本発明では、１つの状態がｎ個のガウス分布から成る混合ガウス分布を持っている場合には、１つずつの分布に対して状態方程式、観測方程式に変換し、これらの方程式を逐次実行することで、各時刻のトラジェクトリの分布を計算する。この分布は複数のトラジェクトリを中心とする混合ガウス分布となる。また、このトラジェクトリの分布から１つのトラジェクトリを求める場合には、各混合分布のトラジェクトリの重要度を反映した重みを付与して複数のトラジェクトリを統合する。
【発明の効果】
【０００９】
特許文献１で音声認識精度を向上させたＨＭＭの状態遷移部分でもなめらかなトラジェクトリの生成を確保しながら、混合ガウス分布にも対応できる方法が実現でき、さらに音声認識精度を向上でき得る。
【発明を実施するための最良の形態】
【００１０】
［第１実施形態］
図４に本発明の学習モードでの機能構成を示す。学習時には、特徴量抽出部１００で学習用音声から静的特徴量および動的特徴量が抽出され、音響モデル学習部１０１に送られる。ここで動的特徴量とは、例えば静的特徴量（ｃ）の一次微分成分（Δ成分）と二次微分成分（ΔΔ成分）のような静的特徴量の変化を表すパラメータ（Δｃ，ΔΔｃ）である。音響モデル学習部１０１では、特徴パターンとして、静的特徴量の平均値および分散と、動的特徴量として、静的特徴量の微分係数の平均値および分散と、静的特徴量の２次微分係数の平均値および分散とを計算して、学習用音声に対応付けて定義されるＨＭＭの構造上に保存することで、ＨＭＭデータベース１０２を構築する。このＨＭＭの構築の際に、ＨＭＭの状態数と分布数（各状態での混合ガウス分布がいくつのガウス分布の和として表現されるのか）も決まる。具体的には、ＨＭＭデータベース１０２には、ＨＭＭの各状態の各ガウス分布に対する平均値μｉｊ，Δμｉｊ，ΔΔμｉｊと分散Σｉｊ，ΔΣｉｊ，ΔΔΣｉｊが音響モデル学習部１０１の出力として保存される。ここで、ｉはＨＭＭの状態番号、ｊはガウス分布の番号を表している。
【００１１】
次にＨＭＭからスイッチング線形動的システムヘ変換するモデル変換部１０３について述べる。ここでは、特徴量間関係式１０４にあらかじめ設定されている静的特徴量と動的特徴量の関係とＨＭＭデータベース１０２に保存されたＨＭＭを使って、図５のように複数の状態方程式と観測方程式を持つスイッチング線形動的システムを作成する。図５は、２状態、２分布のＨＭＭをスイッチング線形動的システムにモデル変換した例を示している。図５において、
【００１２】
【数２】
2006171020.tif 000003
【００１３】
はスイッチング線形動的システムの状態方程式と観測方程式を表す。ｋはこの状態方程式と観測法的式の番号を表す。例えば、ｋ＝各状態のガウス分布の数×（ｉ−１）+ｊである。スイッチング線形動的システムでは、このように複数の状態方程式と観測方程式とが時間とともに切り替わるモデルとなっている。この切り替わりのしやすさを表すのが遷移確率
【００１４】
【数３】
2006171020.tif 000004
【００１５】
である。状態方程式において、ｘｔはトラジェクトリを示す。ここでは、
【００１６】
【数４】
2006171020.tif 000005
【００１７】
のようにトラジェクトリの一次微分成分および二次微分成分を含むように設定する。また、’は転置を表す。なお、特徴量間関係式１０４にあらかじめ保存される静的特徴量と動的特徴量の関係とは、例えば次のような静的特徴量と一次微分成分および二次微分成分との関係式である。
【００１８】
【数５】
2006171020.tif 000006
【００１９】
ただし、Ｗは一次微分成分を計算するためのウィンドウの幅である。
上記状態方程式のＡｔｋには静的特徴量と動的特徴量との関係をあらかじめ設定しておく。具体的には、ケプストラムとΔケプストラム、ΔΔケプストラムとの間の拘束条件を入れる。この関係には、様々なものが考えられるが、例えばケプストラムの一次微分係数(速度成分)がΔケプストラム、二次微分係数(加速度成分)がΔΔケプストラムという動的特徴量と静的特徴量の間の関係を使う。
具体例は次のようになる。一般に飛行機などの位置ｆと速度(一次微分) ｆ’と加速度(二次微分) ｆ’’の間の関係を離散的に表した場合、以下のような近似式が成り立つ。
【００２０】
ｆｔ＝ｆｔ-1＋ΔＴｆ’ ｔ-1＋（1/2）ΔＴ２ｆ’’ ｔ-1 
ｆ’ ｔ＝ｆ’ ｔ-1＋ΔＴｆ’’ ｔ-1
この近似式においてΔＴを１とし、二次微分成分は時刻とともに雑音だけが加わると仮定すると、
【００２１】
【数６】
2006171020.tif 000007
【００２２】
が得られる。なお、この行列は一次微分と二次微分を近似的に実現する行列であればどんな行列でも使うことができる。またトラジェクトリとして、
【００２３】
【数７】
2006171020.tif 000008
【００２４】
のように時系列を含むベクトルとする方法もある。
上記観測方程式のＣｔｋには観測値の推定値から観測値へ変換する行列をあらかじめ設定しておく。例えば、状態からの観測値への変換において、雑音だけが付加されると仮定すると、
【００２５】
【数８】
2006171020.tif 000009
【００２６】
となる。ＨＭＭデータベース１０２に保存されているガウス分布の平均値μｉｊ，Δμｉｊ，ΔΔμｉｊをｙｔｋに設定し、ガウス分布の分散Σｉｊ，ΔΣｉｊ，ΔΔΣｉｊがｕｔｋの分散となるように設定する。ｖｔｋは、トラジェクトリのなめらかさをコントロールするパラメータである。このような条件の下、ＨＭＭデータベース１０２に構築されたＨＭＭから状態方程式と観測方程式が求められ、モデル変換部１０３の出力としてスイッチング線形動的システムデータベース１０５に保存される。
トラジェクトリ合成部１０６では、スイッチング線形動的システムデータベース１０５に保存されたスイッチング線形動的システムと音素系列から、スイッチングカルマンフィルタを用いてトラジェクトリを求める。この処理では、まずスイッチングカルマンフィルタがスイッチング線形動的システムデータベース中の上記状態方程式と上記観測方程式を使って、個々にカルマンフィルタを動作させる。この様子を図６を用いて説明する。図６はスイッチング線形動的システムのｋの最大値が２、すなわち２つの状態方程式と観測方程式のセットを持っている場合を仮定している。図６では、あらかじめｔ−１までのトラジェクトリのガウス分布が求まっているものとする。このときのトラジェクトリの分布は２つのガウス分布の和となっている。この２つのガウス分布の平均値と分散を（ｘ1t-1|t-1，Ｖ1t-1|t-1）、（ｘ2t-1|t-1，Ｖ2t-1|t-1）と表す。前向き処理では、この個々のｔ−１のガウス分布からｔのトラジェクトリの分布を計算する。これは、ｔ−１の個々のガウス分布にｋ＝１およびｋ＝２の上記状態方程式と上記観測方程式をそれぞれ用いてカルマンフィルタを動作させることで実現できる。このような操作を行うと、図のように２つのトラジェクトリから４つのトラジェクトリを計算することになる。
【００２７】
しかし、このような処理を時刻Ｔ分だけ行うと、最終的には、２Ｔ個のトラジェクトリを求めることになる。これを防ぐためにスイッチングフィルタでは、４つのトラジェクトリを統合して２つのトラジェクトリに減らす。このとき、学習用音声とＨＭＭの平均値の尤度が近くなるようにＷｉｊという重みがかけられる。この重みは複数のトラジェクトリを統合するときにどのトラジェクトリが重要かを示す。この操作を順次行っていくことにより、学習用音声に近いトラジェクトリを得る。また、最後に後ろ向きの処理を行い、トラジェクトリをなめらかにする。具体的には、ＨＭＭの各状態各分布の平均値μｉｊ，Δμｉｊ，ΔΔμｉｊと分散Σｉｊ，ΔΣｉｊ，ΔΔΣｉｊとから計算される学習用音声ｃ，Δｃ，ΔΔｃに対する尤度が高くなるような重みを設定し、この重みをかける。これによって、最終的に学習用音声に近いトラジェクトリをえることができる。
【００２８】
トラジェクトリの導入に伴って新しい分散の計算が必要になるが、分散計算部１０７ではＥＭアルゴリズムにより分散を計算し、分散データベース１０８に保存する。
図７に、上述の学習モードでのアルゴリズムを示す。
［変形例］
第１実施形態の状態方程式、観測方程式の変形例としてＣｔｋに、静的特徴量と動的特徴量との関係を設定することもできる。具体的には以下の設定である。
【００２９】
【数９】
2006171020.tif 000010
【００３０】
ただし、これらのベクトルと行列はｋには依存しないとする。
ここで、Ａｔｋはｘｔ＝ｘｔ、ｘｔ-1＝ｘｔ-1、ｘｔ-2＝ｘｔ-2、ｘｔ-3＝ｘｔ-3を示しており、この演算では、雑音による影響以外の変化が無いことを示している。Ｃｔｋは上記の特徴量間関係式１０４にあらかじめ保存される静的特徴量と動的特徴量の関係式の例でＷ＝２として求めることができ、第１行目は静的特徴量を求める計算、第２行目はΔ特徴量を求める計算、第３行目はΔΔ特徴量を求める計算となる。
［第２実施形態］
図８に本発明の認識モードでの機能構成を示す。特徴量抽出部１００では、入力音声の静的特徴量（ｃ）および動的特徴量（Δｃ，ΔΔｃ）が抽出される。
【００３１】
トラジェクトリ合成部１０６では、スイッチング線形動的システムデータベース１０５に保存されているスイッチング線形動的システムを参照することで、辞書に保存されている音素、単語、あるいは文章の候補からトラジェクトリを生成する。このようなスイッチングカルマンフィルタの前向き処理と後ろ向き処理で、複数のトラジェクトリが作成される。
スコア計算部１１０では、トラジェクトリができるごとに入力音声との間のスコア（尤度）の計算を、分散データベースに保存された分散値を参照して行う。このスコアが最も大きな音素系列を音声認識の結果とする。なお、複数のトラジェクトリと入力音声との間のスコアの計算は次式のように、スイッチングカルマンフィルタの後ろ向きの処理で行う。
【００３２】
【数１０】
2006171020.tif 000011
【００３３】
この計算によって、その値が最も高いものが認識結果となる。図９に、上述の認識モードでのアルゴリズムを示す。
［実験例］
本実験では、ＴＩＭＩＴのデータベースを用いて、ＨＭＭモデルの学習を行った。特徴量はＭＦＣＣ１２次元にパワーを加えた１３次元を用いた。これらの特徴量からΔ特徴量、ΔΔ特徴量を計算した。これらの特徴量を使い、英語４８音素のＨＭＭを学習した。作成したＨＭＭは３状態で各状態に混合ガウス分布の混合数が３のモデルである。図１０に本発明の手法で求めたトラジェクトリ分布である。本発明のトラジェクトリは、この図に示された混合分布から平均として求めている。図１１に、３つの方法でこのテスト音声からトラジェクトリを生成した結果を示す。実線はＨＭＭの平均値、点線が特許文献１の手法、一点鎖線が本発明の結果である。
【００３４】
このように本発明から得られたトラジェクトリは、特許文献１と同様に滑らかな形状をしており、従来のＨＭＭを用いた認識よりも精度の向上が期待できる。さらに、特許文献１がトラジェクトリの分布を１つのガウス分布として扱っているのに対し、本発明は図１０のように混合ガウス分布として扱っていることから、さらに認識精度の向上が期待できる。
【図面の簡単な説明】
【００３５】
【図１】従来の音声認識装置の機能構成を示す図。
【図２】特許文献１の学習モードでの機能構成を示す図。
【図３】特許文献１の認識モードでの機能構成を示す図。
【図４】本発明の学習モードでの機能構成を示す図。
【図５】２状態、２分布のＨＭＭをスイッチング線形動的システムにモデル変換した例を示す図。
【図６】スイッチング線形動的システムを使って各時刻での複数のトラジェクトリを生成する様子を示す図。
【図７】本発明の学習モードでのアルゴリズムを示す図。
【図８】本発明の認識モードでの機能構成を示す図。
【図９】本発明の認識モードでのアルゴリズムを示す図。
【図１０】本発明の手法で求めたトラジェクトリ分布を示す図。
【図１１】３つの方法でテスト音声からトラジェクトリを生成した結果を示す図。
【図１】
2006171020.tif 000013
【図２】
2006171020.tif 000014
【図３】
2006171020.tif 000015
【図４】
2006171020.tif 000016
【図５】
2006171020.tif 000017
【図６】
2006171020.tif 000018
【図７】
2006171020.tif 000019
【図８】
2006171020.tif 000020
【図９】
2006171020.tif 000021
【図１０】
2006171020.tif 000022
【図１１】
2006171020.tif 000023