(57)【要約】【課題】  状態分割を自動的に行ない、かつ自動的に停止することができるモデル構造の作成方法を提供する。【解決手段】  モデル構造作成装置は、隠れマルコフモデル（ＨＭＭ）を記憶する記憶装置と、ＨＭＭに含まれるある状態を時間方向と環境方向とに分割してそれぞれ新たなＨＭＭを準備する分割部Ｓ１１４，Ｓ１２０と、分割前後のＨＭＭに対して変分ベイズ法により計算される所定の評価関数の値の差分をそれぞれ算出し、差分が所定の選択条件を充足する分割を選択してＨＭＭを更新する分割選択部Ｓ１１６、Ｓ１１８、Ｓ１２２〜１２６、Ｓ１３０と、所定の終了条件が成立するまで分割を繰返すようにＳ１１４〜Ｓ１２６、Ｓ１３０を繰返し実行させる制御部Ｓ１２８とを含む。【選択図】        図４
2005128263.tif 000002
【特許請求の範囲】
【請求項１】
隠れマルコフモデルを記憶するための記憶手段と、
前記隠れマルコフモデルに含まれる状態を時間方向と環境方向とに分割してそれぞれ新たな隠れマルコフモデルを準備する処理を、各状態に対して行なうための分割手段と、
前記記憶手段に記憶される隠れマルコフモデルに対して、変分ベイズ法により計算される所定の評価関数の値と、前記分割手段により準備される前記新たな隠れマルコフモデルの各々に対して計算される前記評価関数の値との差分をそれぞれ算出し、前記差分が所定の選択条件を充足する分割を選択して前記記憶される隠れマルコフモデルを更新するための分割選択手段と、
所定の終了条件が成立するまで、前記記憶手段に記憶された隠れマルコフモデルに対し、前記分割手段による準備、及び前記分割選択手段による選択を繰返すように前記分割手段及び前記分割選択手段を制御するための制御手段とを含む、モデル構造作成装置。
【請求項２】
前記制御手段は、前記分割選択手段によって算出された差分の最大値が負となるまで、前記記憶手段に記憶された隠れマルコフモデルに対し、前記分割手段による準備及び前記分割選択手段による選択を繰返すように前記分割手段及び前記分割選択手段を制御するための手段を含む、請求項１に記載のモデル構造作成装置。
【請求項３】
前記制御手段は、前記分割選択手段によって算出された差分の絶対値が所定のしきい値より小さくなるまで、前記記憶手段に記憶された隠れマルコフモデルに対し、前記分割手段による準備及び前記分割選択手段による選択を繰返すように前記分割手段及び前記分割選択手段を制御するための手段を含む、請求項１に記載のモデル構造作成装置。
【請求項４】
前記制御手段は、前記分割選択手段によって算出された差分の最大値が負となるまで、又は前記分割選択手段によって算出された差分の絶対値が所定のしきい値より小さくなるまで、前記記憶手段に記憶された隠れマルコフモデルに対し、前記分割手段による準備及び前記分割選択手段による選択を繰返すように前記分割手段及び前記分割選択手段を制御するための手段を含む、請求項１に記載のモデル構造作成装置。
【請求項５】
前記分割選択手段は、
前記記憶手段に記憶された隠れマルコフモデル、及び前記分割手段により準備された隠れマルコフモデルの各々に対し、予め定める事前ハイパーパラメータに基づいて各モデル内の各状態における事後ハイパーパラメータの推定を行なうための事後ハイパーパラメータ推定手段と、
前記事後ハイパーパラメータ推定手段によって推定された前記事後ハイパーパラメータをもとに、各モデル内の各状態における前記評価関数の値をそれぞれ計算するための評価関数値算出手段とを含む、請求項１〜請求項４のいずれかに記載のモデル構造作成装置。
【請求項６】
前記評価関数は、変分ベイズ法により規定される自由エネルギである、請求項１〜請求項５のいずれかに記載のモデル構造作成装置。
【請求項７】
コンピュータにより実行されると、当該コンピュータを、請求項１〜請求項６のいずれかに記載のモデル構造作成装置として動作させる、モデル構造作成プログラム。
【請求項８】
請求項１〜請求項６のいずれかに記載のモデル構造作成装置と、
前記モデル構造作成装置により作成される隠れマルコフモデルを記憶するための隠れマルコフモデル記憶手段と、
音声信号から予め定める特徴情報を抽出するための特徴抽出手段と、
前記特徴抽出手段により音声信号から抽出された特徴情報を用い、前記隠れマルコフモデル記憶手段に記憶された隠れマルコフモデルを用いて音声認識を行なうための音声認識手段とを含む、音声認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は音声等の情報を認識するための認識技術に関し、特に、音声の認識に用いる音響モデルの作成方法において、ＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ：隠れマルコフモデル）の状態共有構造を自動的に作成する方法に関する。
【背景技術】
【０００２】
コンピュータ技術及び信号処理技術の発達により、話者の発話音声から、話者による内容を示す言語的情報を認識する音声認識システムは自動化の域に達しつつある。例えばコンピュータの音声入力などが典型的な例である。
【０００３】
音声認識では、時系列信号である音声信号を、ＨＭＭを用いてモデル化する技術が一般的である。ＨＭＭは、複数の定常信号源（状態）の間を遷移することで、時系列信号をモデル化する確率モデルである。
【０００４】
音声認識の音響モデルとして、ＨＭＭの状態共有構造を自動生成する代表的な方法として、音素決定木クラスタリングと、逐次状態分割法（Ｓｕｃｃｅｓｓｉｖｅ  Ｓｔａｔｅ  Ｓｐｌｉｔｔｉｎｇ（ＳＳＳ）アルゴリズム）とがある。音素決定木クラスタリングは、音声学的知識による音素カテゴリを利用して、音素環境のクラスタリングを行なう方法である。これに対して、逐次状態分割法は、音素環境方向と時間方向との２方向の状態分割をデータに依存して行なう方法である。
【０００５】
音素決定木クラスタリングでは、分割する状態を選択するための規準として、尤度最大（Ｍａｘｉｍｕｍ  Ｌｉｋｅｌｉｈｏｏｄ：ＭＬ）規準を用いる。しかし、一般にモデルパラメータ数が増加すると尤度は増加する。そのため、ＭＬ規準だけを規準として状態の分割を繰返し行なってモデル構造の生成を行なう場合、状態の分割を停止することが困難であった。そのため、状態分割の停止条件として、他の何らかの規準を用いる必要があった。
【０００６】
そこで、音素決定木クラスタリングによる方法において、分割条件及び状態分割の停止条件として情報量規準を用いる方法が後掲の非特許文献１及び２に提案されている。非特許文献１では、最小記述長（Ｍｉｎｉｍｕｍ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｌｅｎｇｔｈ：ＭＤＬ）規準を用いる方法が提案されている。非特許文献２では、ベイズ的情報規準を用いる方法が提案されている。これらの方法では、情報量規準の値が改善されなくなるまで状態の分割を行なう。
【０００７】
また、後掲の非特許文献３に記載の技術では、決定木クラスタリングを用いた音響モデル構造の作成において、分割状態の選択条件として、変分ベイズ（Ｖａｒｉａｔｉｏｎａｌ  Ｂａｙｅｓｉａｎ）法を用いる方法が提案されている。変分ベイズ法は、変分法を用いて、ＭＬ規準による学習の問題である過学習を避けるためのベイズ学習を実現する方法である。
【０００８】
逐次状態分割法では、音素決定木クラスタリング法と同様に、状態の分割条件にＭＬ規準を用いる手法が提案された。後掲の非特許文献４では、ＭＬ−ＳＳＳ（ＭＬ規準を用いたＳＳＳアルゴリズム）法として不特定話者モデルの作成方法にまで拡張されている。しかし、分割条件にＭＬ規準を用いているため、音素決定木クラスタリングによる方法において生じる問題と同様の問題が生じた。即ち、状態の分割を停止することが困難であった。
【０００９】
そこで後掲の非特許文献５に記載では、逐次状態分割法において、情報量規準としてＭＤＬ規準を状態分割の分割条件及び停止条件に用いている。これにより、逐次状態分割法による状態分割を自動的に停止することが可能となった。
【００１０】
【非特許文献１】コウイチ  シノダ、タカオ  ワタナベ、「音声認識のためのＭＤＬに基づくコンテクスト依存サブワードモデリング」  日本音響学会英文誌、ｖｏｌ．２１、  ｎｏ．２、  ７９−８６頁，  ２０００．（Ｋｏｉｃｈｉ  Ｓｈｉｎｏｄａ，  Ｔａｋａｏ  Ｗａｔａｎａｂｅ，  “ＭＤＬ−ｂａｓｅｄ  ｃｏｎｔｅｘｔ−ｄｅｐｅｎｄｅｎｔ  ｓｕｂｗｏｒｄ  ｍｏｄｅｌｉｎｇ  ｆｏｒ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ，”  Ｔｈｅ  Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  Ａｃｏｕｓｔｉｃａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ｊａｐａｎ（Ｅ），ｖｏｌ．２１，ｎｏ．２，ｐｐ．７９−８６，２０００）
【非特許文献２】ウ．チョウ、Ｗ．ライヒル、「罰則付ベイズ的情報規準に基づく状態決定木の結合」、ＩＣＡＳＳＰ‘９９予稿集、ｖｏｌ．Ｉ、３４５−３４８頁、１９９９．（Ｗｕ  Ｃｈｏｕ，Ｗ．Ｒｅｉｃｈｌ，“Ｄｅｃｉｓｉｏｎ  Ｔｒｅｅ  Ｓｔａｔｅ  Ｔｙｉｎｇ  Ｂａｓｅｄ  ｏｎ  Ｐｅｎａｌｉｚｅｄ  Ｂａｙｅｓｉａｎ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｃｒｉｔｅｒｉｏｎ，”  Ｐｒｏｃ．ｏｆ  ＩＣＡＳＳＰ‘９９，ｖｏｌ．Ｉ，ｐｐ．３４５−３４８，１９９９）
【非特許文献３】Ｓ．ワタナベ、Ｙ．ミナミ，Ａ．ナカムラ、Ｎ．ウエダ、「ベイズ法に基づくＨＭＭ状態共有構造の構築」、ＩＣＳＬＰ予稿集、ｖｏｌ．４、２６６９−２６７２頁、２００２．（Ｓ．Ｗａｔａｎａｂｅ，Ｙ．Ｍｉｎａｍｉ，Ａ．Ｎａｋａｍｕｒａ  ａｎｄ  Ｎ．Ｕｅｄａ，“Ｃｏｎｓｔｒｕｃｔｉｎｇ  ｓｈａｒｅｄ−ｓｔａｔｅ  ＨＭＭｓ  ｂａｓｅｄ  ｏｎ  Ａ  Ｂａｙｅｓｉａｎ  Ａｐｐｒｏａｃｈ，”  Ｐｒｏｃ．ｏｆ  ＩＣＳＬＰ，ｖｏｌ．４，ｐｐ．２６６９−２６７２，２００２）
【非特許文献４】Ｍ．オステンドルフ、Ｈ．シンガー、「尤度最大規準逐次分割法を用いたＨＭＭ構造の設計」、Ｃｏｍｐｕｔｅｒ  Ｓｐｅｅｃｈ  ａｎｄ  Ｌａｎｇｕａｇｅ、ｖｏｌ．１１、１７−４１頁、１９９７．（Ｍ．Ｏｓｔｅｎｄｏｒｆ，  Ｈ．Ｓｉｎｇｅｒ，“ＨＭＭ  ｔｏｐｏｌｏｇｙ  Ｄｅｓｉｇｎ  ｕｓｉｎｇ  ｍａｘｉｍｕｍ  ｌｉｋｅｌｉｈｏｏｄ  ｓｕｃｃｅｓｓｉｖｅ  ｓｔａｔｅ  ｓｐｌｉｔｔｉｎｇ，”  Ｃｏｍｐｕｔｅｒ  Ｓｐｅｅｃｈ  ａｎｄ  Ｌａｎｇｕａｇｅ，ｖｏｌ．１１，ｐｐ．１７−４１，１９９７）
【非特許文献５】Ｔ．ジツヒロ、Ｔ．マツイ、Ｓ．ナカムラ、「ＭＤＬ規準に基づく一様でないコンテクスト依存ＨＭＭ構造の自動生成」、ＥＵＲＯＳＰＥＥＣＨ‘０３予稿集、ｖｏｌ．４、２７２１−２７２４頁、２００３．（Ｔ．Ｊｉｔｓｕｈｉｒｏ，Ｔ．  Ｍａｔｓｕｉ，Ｓ．Ｎａｋａｍｕｒａ，“Ａｕｔｏｍａｔｉｃ  Ｇｅｎｅｒａｔｉｏｎ  ｏｆ  Ｎｏｎ−Ｕｎｉｆｏｒｍ  Ｃｏｎｔｅｘｔ−Ｄｅｐｅｎｄｅｎｔ  ＨＭＭ  Ｔｏｐｏｌｏｇｉｅｓ  Ｂａｓｅｄ  ｏｎ  ｔｈｅ  ＭＤＬ  Ｃｒｉｔｅｒｉｏｎ，”  Ｐｒｏｃ．  ｏｆ  ＥＵＲＯＳＰＥＥＣＨ‘０３，ｖｏｌ．４，ｐｐ．２７２１−２７２４，２００３）
【発明の開示】
【発明が解決しようとする課題】
【００１１】
非特許文献１及び２に記載の方法で用いる情報量規準は、漸近理論を用いて導出されたものである。そのため、学習データが少ないときに、これらの規準で適切なモデルを選択することは困難である。
【００１２】
特許文献３に記載の方法では、漸近性を仮定しないベイズ的規準を用いるため、非特許文献１及び２の問題を解決することができる。しかし、この方法では、従来の決定木クラスタリングと同様に、状態ごとの区間を既知として定義している。即ち、音素環境方向の分割のみを考慮しているため、時間方向の詳細なモデル構造を自動的に作成できない。
【００１３】
非特許文献４に記載のＭＬ−ＳＳＳ法では、ＭＬ規準を用いて状態分割を停止することが困難であった。そのため、状態分割の停止条件として、最終的なモデル構造における状態数Ｎs及び時間方向の状態数制限Ｎp、尤度の上昇率に対するしきい値など、他の何らかの規準を用いる必要があった。これらの他の規準は経験的に与える必要がある。さらには、あるデータに対して最適なモデルを１つ決定するためには、これらの他の規準を実験的に求める必要がある。さらに、学習データ、評価データが変わるたびに、これらの規準を調整しなければならない。
【００１４】
非特許文献５に記載の方法では、逐次状態分割法において、状態分割を自動的に停止できる。しかし、非特許文献５に記載の方法で用いる情報量規準は、いくつかの仮定の上に導出されており、ＨＭＭのような複雑なモデルを厳密に扱うことができない。また、非特許文献１及び２に記載の方法と同様に、学習データが少ないときに、これらの情報量規準で適切なモデルを選択することは困難である。
【００１５】
それゆえに、本発明の目的は、状態分割の停止条件を人手で与えることなく、状態分割を自動的に停止することができるモデル構造の作成方法を提供することである。
【００１６】
本発明の別の目的は、音素環境方向及び時間方向の両方について、厳密なモデル評価を行なうことができ、少数の学習データであっても、有効なモデル構造を自動的に作成することのできるモデル構造の作成方法を提供することである。
【課題を解決するための手段】
【００１７】
本発明の第１の局面に係るモデル構造作成装置は、隠れマルコフモデルを記憶するための記憶手段と、隠れマルコフモデルに含まれる状態を時間方向と環境方向とに分割してそれぞれ新たな隠れマルコフモデルを準備する処理を、各状態に対して行なうための分割手段と、記憶手段に記憶される隠れマルコフモデルに対して、変分ベイズ法により計算される所定の評価関数の値と、分割手段により準備される新たな隠れマルコフモデルの各々に対して計算される評価関数の値との差分をそれぞれ算出し、差分が所定の選択条件を充足する分割を選択して記憶手段に記憶される隠れマルコフモデルを更新するための分割選択手段と、所定の終了条件が成立するまで、記憶手段に記憶された隠れマルコフモデルに対し、分割手段による準備、及び分割選択手段による選択を繰返すように分割手段及び分割選択手段を制御するための制御手段とを含む。
【００１８】
好ましくは、制御手段は、分割選択手段によって算出された差分の最大値が負となるまで、記憶手段に記憶された隠れマルコフモデルに対し、分割手段による準備及び分割選択手段による選択を繰返すように分割手段及び分割選択手段を制御するための手段を含む。
【００１９】
又は、分割選択手段によって算出された差分の絶対値が所定のしきい値より小さくなるまで、記憶手段に記憶された隠れマルコフモデルに対し、分割手段による準備及び分割選択手段による選択を繰返すように分割手段及び分割選択手段を制御するための手段を含んでもよい。
【００２０】
より好ましくは、制御手段は、分割選択手段によって算出された差分の最大値が負となるまで、又は分割選択手段によって算出された差分の絶対値が所定のしきい値より小さくなるまで、記憶手段に記憶された隠れマルコフモデルに対し、分割手段による準備及び分割選択手段による選択を繰返すように分割手段及び分割選択手段を制御するための手段を含む。
【００２１】
分割選択手段は、記憶手段に記憶された隠れマルコフモデル、及び分割手段により準備された隠れマルコフモデルの各々に対し、予め定める事前ハイパーパラメータに基づいて各モデル内の各状態における事後ハイパーパラメータの推定を行なうための事後ハイパーパラメータ推定手段と、事後ハイパーパラメータ推定手段によって推定された事後ハイパーパラメータをもとに、各モデル内の各状態における評価関数の値をそれぞれ計算するための評価関数値算出手段とを含んでもよい。
【００２２】
好ましくは、評価関数は、変分ベイズ法により規定される自由エネルギである。
【００２３】
本発明の第２の局面に係るモデル構造作成プログラムは、コンピュータにより実行されると、当該コンピュータを、上記したいずれかのモデル構造作成装置として動作させるものである。
【００２４】
本発明の第３の局面に係る音声認識装置は、上記したいずれかのモデル構造作成装置と、モデル構造作成装置により作成される隠れマルコフモデルを記憶するための隠れマルコフモデル記憶手段と、音声信号から予め定める特徴情報を抽出するための特徴抽出手段と、特徴抽出手段により音声信号から抽出された特徴情報を用い、隠れマルコフモデル記憶手段に記憶された隠れマルコフモデルを用いて音声認識を行なうための音声認識手段とを含む。
【発明を実施するための最良の形態】
【００２５】
＜変分ベイズ法を用いた逐次状態分割法の概念＞
（逐次状態分割法の概念）
逐次状態分割法は、複数の状態の連結によって表現されるＨＭＭの状態共有構造を自動生成する方法である。逐次状態分割法の基本原理は、状態の間の確率的な遷移により、音声の特徴パラメータの時間的な推移を表現した確率モデルに対して、状態を分割する操作を繰返すことにより、逐次的にＨＭＭの状態共有構造を精密化するというものである。
【００２６】
図１を用いて、状態分割の概念について説明する。図１を参照して、逐次状態分割法における状態分割では、状態（白抜きの丸印で示す）と、状態の始端及び終端（黒塗りの丸印で示す）と、状態と状態の始点及び終点とを結ぶパス（矢印で示す）とを含む初期モデル２０を設定する。図１に示す初期モデル２０は、１つの状態により形成された初期モデルである。
【００２７】
逐次状態分割法では、まず、モデルの各状態に対して、パスの分割を伴わない時間方向への分割（以下、「時間方向分割」と呼ぶ。）２２及びパスの分割を伴う音素環境方向への分割（以下、「音素環境方向分割」）２４を試みる。時間方向分割２２を行なうと、初期モデルから、状態が直列に並ぶ第１の分割モデル２６が作成される。これに対して、音素環境方向分割２４を行なうと、時間方向に状態が並列する第２の分割モデル２８が作成される。このような分割を繰返すことで、複数の状態を複数のパスで連結した構造を有するＨＭＭ状態ネットワーク３０を作成する。
【００２８】
状態分割によってＨＭＭ状態ネットワークを作成する場合、多数のモデル構造が作成され得ることになる。そのため、作成され得る多数のモデル構造の中から、音声認識にとって適切なものを選択する必要がある。そこで、モデル構造を分割する度に、分割によって作成されるモデル構造の中から最適なモデル構造を選択し、次の状態分割における分割対象とする。このように逐次的にモデル構造を選択することにより，適切なモデル構造を作成することが可能となる。ＭＬ−ＳＳＳ法では、最適なモデル構造を選択するための規準に尤度最大規準を用いる。
【００２９】
＜変分ベイズ法を用いた逐次状態分割法の原理＞
以下に、本発明の実施の形態に係る、変分ベイズ法を用いた逐次状態分割法の原理を説明する。なお、以下の説明のテキスト中で使用する記号「＾」等は、本来はその直後の文字の直上に記載すべきものであるが、テキスト記法の制限により当該文字の直前に記載する。式中では、これらの記号等は本来の位置に記載してある。また、以下の説明では、変分ベイズ法を用いた逐次状態分割法を「ＶＢ−ＳＳＳ法」と呼ぶ。
【００３０】
（環境方向分割）
総状態数Ｎs個の状態を含むＨＭＭΘがあるものとする。このＨＭＭΘが含む状態は、それぞれ１個のガウス分布とＮa個の遷移確率とを持つ。このようなＨＭＭΘに対し音素環境方向分割を行なった場合の、各状態における確率密度関数は下記のように表せる。
【００３１】
【数１】
2005128263.tif 000003
この式において、ｔは時刻、Ｏ＝｛ｏ1，…ｏt，…，ｏT｝は学習データサンプル、ｓtは時刻ｔでの状態番号、ｒtは時刻ｔでの遷移アーク番号をそれぞれ表わす。μstは、時刻ｔでの状態（状態番号ｓtにより表される状態）における出力確率の平均ベクトルを示す。また、Ｓst-1は共分散行列を示す。Ｓst自体は精度行列と呼ばれ、共分散行列の逆行列である。
【００３２】
（時間方向分割）
ＨＭＭΘに対して時間方向分割を行なう場合、遷移確率ａstrt+1を考慮する。時間方向分割を行なった場合の確率密度関数は、下記のようになる。
【００３３】
【数２】
2005128263.tif 000004
【００３４】
（完全データ集合に対する確率分布）
逐次状態分割法では、音素環境方向分割に加えて時間方向分割を行なう。そのため、音素区間のみが既知で状態区間が未知という前提条件の上で状態分割を行なうことになる。このような前提条件に対して、変分ベイズ法では潜在変数が使用されるのが一般的である。潜在変数を導入した完全データに対する結合確率分布は、以下の式によって表される。
【数３】
2005128263.tif 000005
【００３５】
第ｉ状態を分割するとき、分割前のパラメータ集合をΘiである第ｉ状態を、第ｉ1状態と第ｉ2状態とに分割した場合の分割後のパラメータ集合を＾Θiとすると、分割モデルを選択するための規準である分割規準となる評価関数は、ベイズ変分法における自由エネルギＦ(VB)を用いて下記のように表現できる。
【数４】
2005128263.tif 000006
ここでｎは、学習回数即ち状態分割及び選択の回数を表わす。なお、Ｆ(VB)の導出方法については後述する。
【００３６】
（事前分布）
図２に本実施の形態に係るパラメータの関係を模式的に示す。図２を参照して、変分ベイズ法では、事前ハイパーパラメータを予め設定する必要があるが、通常、これらのハイパーパラメータに対する適切な設定値が存在する。そこで、事前ハイパーパラメータν0４０、ξ0４２、η0４４、Ｂ0４６、及びφ0４８を設定する。また、現時点のモデル構造における状態数Ｎs５０は、現在のモデル構造を参照することにより得ることのできるパラメータである。各状態が持つ状態遷移確率の数Ｎaは、最大でＮs個あるが、ＶＢ−ＳＳＳ法では、１状態の遷移確率は自己ループと１つの状態への遷移とを扱う。そのため、Ｎa＝２となる。
【００３７】
図２において、パラメータ「μ」５４は平均ベクトルを示す。パラメータ「Ｓ」５６は精度行列を示す。パラメータ「ａ」５８は遷移確率を示す。パラメータ「ｚ」６０は潜在変数である。また、パラメータ「ｏ」６２は観測データである。
【００３８】
本実施の形態では、確率変数間に、下記のような因子化仮定を導入する。
【００３９】
【数５】
2005128263.tif 000007
さらに、遷移確率ａ（５８）の事前分布にディリクレの分布を仮定する。ここで、Ｄを特徴量次元とし、μikとｓikとをそれぞれ第ｉ状態での平均ベクトルμiと精度行列Ｓiとのｋ番目の要素とする。これら事前ハイパーパラメータを用いて、遷移確率ａの事前分布に関する仮定は以下のように表される。
【００４０】
【数６】
2005128263.tif 000008
また、出力確率の平均ベクトルμと精度行列Ｓとの結合事前分布に正規ガンマ分布を仮定する。ガンマ分布は、ガンマ関数Γ（）関数を用いて、以下のように表される。
【００４１】
【数７】
2005128263.tif 000009
そのため、出力確率の平均ベクトルμと精度行列Ｓとの結合事前分布に関する仮定は、以下のように表わされる。
【００４２】
【数８】
2005128263.tif 000010
この式において、ν0kは、事前ハイパーパラメータであるベクトルν0のｋ番目の要素を示し、ｂ0kは、同じく事前ハイパーパラメータである行列Ｂ0の対角上のｋ番目の要素を示す。また、ｓik-1は、共分散行列Ｓi-1の対角上のｋ番目の要素を示す。
（事後分布）
各パラメータの最適変分事後分布は、変分ベイズ法における最適変分事後分布の一般式から導出できる。以下に、遷移確率ａの事後確率を示す。
【００４３】
【数９】
2005128263.tif 000011
また、平均ベクトルと精度行列との結合分布は以下のように表される。
【００４４】
【数１０】
2005128263.tif 000012
潜在変数ｚの変分事後確率分布は、以下の式のようになる。
【００４５】
【数１１】
2005128263.tif 000013
【００４６】
（目的関数）
以下に、前述した分割モデルの選択規準となる自由エネルギの導出について説明する。なお、以下の説明において、状態数Ｎs及び遷移確率数Ｎaにおける確率ｐ（・｜Ｎs，Ｎa）を単にｐ（・）と表記する。
【００４７】
自由エネルギＦ(VB)は、以下の式となる。
【数１２】
2005128263.tif 000014
上記数式の第１項と第２項とをあわせたものをＦ12とし、第３項をＦ3、第４項をＦ4とする。
【００４８】
Ｆ12は、以下のように導出できる。
【００４９】
【数１３】
2005128263.tif 000015
第３項Ｆ3と第４項Ｆ4とを変形するために、以下に示す因子化仮定を用いる。
【００５０】
【数１４】
2005128263.tif 000016
この因子化仮定を用いて、第３項Ｆ3は、以下のように変形できる。
【００５１】
【数１５】
2005128263.tif 000017
また、第４項Ｆ4は、以下のように変形できる。
【００５２】
【数１６】
2005128263.tif 000018
上記のように、変形した第３項Ｆ3の第１項、及び第４項Ｆ4の第１項はそれぞれ第ｉ状態の遷移確率に関する成分となる。第３項Ｆ3の第１項をＦ31とし、第４項Ｆ4の第１項をＦ41とする。Ｆ31は、以下のようになる。
【００５３】
【数１７】
2005128263.tif 000019
また、Ｆ41は、下記のようになる。
【００５４】
【数１８】
2005128263.tif 000020
したがって、遷移確率に対する自由エネルギをＦ341とすると、Ｆ341は、以下のように導出できる。
【００５５】
【数１９】
2005128263.tif 000021
さらに、Ｆ3の第２項及びＦ4の第２項は、平均ベクトルと精度行列との結合分布に関する。Ｆ3の第２項をＦ32とすると、Ｆ32は、以下のようになる。
【００５６】
【数２０】
2005128263.tif 000022
また、Ｆ4の第２項をＦ42とすると、Ｆ42は、以下のようになる。
【００５７】
【数２１】
2005128263.tif 000023
したがって、平均ベクトルと精度行列との結合分布に関する自由エネルギをＦ342とすると、Ｆ342は、以下のように導出される。
【００５８】
【数２２】
2005128263.tif 000024
【００５９】
さらに、Ｆ3の第３項及びＦ4の第３項は、精度行列のみに関する。Ｆ3の第３項をＦ33とすると、Ｆ33は、
【数２３】
2005128263.tif 000025
のようになる。
【００６０】
また、Ｆ4の第３項をＦ43とすると、Ｆ43は、以下のようになる。
【００６１】
【数２４】
2005128263.tif 000026
したがって、精度行列のみに関する自由エネルギをＦ343とすると、Ｆ343は、以下のように導出できる。
【００６２】
【数２５】
2005128263.tif 000027
【００６３】
最終的には、以上のようにして導出できるＦ12、Ｆ341、Ｆ342、及びＦ343を用いて、自由エネルギＦ(VB)は、
【数２６】
2005128263.tif 000028
と表される。この式を用いて前述の自由エネルギ及びその差分を導出できる。
【００６４】
＜構成＞
図３に、本実施の形態に係る音声認識システムの構成を示す。この音声認識システムは、所定の記憶装置に記憶された、状態分割を行なう前の初期モデル７０と、音響モデルのモデル構造を作成するために用いる学習データ７２とに基づいて、上記した原理にしたがて自動的に状態分割を行なってＨＭＭ８４を生成するモデル構造作成部８２と、入力音声７６の音声信号について、ＨＭＭ８４を用いて音声認識を行ない、認識出力７８を出力する音声認識装置８０とを含む。
【００６５】
音声認識装置８０は、入力音声７６の音響的特徴を抽出する特徴抽出部８６と、ＨＭＭ８４を用いて、特徴抽出部８６が抽出した音響的特徴に基づく音声の認識を行ない、認識出力７８を出力する認識部８８とを含む。
【００６６】
＜モデル構造作成処理＞
図４は、本実施の形態に係るモデル構造作成部８２が行なうモデル構造作成処理のアルゴリズムを示すフローチャートである。以下の説明からも明らかなとおり、この処理を含めモデル構造作成部８２と音声認識装置８０とは、いずれもコンピュータハードウェアと、その上で実行されるプログラムとにより実現可能である。
【００６７】
図４を参照して、モデル構造作成部８２が処理を開始すると、ステップ（以下、単に「Ｓ」と表記する。）１０２に進む。Ｓ１０２では、初期モデル７０のモデル構造を設定する。Ｓ１０４では、初期モデル７０におけるパラメータを推定する。続くＳ１０６では、事前ハイパーパラメータの設定を行ない、Ｓ１０８に進む。
【００６８】
Ｓ１０８では、状態分割の対象となるモデル（最初の処理では初期モデル７０、２回目の繰返し以降は分割後のモデル）構造の各状態において、変分法を用いて事後パラメータを推定する。Ｓ１１０では、状態分割の対象となるモデルの自由エネルギを計算する。続くＳ１１２では、分割前のモデル構造の自由エネルギと分割後のモデル構造の自由エネルギとを比較し、自由エネルギが収束しているか否かを判定する。より具体的には、分割前の自由エネルギと分割後の自由エネルギとの差分の絶対値が所定のしきい値よりも小さい場合に、自由エネルギが収束していると判定すればよい。判定結果が「ＹＥＳ」であった場合、状態分割を停止して、処理を終了する。判定結果が「ＮＯ」の場合、モデル中のすべての状態に対して、Ｓ１１４からＳ１１８までのステップで構成される時間方向分割処理と、Ｓ１２０からＳ１２４までのステップで構成される音素環境方向分割処理とを行なう。なお、Ｓ１１２の判定処理は、繰返し処理の最初には行なわず、２回目以降の繰返し時のみ実行する。
【００６９】
Ｓ１１４では、モデル中の１つの状態を時間方向に分割する。Ｓ１１６では、Ｓ１１４で時間方向分割した分割モデルの事後ハイパーパラメータを推定する。続くＳ１１８では、時間方向分割した分割モデルについて、自由エネルギを計算し、Ｓ１１０で求めた分割前のモデルとの間のエネルギ差分を算出する。
【００７０】
Ｓ１２０では、モデル中の１つの状態を音素環境方向に分割する。Ｓ１２２では、時間方向分割処理におけるＳ１１６と同様の処理を行ない、Ｓ１２０で音素環境方向分割した分割モデルの事後ハイパーパラメータを推定する。続くＳ１２４では、時間方向分割処理におけるＳ１１８と同様の処理を行ない、音素環境方向分割した分割モデルについて、自由エネルギを計算し、Ｓ１１０で求めた分割前のモデルとの間のエネルギ差分を算出する。
【００７１】
分割対象となったモデル中のすべての状態に対して、Ｓ１１４〜Ｓ１１８の処理及びＳ１２０〜Ｓ１２４の処理が終了すると、Ｓ１２６で分割モデルの選択を行なう。即ち、Ｓ１２６では、時間方向分割処理又は音素環境方向分割処理により生成された分割モデルのうち、Ｓ１１８及びＳ１２４のいずれかで算出したエネルギ差分が最大となるのはどれかを判定する。そして、エネルギ差分が最大となる分割モデルを選択し、記憶装置に記憶された隠れマルコフモデルを更新する。
【００７２】
続くＳ１２８では、選択したモデルのエネルギ差分を参照し、状態分割によって自由エネルギが減少したか否かを判定する。自由エネルギが減少していた場合、状態分割を停止し、処理を終了する。それ以外の場合、Ｓ１３０で、選択したモデルを、次回の状態分割の対象となるモデル構造とし、モデル構造のパラメータの再推定を行ない、Ｓ１０８に戻る。
【００７３】
＜動作＞
図５は、本実施の形態に係るモデル構造作成部８２が行なうＶＢ−ＳＳＳによる状態分割を模式的に示す図である。以下、図５を参照しつつ、本実施の形態に係るモデル構造作成部８２が行なうＶＢ−ＳＳＳ法による状態分割の動作を説明する。なお、図５では図１と同様にモデルの状態及びパスを示す。
【００７４】
初期モデル１５０は、図１に示す初期モデル２０と同様のものである。本実施の形態に係る状態分割では、図１に示す従来の逐次状態分割法における状態分割と同様の方法で、初期モデル１５０に対して時間方向分割及び音素環境方向分割を行なう。時間方向分割を行なうと第１の分割モデル１５２が作成される。また、音素環境方向に分割すると、第２の分割モデル１５４が作成される。
【００７５】
本実施の形態に係るモデル構造作成部８２は、まず、これら作成した各分割モデルの自由エネルギを計算し、自由エネルギが最大の分割モデルを選択する。ここでは、第２のモデル１５４が選択されたものとする。
【００７６】
この後、さらに本実施の形態に係るモデル構造作成部８２は、選択されたモデル１５６と、状態分割前のモデル（第１回目のモデル分割では初期モデル１５０がこれに相当する。）との自由エネルギを比較する。比較の結果、自由エネルギが減少していると判定された場合、又は収束していると判定された場合、モデル構造作成部８２はこの結果に基づき状態分割を停止し、選択されたモデル１５６を出力モデル１５８として出力する。出力されたモデルが図３に示すＨＭＭ８４となる。
【００７７】
それ以外の場合、選択されたモデル１５６のすべての状態に対して、時間方向及び状態方向状態の分割をそれぞれ行ない、新たな分割モデル１６０〜１６３を作成する。以後、新たな分割モデル１６０〜１６３に対し、上記したモデル１５２と１５４とに対し行なったものと同様の処理を実行する。このような処理を繰返すことにより、モデル構造作成部８２は、自由エネルギが減少するか、収束するまで、状態分割と、自由エネルギを選択規準とする分割モデルを選択と、分割前のモデル及び分割後のモデルの比較とを繰返す。その結果、自由エネルギが最大のモデル１６４が作成される。
【００７８】
図３を参照して、モデル構造作成部８２は、作成した自由エネルギが最大のモデル１６４を出力する。ＨＭＭ８４には、モデル構造作成部８２が作成したモデルが保持される。
【００７９】
音声認識装置８０は、このようにして作成されたＨＭＭ８４を用いて入力音声７６に対する音声認識を行なう。入力音声７６が音声認識装置８０に入力されると、特徴抽出部８６が、入力音声７６の音響的特徴を抽出し、そのデータを認識部８８に与える。認識部８８は、音響モデル部７４に保持されているＨＭＭ８４を用いて、与えられたデータに適合するような音素など言語情報の組合せ及びその順序を推定する。認識部８８は、推定した言語情報を、認識出力７８として出力する。
【００８０】
［実験］
本実施の形態に係るモデル構造の作成方法を用いてＨＭＭを作成し、作成したＨＭＭを用いて、切り出し音素認識実験と連続音声認識とを行なった。切り出し音素認識実験は音素区間ごとに切り出された区間に対して行なう音素識別実験である。この実験では、各音素区間に対し、最も良いスコアの音素モデルを認識結果とする。これにより、得られた各音素モデルの性能評価を行なうことができる。
【００８１】
本実施の形態に係るモデル構造の作成方法と比較を行なうために、尤度最大規準によるＭＬ−ＳＳＳ法、とＭＤＬ規準を分割及び停止規準とするＭＤＬ−ＳＳＳ法と用いてを用いて、切出し音素認識実験と連続音声認識とを行なった。さらに、ＭＬ−ＳＳＳ法では最大状態長を３としたモデルと、最大状態長４としたモデルとの２種類を作成し、実験を行なった。
【００８２】
ＭＤＬ−ＳＳＳ法では、下記の規準を用いた。
【００８３】
【数２７】
2005128263.tif 000029
ここでは、環境分割の対数尤度ゲインをＧC(ML)とし、時間方向分割の対数尤度ゲインをＧt(ML)とし、また、γt（Ｓi）を時刻に状態Ｓiに留まる確率とし、さらに、Γ（Ｓ）＝ΣiΣtγt（Ｓi）をすべての状態に対するサンプル数の期待値とする。Γ´（Ｓ）を時間分割後のΓ（Ｓ）の値とし、αc、α´cをそれぞれ分割前後のパラメータ数とする。なお、重み係数ＣcとＣtとは、それぞれＣc＝２とＣt＝２０とした。
【００８４】
音響モデル学習データとして、出願人において作成した旅行会話タスクデータベースより男性１６６人の日本語対話音声、約２.１時間分を用いた。また、評価には，同じデータベースから学習データに含まれない１７人の男性話者による２１３発話を用いた。なお、本実験では、変分ベイズ法を分割及び停止時の規準としてのみ用いた。認識実験では、従来通りのＨＭＭによる計算を行なった。さらに、単語連続音声認識実験を行なった。この実験には、言語モデルとして、多重クラス複合ｂｉｇｒａｍモデルを用い、語彙サイズは５千単語とした。音声データのサンプリング周波数は１６（ｋＨｚ）、フレーム長は２０ｍｓ、フレーム周期は１０ｍｓとした。特徴量として１２次ＭＦＣＣ（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  Ｃｏｅｆｆｉｃｉｅｎｔ）、ΔＭＦＣＣ、及びΔ対数パワーを用いた。ケプストラム平均正規化は発話単位で行なった．音素体系として２６種類の音素とひとつの無音を用いた。音素ごとに音響モデル構造を作成し，初期モデルはそれぞれ３状態モデルとした。構造作成中は１状態につき１ガウス分布を用いた。無音モデルは３状態で音素モデルとは別に作成した。
【００８５】
上記の通り、変分ベイズ法では一般に事前ハイパーパラメータの設定が必要になる。いくつかの予備実験から、本実験では、事前ハイパーパラメータをφ0＝０．１、ξ0＝１．０、η0＝２．０とした。ν0kとｂ0kとについては、実際の分布の平均ベクトル及び精度行列を基に設定を行なった。
【００８６】
それぞれのモデルを用いた音素認識実験について、図６及び図７に、モデルの状態数と母音に対する音素認識率との関係、及び同じく状態数に対する子音に対する音素認識率をそれぞれ示す。さらに、図８に、モデル内の状態数と、子音の音素認識率及び母音の音素認識率の平均値との関係を示す。
【００８７】
これらの図には、最大状態長３及び４のＭＬ−ＳＳＳ法によるもの、ＭＤＬ−ＳＳＳ法によるもの、並びに本実施の形態に係る変分ベイズ法を用いた逐次分割法（ＶＢ−ＳＳＳ法）によるものを示す。これらの図においては、少ない状態数であり、かつ高い音素認識率となる方法が、より高性能のモデル構造作成方法となる。
【００８８】
図６、図７、及び図８より、本実施の形態に係るＶＢ−ＳＳＳ法では、特に母音に対しての音素認識率は、従来の方法より高い値となることが示されている。また、ＭＤＬ−ＳＳＳ法では状態数が小さいモデルが推定され、他のモデル構造作成方法によるモデルに比べて、音素認識率が低い値となっている。これは、ＭＤＬ規準が、少量の学習データでは十分なモデル構造を作成する性能を発揮しないことを示していると考えられる。
【００８９】
さらに、切り出し音素認識実験で用いたものと同一の評価データを用いて、語彙５千単語での単語連続認識実験を行なった。なお、評価には、音素認識実験と同様に単一分布モデルを用いた。図９に３種類の方法による単語認識率を示す。
【００９０】
図９を参照して、本実施の形態に係るＶＢ−ＳＳＳ法によるモデルでは、状態数１３３０のモデルで７１パーセント以上の単語認識率となった。ＭＬ−ＳＳＳ法で同等の単語認識率を得るには、状態数２２００程度のモデルを作成する必要があることが示された。よって、本実施の形態に係る方法で作成したモデルは、ベースラインのＭＬ−ＳＳＳ法で得られたモデルの約６０％のモデルサイズで、同等の性能が得られることになる。
【００９１】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内でのすべての変更を含む。
【図面の簡単な説明】
【００９２】
【図１】音響モデル構造の作成における、状態分割の概念を示す模式図である。
【図２】変分ベイズ法を用いた逐次状態分割法における、確率変数間の関係を模式的に示す図である。
【図３】本発明の実施の形態に係る音声認識システムの機能的構成を示す図である。
【図４】モデル構造作成処理のアルゴリズムを示すフローチャートである。
【図５】モデル構造作成部８２が行なうＶＢ−ＳＳＳによる状態分割を模式的に示す図である。
【図６】モデルの状態数と母音に対する音素認識率との関係を示すグラフである。
【図７】モデルの状態数と子音に対する音素認識率との関係を示すグラフである。
【図８】モデルの状態数と音素認識率の平均値との関係を示すグラフである。
【図９】モデルの状態数と単語認識率との関係を示すグラフである。
【符号の説明】
【００９３】
４０、４２、４４、４６、４８  事前ハイパーパラメータ、５０  状態数、５２  遷移確率の数、５４  平均ベクトル、５６  精度行列、５８  遷移確率、６０  潜在変数、６２  観察データ、７０  初期モデル、７２  学習データ、７４  音響モデル部、７６  入力音声、７８  認識出力、８０  音声認識装置、８２  モデル構造作成部、８４  ＨＭＭ、８６  特徴抽出部、８８  認識部
【図１】
2005128263.tif 000030
【図２】
2005128263.tif 000031
【図３】
2005128263.tif 000032
【図４】
2005128263.tif 000033
【図５】
2005128263.tif 000034
【図６】
2005128263.tif 000035
【図７】
2005128263.tif 000036
【図８】
2005128263.tif 000037
【図９】
2005128263.tif 000038