【手続補正書】
【提出日】平成17年5月13日(2005.5.13)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
非特許文献３に記載の方法では、漸近性を仮定しないベイズ的規準を用いるため、非特許文献１及び２の問題を解決することができる。しかし、この方法では、従来の決定木クラスタリングと同様に、状態ごとの区間を既知として定義している。即ち、音素環境方向の分割のみを考慮しているため、時間方向の詳細なモデル構造を自動的に作成できない。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
第ｉ状態を分割するとき、分割前のパラメータ集合がΘiである第ｉ状態を、第ｉ１状態と第ｉ２状態とに分割した場合の分割後のパラメータ集合を＾Θiとすると、分割モデルを選択するための規準である分割規準となる評価関数は、ベイズ変分法における自由エネルギＦ（ＶＢ）を用いて下記のように表現できる。
【数４】
2005128263.tif 000001
ここでｎは、学習回数即ち状態分割及び選択の回数を表わす。なお、Ｆ（ＶＢ）の導出方法については後述する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
【数６】
2005128263.tif 000002
また、出力確率の平均ベクトルμと精度行列Ｓとの結合事前分布に正規ガンマ分布を仮定する。ガンマ分布は、ガンマ関数Γ（）を用いて、以下のように表される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】変更
【補正の内容】
【００６８】
Ｓ１０８では、状態分割の対象となるモデル（最初の処理では初期モデル７０、２回目の繰返し以降は分割後のモデル）構造の各状態において、変分法を用いて事後ハイパーパラメータを推定する。Ｓ１１０では、状態分割の対象となるモデルの自由エネルギを計算する。続くＳ１１２では、分割前のモデル構造の自由エネルギと分割後のモデル構造の自由エネルギとを比較し、自由エネルギが収束しているか否かを判定する。より具体的には、分割前の自由エネルギと分割後の自由エネルギとの差分の絶対値が所定のしきい値よりも小さい場合に、自由エネルギが収束していると判定すればよい。判定結果が「ＹＥＳ」であった場合、状態分割を停止して、処理を終了する。判定結果が「ＮＯ」の場合、モデル中のす
べての状態に対して、Ｓ１１４からＳ１１８までのステップで構成される時間方向分割処理と、Ｓ１２０からＳ１２４までのステップで構成される音素環境方向分割処理とを行なう。なお、Ｓ１１２の判定処理は、繰返し処理の最初には行なわず、２回目以降の繰返し時のみ実行する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００７３
【補正方法】変更
【補正の内容】
【００７３】
＜動作＞
図５は、本実施の形態に係るモデル構造作成部８２が行なうＶＢ−ＳＳＳ法による状態分割を模式的に示す図である。以下、図５を参照しつつ、本実施の形態に係るモデル構造作成部８２が行なうＶＢ−ＳＳＳ法による状態分割の動作を説明する。なお、図５では図１と同様にモデルの状態及びパスを示す。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】変更
【補正の内容】
【００７７】
それ以外の場合、選択されたモデル１５６のすべての状態に対して、時間方向及び状態方向の分割をそれぞれ行ない、新たな分割モデル１６０〜１６３を作成する。以後、新たな分割モデル１６０〜１６３に対し、上記したモデル１５２と１５４とに対し行なったものと同様の処理を実行する。このような処理を繰返すことにより、モデル構造作成部８２は、自由エネルギが減少するか、収束するまで、状態分割と、自由エネルギを選択規準とする分割モデルの選択と、分割前のモデル及び分割後のモデルの比較とを繰返す。その結果、自由エネルギが最大のモデル１６４が作成される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
音声認識装置８０は、このようにして作成されたＨＭＭ８４を用いて入力音声７６に対する音声認識を行なう。入力音声７６が音声認識装置８０に入力されると、特徴抽出部８６が、入力音声７６の音響的特徴を抽出し、そのデータを認識部８８に与える。認識部８８は、ＨＭＭ８４を用いて、与えられたデータに適合するような音素など言語情報の組合せ及びその順序を推定する。認識部８８は、推定した言語情報を、認識出力７８として出力する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
本実施の形態に係るモデル構造の作成方法と比較を行なうために、尤度最大規準によるＭＬ−ＳＳＳ法と、ＭＤＬ規準を分割及び停止規準とするＭＤＬ−ＳＳＳ法とを用いて、切出し音素認識実験と連続音声認識とを行なった。さらに、ＭＬ−ＳＳＳ法では最大状態長を３としたモデルと、最大状態長を４としたモデルとの２種類を作成し、実験を行なった。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】変更
【補正の内容】
【００８３】
【数２７】
2005128263.tif 000003
ここでは、環境分割の対数尤度ゲインをＧｃ（ＭＬ）とし、時間方向分割の対数尤度ゲインをＧt（ＭＬ）とし、また、γｔ（Ｓｉ）を時刻ｔに状態Ｓｉに留まる確率とし、さらに、Γ（Ｓ）＝ΣｉΣｔγｔ（Ｓｉ）をすべての状態に対するサンプル数の期待値とする。Γ´（Ｓ）を時間分割後のΓ（Ｓ）の値とし、αｃ、α´ｃをそれぞれ分割前後のパラメータ数とする。なお、重み係数ＣｃとＣｔとは、それぞれＣｃ＝２とＣｔ＝２０とした。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【００８４】
音響モデル学習データとして、出願人において作成した旅行会話タスクデータベースより男性１６６人の日本語対話音声、約２.１時間分を用いた。また、評価には，同じデータベースから学習データに含まれない１７人の男性話者による２１３発話を用いた。なお、本実験では、変分ベイズ法を分割及び停止時の規準としてのみ用いた。認識実験では、従来通りのＨＭＭによる計算を行なった。さらに、単語連続音声認識実験を行なった。この実験には、言語モデルとして、多重クラス複合ｂｉｇｒａｍモデルを用い、語彙サイズは５千単語とした。音声データのサンプリング周波数は１６（ｋＨｚ）、フレーム長は２０ｍｓ、フレーム周期は１０ｍｓとした。特徴量として１２次ＭＦＣＣ（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  Ｃｏｅｆｆｉｃｉｅｎｔ）、ΔＭＦＣＣ、及びΔ対数パワーを用いた。ケプストラム平均正規化は発話単位で行なった。音素体系として２６種類の音素とひとつの無音を用いた。音素ごとに音響モデル構造を作成し，初期モデルはそれぞれ３状態モデルとした。構造作成中は１状態につき１ガウス分布を用いた。無音モデルは３状態で音素モデルとは別に作成した。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正の内容】
【００８６】
それぞれのモデルを用いた音素認識実験について、図６及び図７に、モデルの状態数と母音に対する音素認識率との関係、及び同じく状態数に対する子音に対する音素認識率をそれぞれ示す。さらに、図８に、モデルの状態数と、子音の音素認識率及び母音の音素認識率の平均値との関係を示す。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００９２
【補正方法】変更
【補正の内容】
【００９２】
【図１】音響モデル構造の作成における、状態分割の概念を示す模式図である。
【図２】変分ベイズ法を用いた逐次状態分割法における、確率変数間の関係を模式的に示す図である。
【図３】本発明の実施の形態に係る音声認識システムの機能的構成を示す図である。
【図４】モデル構造作成処理のアルゴリズムを示すフローチャートである。
【図５】モデル構造作成部８２が行なうＶＢ−ＳＳＳ法による状態分割を模式的に示す図である。
【図６】モデルの状態数と母音に対する音素認識率との関係を示すグラフである。
【図７】モデルの状態数と子音に対する音素認識率との関係を示すグラフである。
【図８】モデルの状態数と音素認識率の平均値との関係を示すグラフである。
【図９】モデルの状態数と単語認識率との関係を示すグラフである。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００９３
【補正方法】変更
【補正の内容】
【００９３】
４０、４２、４４、４６、４８  事前ハイパーパラメータ、５０  状態数、５２  遷移確率の数、５４  平均ベクトル、５６  精度行列、５８  遷移確率、６０  潜在変数、６２  観察データ、７０  初期モデル、７２  学習データ、７６  入力音声、７８  認識出力、８０  音声認識装置、８２  モデル構造作成部、８４  ＨＭＭ、８６  特徴抽出部、８８  認識部