【手続補正書】
【提出日】平成17年5月13日(2005.5.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声認識システムで使用するためのＨＭＭ（隠れマルコフモデル）を準備する方法であって、
ＨＭＭを予め規定された初期状態に初期化するステップと、
音声の調音運動データと音響データとを含むトレーニング用データを準備するステップとを含み、前記トレーニング用データは対応する音素状態によりラベル付けされ、さらに、
予め定められたＨＭＭ／ＢＮ（隠れマルコフモデル／ベイズネットワーク）モデルに従って、前記ＨＭＭを前記トレーニング用データでトレーニングするステップを含む、方法。
【請求項２】
前記トレーニングするステップが、
ビタビアライメントアルゴリズムに従って前記トレーニング用データを時間的にアライメントし、状態分離したものを得るステップと、
前記音素状態によりラベル付けされた前記トレーニング用データを用いてベイズネットワーク（ＢＮ）をトレーニングするステップと、
前方―後方アルゴリズムを用いてＨＭＭの遷移確率を更新するステップと、
前記得るステップ、前記ベイズネットワークをトレーニングするステップ及び前記更新するステップを、予め定められた条件が満たされるまで繰返すステップとを含む、請求項１に記載の方法。
【請求項３】
前記繰返すステップが、前記ＨＭＭで計算されたトレーニング用データの尤度の増加が予め定められたしきい値を下回るまで、前記得るステップ、前記ベイズネットワークをトレーニングするステップ及び前記更新するステップを繰返すステップを含む、請求項２に記載の方法。
【請求項４】
前記繰返すステップが、前記得るステップ、前記ベイズネットワークをトレーニングするステップ及び前記更新するステップを予め定められた回数繰返すステップを含む、請求項２に記載の方法。
【請求項５】
前記初期化するステップが、前記ＨＭＭの初期モデルパラメータをランダムに設定するステップを含む、請求項１〜請求項４のいずれかに記載の方法。
【請求項６】
前記初期化するステップが、ブートストラップＨＭＭを準備するステップを含む、請求項１〜請求項４のいずれかに記載の方法。
【請求項７】
前記ＢＮモデルの全ての変数は可視であり、
前記ＢＮをトレーニングするステップが、前記トレーニング用データを用いて最尤アルゴリズムを用いて前記ＢＮをトレーニングするステップを含む、請求項２〜請求項４のいずれかに記載の方法。
【請求項８】
前記ＢＮモデルの変数は可視でない変数を含み、
前記ＢＮをトレーニングするステップは、前記トレーニング用データを用いてＥＭアルゴリズムにより前記ＢＮをトレーニングするステップを含む、請求項２〜請求項４のいずれかに記載の方法。
【請求項９】
コンピュータ上で実行されると、請求項１〜請求項８のいずれかに記載のステップ全てをコンピュータに行なわせる、コンピュータで実行可能なプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
非特許文献１において、デンは調音運動の音声に対する効果を、２次運動方程式を用いてダイナミック特性をモデリングすることによって考察し、この考え方を音声認識に応用した。ホグデン及びバルデスは、ＭＡＬＣＯＭと呼ばれる方法を提案し（非特許文献２）、調音運動を仮想音声生成空間における連続した運動として取り扱い、調音運動の連続性を用いて音声パラメータの非連続性を幾分か補償している。ガオらはカルマンフィルタと多層パーセプトロンネットワークとの組合せにより音声生成と音声認識との双方の統一モデルを構築しようとしている（非特許文献３）。非特許文献４では、エリヤ及びフリーマンはＨＭＭベースの調音特徴モデル（ＡＦＭ）を提案している。このモデルでは、各状態は幾つかの隠れ調音運動特徴量によって定義される調音運動空間の１点を表す。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
【非特許文献１】１．デン、リー、『音声のモデリング及び認識のための音韻論と音声学とのインターフェースへのダイナミック、特徴ベースのアプローチ』、言語通信、２４、Ｎｏ．４、２９９−３２３，１９９８年。（Ｄｅｎｇ，  Ｌｉ，  “Ａ  ｄｙｎａｍｉｃ，  ｆｅａｔｕｒｅ−ｂａｓｅｄ  ａｐｐｒｏａｃｈ  ｔｏ  ｔｈｅ  ｉｎｔｅｒｆａｃｅ  ｂｅｔｗｅｅｎ  ｐｈｏｎｏｌｏｇｙ  ａｎｄ  ｐｈｏｎｅｔｉｃｓ  ｆｏｒ  ｓｐｅｅｃｈ  ｍｏｄｅｌｉｎｇ  ａｎｄ  ｒｅｃｏｇｎｉｔｉｏｎ，”  Ｓｐｅｅｃｈ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ．  Ｖｏｌ．  ２４，  Ｎｏ．  ４，  ｐｐ．  ２９９−３２３，  １９９８．）
【非特許文献２】２．ホグデン、J．及びバルデス、P．『音声認識の基礎としての推計学的調音‐音声マッピング』、ＩＥＥＥ  ＩＭＴＣ予稿集、第２巻、１１０５−１１１０頁、２００１年。（Ｈｏｇｄｅｎ，  Ｊ．  ａｎｄ  Ｖａｌｄｅｚ，  Ｐ．，  “Ａ  ｓｔｏｃｈａｓｔｉｃ  ａｒｔｉｃｕｌａｔｏｒｙ−ｔｏ−ａｃｏｕｓｔｉｃ  ｍａｐｐｉｎｇ  ａｓ  ａ  ｂａｓｉｓ  ｆｏｒ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ”，  Ｐｒｏｃ．  ＩＥＥＥ  ＩＭＴＣ，  Ｖｏｌ．２，  ｐｐ．１１０５−１１１０，  ２００１．）
【非特許文献３】３．Ｙ．ガオ、Ｒ．バキス、Ｊ．ファン及びＢ．キアン、『調音運動、フォルマント及びケプストラム特徴を組合せた多段階調音結合モデル』、ＩＣＳＬＰ予稿集、２５−２８頁、２０００年。（Ｇａｏ，  Ｙ．，  Ｂａｋｉｓ，  Ｒ．，  Ｈｕａｎｇ，  Ｊ．  ａｎｄ  Ｘｉａｎｇ  Ｂ．，  “Ｍｕｌｔｉｓｔａｇｅ  ｃｏ−ａｒｔｉｃｕｌａｔｉｏｎ  ｍｏｄｅｌ  ｃｏｍｂｉｎｉｎｇ  ａｒｔｉｃｕｌａｔｏｒｙ，  ｆｏｒｍａｎｔ  ａｎｄ  ｃｅｐｓｔｒａｌ  ｆｅａｔｕｒｅｓ”，  Ｐｒｏｃ．  ＩＣＳＬＰ，  ｐｐ．２５−２８，  ２０００．）
【非特許文献４】４．エリヤ、Ｋ．及びフリーマン、Ｊ．『音声認識のための調音運動特徴の使用』ＩＥＥＥ  通信、コンピュータ及び信号処理カンファレンス予稿集、５６２−５６６頁、１９９５年。（Ｅｒｉｅｒ，  Ｋ．  ａｎｄ  Ｆｒｅｅｍａｎ，  Ｊ．，  “Ｕｓｉｎｇ  ａｒｔｉｃｕｌａｔｏｒｙ  ｆｅａｔｕｒｅｓ  ｆｏｒ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ”，  Ｐｒｏｃ．  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，  Ｃｏｍｐｕｔｅｒｓ  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ，  ｐｐ．５６２−５６６，  １９９５．）
【非特許文献５】５．マルコフ、K．及びナカムラ、Ｓ．『自動音声認識のためのハイブリッドＨＭＭ／ＢＮ音響モデル』、ＩＥＩＣＥＴｒａｎｓ． Ｉｎｆ．＆ Ｓｙｓｔ．，Ｖｏｌ．Ｅ８６−Ｄ， Ｎｏ． ３， ４３８−４４５頁，２００３年。（Ｍａｒｋｏｖ，  Ｋ．  ａｎｄ  Ｎａｋａｍｕｒａ，  Ｓ．，  “Ａ  Ｈｙｂｒｉｄ  ＨＭＭ／ＢＮ  ａｃｏｕｓｔｉｃ  ｍｏｄｅｌ  ｆｏｒ  ａｕｔｏｍａｔｉｃ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ”，  ＩＥＩＣＥ  Ｔｒａｎｓ．  Ｉｎｆ．  ＆  Ｓｙｓｔ．，  Ｖｏｌ．Ｅ８６−Ｄ，  Ｎｏ．３，  ｐｐ．４３８−４４５，  ２００３．）
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
トレーニングするステップは、ビタビアライメントアルゴリズムに従って、トレーニング用データを時間的にアライメントし、状態分離したものを得るステップと、音素状態によりラベル付けされたトレーニング用データを用いてＢＮをトレーニングするステップと、前方―後方アルゴリズムを用いてＨＭＭの遷移確率を更新するステップと、得るステップ、ＢＮをトレーニングするステップ及び更新するステップを、予め定められた条件が満たされるまで繰返すステップとを含んでも良い。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
好ましくは、繰返すステップは、ＨＭＭで計算されたトレーニング用データの尤度の増加が予め定められたしきい値を下回るまで、得るステップ、ベイズネットワークをトレーニングするステップ及び更新するステップを繰返すステップを含む。または、このステップを予め定められた回数だけ繰返しても良い。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
この発明の一実施の形態に従った音声認識システムは、観察された調音運動データを利用するが、ただし音響モデルのトレーニングにのみ利用する。認識の際には、システムは標準的なＭＦＣＣ（メル‐周波数ケプストラム係数）特徴量の形の音響データを用いるだけである。このようなシナリオを可能にするために、この実施例のシステムは、非特許文献５で論じられたハイブリッドＨＭＭ／ＢＮモデルを利用する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
図１はこの実施例に従った音声認識システム１０の全体構造を示す。図１を参照して、音声認識システム１０は磁気センサ調音観測システム（ｅｌｅｃｔｒｏｍａｇｎｅｔｉｃ  ｍｉｄｓａｇｉｔｔａｌ  ａｒｔｉｃｕｌｏｇｒａｐｈｉｃ：ＥＭＭＡ）システム２８と、マイクロフォン３０と、ＥＭＭＡシステム２８を用いて収集された調音運動データ及びマイクロフォン３０を用いて収集された音響データを使用してＨＭＭ／ＢＮ４８をトレーニングするためのトレーニングユニット２０と、マイクロフォン２２から与えられる音響データの音声認識をＨＭＭ／ＢＮ４８を用いて行ない、認識されたテキスト２６を出力するための音声認識ユニット２４とを含む。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
再び図１を参照して、トレーニングユニット２０はＥＭＭＡシステム２８及びマイクロフォン３０からの出力をディジタル化し記録するための記録モジュール４０と、記録モジュール４０によって記録された調音運動データ及び音響データを記憶するための記憶装置４１と、記憶装置４１に記憶された調音運動データから調音特徴量を抽出するための調音運動特徴量抽出モジュール４２と、記憶装置４１に記憶された音声データから音響特徴量を抽出するための音響特徴量抽出モジュール４３と、調音運動特徴量抽出モジュール４２及び音響特徴量抽出モジュール４３により抽出された特徴量を要素とする特徴ベクトルを含むトレーニング用データセットを記憶する記憶装置４４と、記憶装置４４に記憶されたトレーニング用データセットを用いてＨＭＭ／ＢＮ４８をトレーニングするＨＭＭ／ＢＮトレーニングモジュール４６とを含む。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
図３は図２に示す調音運動特徴量抽出モジュール４２の詳細な構成を示す。図３を参照して、調音運動抽特徴量出モジュール４２は、調音運動データに主成分分析を行なって最初の４個の成分を出力し、それによってデータの次元を１６から４に減少させる主成分分析（ＰＣＡ）モジュール７２と、ＰＣＡモジュール７２から出力される次元の減じられたデータに対してベクトル量子化を適用するためのベクトル量子化（ＶＱ）モジュール７４とを含む。ＰＣＡでのデータ損失は２０％未満である。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
このモデルは２組の確率で記述することができる。それらは、ＨＭＭ遷移確率Ｐ(ｑｊ｜ｑｉ)とベイズネットワーク１１０Ｐ(Ｘ１，…，ＸＫ)の同時確率分布である。ここでＸｉ，  ｉ=１，…，ＫはＢＮ変数である。ＢＮの同時確率密度関数（ＰＤＦ）は次のように書ける。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
【数１】
2005134496.tif 000001
ここで、Ｐａ(Ｘｉ)は変数Ｘｉの親である。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
図５は単純な状態ＢＮ構造の例を示す。この構造は、３個の変数Ｑ、Ｘ、Ｙを有し、それらはそれぞれノード１１０、１１４、１１２で示される。図５において、円は連続変数を示し、四角は離散変数を示す。従って、ＱとＹとは離散的であり、Ｘは連続である。弧は親ノードと子ノードとの依存性を示す。これは子が離散的である場合は条件付確率表（ＣＰＴ）により、子が連続であればガウスＰＤＦにより、モデル化できる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
【数３】
2005134496.tif 000002
ここでもしＰ（Ｙ＝ｙ｜Ｑ）を単にガウスＰ（Ｘ｜Ｙ＝ｙ，Ｑ）の混合の重み係数であるとして扱えば、この式は実は従来のガウス分布の混合と等価であることが分る。この処理をした後には、ＨＭＭ／ＢＮ状態出力の計算は標準ＨＭＭと同じになる。従って、既存のＨＭＭデコーダを何ら修正することなく、ＨＭＭ／ＢＮモデルでも動作させることができる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
図８を参照して、このプログラムは、コンピュータ１４０で実行されると以下のステップを含む方法をコンピュータ１４０に行なわせる複数の命令を含む。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
収束チェック（ステップ２０８）：収束の基準（トレーニングデータの尤度増加または予め設定した繰返し数）を満たせば停止、そうでなければステップ２０２に進む。すなわち、ＨＭＭで計算したトレーニングデータの尤度の増加が予め定められたしきい値を下回れば繰返しは終了する。又はこれに代えて、これらのステップが予め定められた回数だけ行なわれたら、繰返しを終了する。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
この実施例の音声認識システム１０は以下のように動作する。図１を参照して、ＨＭＭ／ＢＮ４８の初期モデルとして音響特徴量に対し先行技術のトレーニング方法を用いてブートストラップＨＭＭが準備される。図２に示すように、話者の調音器官の予め定められた個所にコイルが装着される。話者は一組の文を読む。ＥＭＭＡシステム２８はコイルの位置を感知し、記録モジュール４０にアナログ信号を出力する。マイクロフォン３０が記録モジュール４０にアナログ音声信号を出力する。記録モジュール４０は信号をディジタル化し、これらをベクトルのフォーマットで記憶する。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正の内容】
【００７０】
【図１】この発明の一実施例に従った音声認識システムのブロック図である。
【図２】ＥＭＭＡシステムで用いられる受信コイルの配置と、調音運動データを収集するのに用いられる座標システムとを示す図である。
【図３】調音運動データ抽出モジュール４２のブロック図である。
【図４】この発明の実施例で用いられるＨＭＭ／ＢＮモデルの概略を示す図である。
【図５】この発明の実施例で用いられる単純なＢＮモデルの概略を示す図である。
【図６】コンピュータの外観図である。
【図７】コンピュータの機能ブロック図である。
【図８】ＨＭＭ／ＢＮトレーニングアルゴリズムのフローチャートである。
【図９】第１の話者について、音響データのみ用いた場合（白のバー）と、音響データ及び調音運動データを用いた場合（ハッチングしたバー）との、音素認識精度を示す図である。
【図１０】第２の話者について、音響データのみ用いた場合（白のバー）と、音響データ及び調音運動データを用いた場合（ハッチングした）との、音素認識精度を示す図である。
【図１１】第３の話者について、音響データのみ用いた場合（白のバー）と、音響データ及び調音運動データを用いた場合（ハッチングしたバー）との、音素認識精度を示す図である。
【図１２】複数話者モデルの結果を示す図である。
【手続補正１８】
【補正対象書類名】図面
【補正対象項目名】図９
【補正方法】変更
【補正の内容】
【図９】
2005134496.tif 000003
【手続補正１９】
【補正対象書類名】図面
【補正対象項目名】図１１
【補正方法】変更
【補正の内容】
【図１１】
2005134496.tif 000004