(57)【要約】【課題】調音運動データを音響データと組合せる実際的な音声認識システムを実現する。【解決手段】ＨＭＭ（隠れマルコフモデル）を準備する方法は、ＨＭＭを予め規定された初期状態に初期化するステップ２００と、音声の調音運動データと音響データとを含むトレーニング用データを準備するステップとを含む。トレーニング用データは対応する音素状態でラベル付けされる。この方法はさらに、予め定められたＨＭＭ／ＢＮ（ベイズネットワーク）モデルに従って、ＨＭＭをトレーニング用データでトレーニングするステップ２０２、２０４、２０６、２０８を含む【選択図】        図８
2005134496.tif 000002
【特許請求の範囲】
【請求項１】
音声認識システムで使用するためのＨＭＭ（隠れマルコフモデル）を準備する方法であって、
ＨＭＭを予め規定された初期状態に初期化するステップと、
音声の調音運動データと音響データとを含むトレーニング用データを準備するステップとを含み、前記トレーニング用データは対応する音素状態によりラベル付けされ、さらに、
予め定められたＨＭＭ／ＢＮ（隠れマルコフモデル／ベイズネットワーク）モデルに従って、前記ＨＭＭを前記トレーニング用データでトレーニングするステップを含む、方法。
【請求項２】
前記トレーニングするステップが、
ビタビアライメントアルゴリズムに従って前記トレーニング用データを時間的にアライメントし、状態分離を行なうステップと、
前記音素状態によりラベル付けされた前記トレーニング用データを用いてベイズネットワーク（ＢＮ）をトレーニングするステップと、
前方―後方アルゴリズムを用いてＨＭＭの遷移確率を更新するステップと、
前記獲得するステップ、前記ベイズネットワークをトレーニングするステップ及び前記更新するステップを、予め定められた条件が満たされるまで繰返すステップとを含む、請求項１に記載の方法。
【請求項３】
前記繰返すステップが、前記ＨＭＭで計算されたトレーニング用データの尤度の増加が予め定められたしきい値を下回るまで、前記獲得するステップ、前記ベイズネットワークをトレーニングするステップ及び前記更新するステップを繰返すステップを含む、請求項２に記載の方法。
【請求項４】
前記繰返すステップが、前記獲得するステップ、前記ベイズネットワークをトレーニングするステップ及び前記更新するステップを予め定められた回数繰返すステップを含む、請求項２に記載の方法。
【請求項５】
前記初期化するステップが、前記ＨＭＭの初期モデルパラメータをランダムに設定するステップを含む、請求項１〜請求項４のいずれかに記載の方法。
【請求項６】
前記初期化するステップが、ブートストラップＨＭＭを準備するステップを含む、請求項１〜請求項４のいずれかに記載の方法。
【請求項７】
前記ＢＮモデルの全ての変数は可視であり、
前記ＢＮをトレーニングするステップが、前記トレーニング用データを用いて最尤アルゴリズムを用いて前記ＢＮをトレーニングするステップを含む、請求項２〜請求項４のいずれかに記載の方法。
【請求項８】
前記ＢＮモデルの変数は可視でない変数を含み、
前記ＢＮをトレーニングするステップは、前記トレーニング用データを用いてＥＭアルゴリズムにより前記ＢＮをトレーニングするステップを含む、請求項２〜請求項４のいずれかに記載の方法。
【請求項９】
コンピュータ上で実行されると、請求項１〜請求項８のいずれかに記載のステップ全てをコンピュータに行なわせる、コンピュータで実行可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は自動音声認識（ａｕｔｏｍａｔｉｃ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ：ＡＳＲ）に関し、特に、調音運動を制約条件として用いて、人間の音声生成メカニズムをＡＳＲのアプローチと組合せることに関する。
【背景技術】
【０００２】
最新の音声認識システムのほとんどは隠れマルコフモデル（ＨＭＭ）フレームワークに基づいている。ＨＭＭモデルのフレームワークでは、音声は、ばらばらに分離された重なりのない単位のシーケンスとしてモデル化される。このアプローチは今までのところ非常に成功してはいるが、人間の音声生成メカニズムをさほど考慮したものではない。これまでも、ＨＭＭは音声生成プロセスの非常に不正確なモデルである、と言われてきた。
【０００３】
調音結合は、音声生成ではありふれた現象であるが、これをＡＳＲにおいて考慮に入れるために、隠れダイナミックモデルに基づくいくつかのモデルが提案されている。このようなモデルは音声生成の物理的プロセスを記述し、隣接するフレーム及び音素間の調音結合と遷移とを考慮しようとする。
【０００４】
非特許文献１において、デンは調音運動の音声に対する効果を、２次運動方程式を用いてダイナミック特性をモデリングすることによって考察し、この考え方を音声認識に応用した。ホグデン及びバルデスは、ＭＡＬＣＯＭと呼ばれる方法を提案し（非特許文献２）、調音運動を仮想音声生成空間における連続した運動として取り扱い、調音運動の連続性を用いて音声パラメータの非連続性を幾分か補償している。ガオらはカルマンフィルタと多層パーセプトロンネットワークとの組合せにより音声生成と音声認識との双方の統一モデルを構築しようとしている（非特許文献３）。非特許文献４では、エルラー及びフリーマンはＨＭＭベースの調音特徴モデル（ＡＦＭ）を提案している。このモデルでは、各状態は幾つかの隠れ調音運動特徴量によって定義される調音運動空間の１点を表す。
【０００５】
【非特許文献１】１．デン、リー、『音声のモデリング及び認識のための音韻論と音声学とのインターフェースへのダイナミック、特徴ベースのアプローチ』言語通信、２４、２９９−３２３，１９９８年。（Ｄｅｎｇ，  Ｌｉ，  “Ａ  ｄｙｎａｍｉｃ，  ｆｅａｔｕｒｅ−ｂａｓｅｄ  ａｐｐｒｏａｃｈ  ｔｏ  ｔｈｅ  ｉｎｔｅｒｆａｃｅ  ｂｅｔｗｅｅｎ  ｐｈｏｎｏｌｏｇｙ  ａｎｄ  ｐｈｏｎｅｔｉｃｓ  ｆｏｒ  ｓｐｅｅｃｈ  ｍｏｄｅｌｉｎｇ  ａｎｄ  ｒｅｃｏｇｎｉｔｉｏｎ，”  Ｓｐｅｅｃｈ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ．  Ｖｏｌ．  ２４，  Ｎｏ．  ４，  ｐｐ．  ２９９−３２３，  １９９８．）
【非特許文献２】２．ホグデン、J．及びバルデス、P．『音声認識の基礎としての推計学的調音‐音声マッピング』、ＩＥＥＥ  ＩＭＴＣ予稿集、第２巻、１１０５−１１１０頁、２００１年。（Ｈｏｇｄｅｎ，  Ｊ．  ａｎｄ  Ｖａｌｄｅｚ，  Ｐ．，  “Ａ  ｓｔｏｃｈａｓｔｉｃ  ａｒｔｉｃｕｌａｔｏｒｙ−ｔｏ−ａｃｏｕｓｔｉｃ  ｍａｐｐｉｎｇ  ａｓ  ａ  ｂａｓｉｓ  ｆｏｒ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ”，  Ｐｒｏｃ．  ＩＥＥＥ  ＩＭＴＣ，  Ｖｏｌ．２，  ｐｐ．１１０５−１１１０，  ２００１．）
【非特許文献３】３．Ｙ．ガオ、Ｒ．バキス、Ｊ．ファン及びＢ．キアン、『調音運動、フォルマント及びケプストラム特徴を組合せた多段階調音結合モデル』、ＩＣＳＬＰ予稿集、２５−２８頁、２０００年。（Ｇａｏ，  Ｙ．，  Ｂａｋｉｓ，  Ｒ．，  Ｈｕａｎｇ，  Ｊ．  ａｎｄ  Ｘｉａｎｇ  Ｂ．，  “Ｍｕｌｔｉｓｔａｇｅ  ｃｏ−ａｒｔｉｃｕｌａｔｉｏｎ  ｍｏｄｅｌ  ｃｏｍｂｉｎｉｎｇ  ａｒｔｉｃｕｌａｔｏｒｙ，  ｆｏｒｍａｎｔ  ａｎｄ  ｃｅｐｓｔｒａｌ  ｆｅａｔｕｒｅｓ”，  Ｐｒｏｃ．  ＩＣＳＬＰ，  ｐｐ．２５−２８，  ２０００．）
【非特許文献４】４．エリヤ、Ｋ．及びフリーマン、Ｊ．『音声認識のための調音運動特徴の使用』ＩＥＥＥ  通信、コンピュータ及び信号処理カンファレンス予稿集、５６２−５６６頁、１９９５年。（Ｅｒｉｅｒ，  ｋ．  ａｎｄ  Ｆｒｅｅｍａｎ，  Ｊ．，  “Ｕｓｉｎｇ  ａｒｔｉｃｕｌａｔｏｒｙ  ｆｅａｔｕｒｅｓ  ｆｏｒ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ”，  Ｐｒｏｃ．  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，  Ｃｏｍｐｕｔｅｒｓ  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ，  ｐｐ．５６２−５６６，  １９９５．）
【非特許文献５】５．マルコフ、K．及びナカムラ、Ｓ．『自動音声認識のためのハイブリッドＨＭＭ／ＢＮ音響モデル』、ＩＥＩＣＥ Ｔｒａｎｓ． Ｉｎｆ．＆ Ｓｙｓｔ．，Ｖｏｌ．Ｅ８６−Ｄ， Ｎｏ． ３， ４３８−４４５頁，２００３年。（Ｍａｒｋｏｖ，  ｋ．  ａｎｄ  Ｎａｋａｍｕｒａ，  Ｓ．，  “Ａ  Ｈｙｂｒｉｄ  ＨＭＭ／ＢＮ  ａｃｏｕｓｔｉｃ  ｍｏｄｅｌ  ｆｏｒ  ａｕｔｏｍａｔｉｃ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ”，  ＩＥＩＣＥ  Ｔｒａｎｓ．  Ｉｎｆ．  ＆  Ｓｙｓｔ．，  Ｖｏｌ．Ｅ８６−Ｄ，  Ｎｏ．３，  ｐｐ．４３８−４４５，  ２００３．）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
これらのアプローチに共通するのは、調音運動モデル及び特徴量が隠れたものと考えられていることである。このため、実際上認識の際に得ることが不可能な調音運動データを観測する必要性がなくなる。
【０００７】
しかし、これらのモデルはＡＳＲに対し満足な回答を与えていない。調音運動データは音響データではカバーされない何らかの有益な情報を持っていると思われる。もし調音運動データを音響データと組合せれば、音声認識の精度が改善されるかもしれない。実際には調音運動データを得るのは困難である。従って、調音運動データを音響データと組合せる実際的な音声認識システムが必要なことは明確である。
【０００８】
従って、この発明の目的は、調音運動データを音響データと組合せる実際的な音声認識システムを実現できる方法を提供することである。
【０００９】
この発明の別の目的は、音響データではカバーされない調音運動データの有益な情報を利用する音声認識システムを実現することのできる方法を提供することである。
【課題を解決するための手段】
【００１０】
この発明の第１の局面に従った、音声認識システムで使用するためのＨＭＭ（隠れマルコフモデル）を準備する方法は、ＨＭＭを予め規定された初期状態に初期化するステップと、音声の調音運動データと音響データとを含むトレーニング用データを準備するステップとを含む。トレーニング用データは対応する音素状態によりラベル付けされている。この方法はさらに、予め定められたＨＭＭ／ＢＮモデルに従って、ＨＭＭをトレーニング用データでトレーニングするステップを含む。
【００１１】
トレーニングするステップは、ビタビアライメントアルゴリズムに従って、トレーニング用データを時間的にアライメントし、状態分離を行なうステップと、音素状態によりラベル付けされたトレーニング用データを用いてＢＮをトレーニングするステップと、前方―後方アルゴリズムを用いてＨＭＭの遷移確率を更新するステップと、獲得するステップ、ＢＮをトレーニングするステップ及び更新するステップを、予め定められた条件が満たされるまで繰返すステップとを含んでも良い。
【００１２】
好ましくは、繰返すステップは、ＨＭＭで計算されたトレーニング用データの尤度の増加が予め定められたしきい値を下回るまで、獲得するステップ、ベイズネットワークをトレーニングするステップ及び更新するステップを繰返すステップを含む。または、このステップを予め定められた回数だけ繰返しても良い。
【００１３】
より好ましくは、初期化するステップが、ＨＭＭの初期モデルパラメータをランダムに設定するステップを含む。または、初期化するステップは、ブートストラップＨＭＭを準備するステップを含んでも良い。
【００１４】
好ましくは、ＢＮモデルの全ての変数が可視であり、ＢＮをトレーニングするステップは、トレーニングデータを用いて最尤アルゴリズムでＢＮをトレーニングするステップを含む。
【００１５】
または、ＢＮモデルの変数は可視でない変数を含み、ＢＮをトレーニングするステップは、トレーニングデータを用いてＥＭアルゴリズムでＢＮをトレーニングするステップを含む。
【００１６】
この発明の第２の局面は、コンピュータ上で実行されると、上述のいずれかの方法のステップ全てをコンピュータに行なわせる、コンピュータで実行可能なプログラムに関する。
【発明を実施するための最良の形態】
【００１７】
この発明の一実施例に従った音声認識システムは、観察された調音運動データを利用するが、ただし音響モデルのトレーニングにのみ利用する。認識の際には、システムは標準的なＭＦＣＣ（メル‐周波数ケプストラム係数）特徴量の形の音響データを用いるだけである。このようなシナリオを可能にするために、この実施例のシステムは、非特許文献５で論じられたハイブリッドＨＭＭ／ＢＮモデルを利用する。
【００１８】
このモデルでは、調音運動データと音響発話データとが、両者の確率的な依存性をモデル化できるベイズネットワーク（ＢＮ）を用いてＨＭＭ状態レベルで統合される。ＢＮパラメータは調音運動データ及び音響データの両者を用いて標準的な統計アルゴリズムで推定される。しかし、認識の際には調音運動データは隠れているものと仮定され、観測は必要とされない。このため、統計モデルで音声生成メカニズムを完全に説明することができ、自動的なパラメータの推定処理を従来と同様に利用できるので、実用的なシステムを構築できる。
【００１９】
図１はこの実施例に従った音声認識システム１０の全体構造を示す。図１を参照して、音声認識システム１０は磁気センサ調音観測システム（ｅｌｅｃｔｒｏｍａｇｎｅｔｉｃ  ｍｉｄｓａｇｉｔｔａｌ  ａｒｔｉｃｕｌｏｇｒａｐｈｉｃ：ＥＭＭＡ）システム２８と、マイクロフォン３０と、ＥＭＭＡシステム２８を用いて収集された調音運動データ及びマイクロフォン３０を用いた音響データを使用してＨＭＭ／ＢＮ４８をトレーニングするためのトレーニングユニット２０と、マイクロフォン２２から与えられる音響データの音声認識をＨＭＭ／ＢＮ４８を用いて行ない、認識されたテキスト２６を出力するための音声認識ユニット２４とを含む。
【００２０】
図２はトレーニング用調音運動データの収集の際に用いられるＥＭＭＡシステム２８の受信コイルの配置例を示す。４個の受信コイルを正中矢状面における舌表面におき、これらをＴ１からＴ４とする。さらに、上唇（ＵＬ）、下唇（ＬＬ）、上顎切歯、下顎切歯（ＬＪ）、及び軟口蓋にコイルがそれぞれ１つずつ置かれた。図１に示す座標システムでは、上顎切歯を原点としている。
【００２１】
音響信号と調音運動データとが同時に記録された。サンプリングレートは調音運動チャネルについては２５０Ｈｚであり、音声チャネルについては１２ｋＨｚであった。この実施例のＨＭＭ／ＢＮ４８をトレーニングするために、３人の成人男性が通常の音声速度で読んだ約３６０の日本語の文からデータが収集された。
【００２２】
再び図１を参照して、トレーニングユニット２０はＥＭＭＡシステム２８及びマイクロフォン３０からの出力をディジタル化し記録するための記録モジュール４０と、記録モジュール４０によって記録された調音運動データ及び音響データを記憶するための記憶装置４１と、記憶装置４１に記憶された調音運動データから調音特徴量を抽出するための調音特徴量抽出モジュール４２と、記憶装置４１に記憶された音声データから音響特徴量を抽出するための音響特徴量抽出モジュール４３と、調音特徴量抽出モジュール４２及び音声データ抽出モジュール４３により抽出された特徴量を要素とする特徴ベクトルを含むトレーニング用データセットを記憶する記憶装置４４と、記憶装置４４に記憶されたトレーニング用データセットを用いてＨＭＭ／ＢＮ４８をトレーニングするＨＭＭ／ＢＮトレーニングモジュール４６とを含む。
【００２３】
このようにして収集された調音及び音響データのフレームには対応の音素状態ラベルが手作業によりラベル付けされる。
【００２４】
調音運動データは図２に示す８個の観測点のｘ−座標及びｙ−座標(変位)から成る、１６個の特徴量を有する、時間と共に変化するベクトルである。ＨＭＭ／ＢＮ４８は、３状態で、左から右へのトポロジーを有する単音素ＨＭＭ／ＢＮモデルである。
【００２５】
図３は図２に示す調音特徴量抽出モジュール４２の詳細な構成を示す。図３を参照して、調音抽特徴量出モジュール４２は、調音運動データに主成分分析を行なって最初の４個の成分を出力し、それによってデータの次元を１６から４に減少させる主成分分析（ＰＣＡ）モジュール７２と、ＰＣＡモジュール７２から出力される次元の減じられたデータに対してベクトル量子化を適用するためのベクトル量子化器（ＶＱ）モジュール７４とを含む。ＰＣＡでのデータ損失は２０％未満である。
【００２６】
音響特徴量抽出モジュール４３によって生成される音響特徴量の次元は、例えば３２である。この場合、音響特徴ベクトルの成分はＣ０とその１次係数とからなるＭＦＣＣを含むであろう。これに代えてＭＦＣＣの２次係数を用いる場合、成分の数は４８となる。
【００２７】
ＨＭＭ／ＢＮ４８のためのハイブリッドＨＭＭ／ＢＮ音響モデルは本質的には隠れマルコフモデルとベイズネットワークの組合せであり、ここで音響信号の時間的特徴量がＨＭＭ状態遷移でモデル化され、ＨＭＭ状態確率密度がベイズネットワークでモデル化される。ＨＭＭ／ＢＮモデルの構造を図４に示す。
【００２８】
図４を参照して、このモデルは、ＨＭＭ状態に対応するノード８０、８２、８４、…を含む。ＨＭＭの状態遷移は弧９０、９２、９４、９６、９８、１００で示される。
【００２９】
このモデルは２組の確率で記述することができる。それらは、ＨＭＭ遷移確率Ｐ(ｑj|ｑi)とベイズネットワーク１１０Ｐ(Ｘ1,…,Ｘk)の同時確率分布である。ここでＸi,  i=1,…,ＫはＢＮ変数である。ＢＮの同時確率密度関数（ＰＤＦ）は次のように書ける。
【００３０】
【数１】
2005134496.tif 000003
ここで、Ｐａ(Ｘi)は変数Ｘiの親である。
【００３１】
図５は単純な状態ＢＮ構造の例を示す。この構造は、３個の変数Ｑ、Ｘ、Ｙを有し、それらはそれぞれノード１２０、１２２、１２４で示される。図５において、円は連続変数を示し、四角は離散変数を示す。従って、ＱとＹとは離散的であり、Ｘは連続である。弧は親ノードと子ノードとの依存性を示す。これは子が離散的である場合は条件付確率表（ＣＰＴ）により、子が連続であればガウスＰＤＦにより、モデル化できる。
【００３２】
図５のＢＮの状態出力確率は閉じた形の同時ＰＤＦから計算できる。式１により、
【００３３】
【数２】
2005134496.tif 000004
もし全てのＢＮ変数が観測可能であるなら、状態出力確率は単にＰ（Ｘ｜Ｙ，Ｑ）となり、これはＢＮパラメータの一つである。しかし、この課題でより興味を引くのは、付加的な変数Ｙが隠れ変数の場合である。この場合、Ｐ（Ｘ｜Ｑ）を以下のように求める。
【００３４】
【数３】
2005134496.tif 000005
ここでもしＰ（Ｙ＝ｙ｜Ｑ）を単にガウスＰ（Ｘ｜Ｙ＝ｙ、Ｑ）の混合の重み係数であるとして扱えば、この式は実は従来のガウス分布の混合と等価であることが分る。この処理をした後には、ＨＭＭ／ＢＮ状態出力の計算は標準ＨＭＭと同じになる。従って、既存のＨＭＭデコーダを何ら修正することなく、ＨＭＭ／ＢＮモデルでも動作させることができる。
【００３５】
ハイブリッドＨＭＭ／ＢＮモデルのトレーニングはビタビアルゴリズムに基づいており、図１に示されたトレーニングユニット２０のＨＭＭ／ＢＮトレーニングモジュール４６によって行なわれる。トレーニングユニット２０全体はコンピュータハードウェアとその上で実行されるコンピュータソフトウェアによって実現される。図６はこの実施例のトレーニングユニット２０のコンピュータシステム１２０の外観図であり、図７はシステム１２０を機能ブロック図で示す。
【００３６】
図６を参照して、コンピュータシステム１２０はＦＤ（フレキシブルディスク）ドライブ１５２及びＣＤ−ＲＯＭ(コンパクトディスク読出専用メモリ）ドライブ１５０を有するコンピュータ１４０と、キーボード１４６と、マウス１４８と、モニタ１４２と、マイクロフォン３０とを含む。
【００３７】
図７のブロック図を参照して、コンピュータ１４０はさらに、ＣＰＵ（中央処理装置）１６０と、ＣＰＵ１６０、ＣＤ−ＲＯＭドライブ１５０及びＦＤドライブ１５２に接続されたバス１６８と、ブートアッププログラム等のプログラムを記憶する読出専用メモリ（ＲＯＭ）１６２と、ＣＰＵ１６０に接続され実行されるアプリケーションプログラム命令、システムプログラム、データ等を記憶するランダムアクセスメモリ（ＲＡＭ）１６４と、ハードディスク１６６とを含む。
【００３８】
コンピュータ１４０はさらに、コンピュータ１４０をローカルエリアネットワーク（ＬＡＮ）１８４に接続するためのネットワークアダプタボード１７４と、バス１６８を介してマイクロフォン３０及びＣＰＵ１６０に接続されるサウンドボード１７６とを含む。
【００３９】
図８はコンピュータシステム１２０にＨＭＭ／ＢＮ４８のトレーニングを行なわせるためのプログラムの制御構造を示す。このプログラムはＣＤ−ＲＯＭ１８０またはＦＤ１８２に記憶されてＣＤ−ＲＯＭドライブ１５０またはＦＤドライブ１５２に挿入され、さらにハードディスクドライブ１６６に転送されても良い。これに代えて、プログラムはＬＡＮ１８４を介してコンピュータ１４０に送信され、ハードディスクドライブ１６６に記憶されても良い。プログラムは実行される際にＲＡＭ１６４にロードされる。プログラムはＣＤ−ＲＯＭ１８０、ＦＤ１８２またはＬＡＮ１８４を介してＲＡＭ１６４に直接ロードされてもよい。
【００４０】
以下で説明するプログラムは、コンピュータ１４０をＨＭＭ／ＢＮトレーニングモジュール４６として動作させる複数の命令を含む。この方法を実行するのに必要とされる基本的機能の幾つかはコンピュータ１４０で実行されるオペレーティングシステム（ＯＳ）、サードパーティのプログラムまたはコンピュータ１４０にインストールされる最適化ツールボックス等のモジュールで提供されるので、プログラムはこの発明の方法を実現するのに必要な基本的機能を必ずしも全て含んでいなくても良い。プログラムが含む必要があるのは、命令のうち、所望の結果が得られるように、制御された態様で適切な機能または「ツール」を呼出すことによって最適化処理を行なう部分のみである。具体的には、プログラムはＨＭＭ／ＢＮを取扱うのに用いられる一組のツール（ツールキット）を必要とする。コンピュータシステム１２０がどのように動作するかは周知であり、従ってここでは詳細は述べない。
【００４１】
図８を参照して、このプログラムは、コンピュータ１２０で実行されると以下のステップを含む方法を行なわせる複数の命令を含む。
【００４２】
初期化（ステップ２００）：ランダムに、またはブートストラップＨＭＭモデルを用いて、初期モデルパラメータを設定する。ここで「ブートストラップＨＭＭモデル」は従来の統計的トレーニング方法を用い音響データを用いてトレーニングされたＨＭＭモデルである。
【００４３】
ビタビアライメント（ステップ２０２）：トレーニングデータを時間的にアライメントし、状態分離を行なう。
【００４４】
ＢＮトレーニング(ステップ２０４)：ラベル付けされたトレーニングデータを用いて
ＢＮをトレーニングする。
【００４５】
ＨＭＭ遷移確率更新（ステップ２０６）：標準的な前方‐後方アルゴリズムを用いてＨＭＭの遷移確率を更新する。
【００４６】
収束チェック（ステップ２０８）：収束の基準（トレーニングデータの尤度増加または予め設定した繰返し数）を満たせば停止、そうでなければステップ２００に進む。すなわち、ＨＭＭで計算したトレーニングデータの尤度の増加が予め定められたしきい値を下回れば繰返しは終了する。又はこれに代えて、これらのステップが予め定められた回数だけ行なわれたら、繰返しを終了する。
【００４７】
上のステップ２０４での状態ＢＮのトレーニングは、標準的な統計的方法を用いて行なわれる。小規模のネットワークでは、トレーニング中に全ての変数を観察可能であれば、単純なＭＬ（最尤）パラメータ推定を適用できる。もし変数の幾つかが隠れ変数であれば、従来のＥＭ（期待値‐最大化）アルゴリズムを使用できる。
【００４８】
再び図１を参照して、音声認識ユニット２４は、マイクロフォン２２からの音声信号の音響特徴量を抽出し、音響特徴ベクトルを生成するための音響特徴量抽出モジュール６０、及びトレーニングユニット２０によってトレーニングされたＨＭＭ／ＢＮ４８を用いて音響特徴ベクトルをデコードし、デコードされたテキスト２６を出力するためのデコーダ６２を含む。デコーダ６２は既存のいずれのＨＭＭデコーダでも良い。
【００４９】
音響特徴量抽出モジュール６０には、音響特徴量抽出モジュール４３と同じ構造をもたせるようにするとよい。
【００５０】
ハイブリッドＨＭＭ／ＢＮモデルを採用することにより、音響の観測とともに付加的なデータをどのように用いるかを示した。調音運動データを付加的な変数Ｙで表すことができることは明らかである。しかし、図５のＢＮはこの付加的変数が離散的であることを必要とする。連続した調音運動ベクトルの離散化は標準的なＶＱ技術を用いて行なうことができるが、解像度の精度がいくらか犠牲になる。調音運動データのＶＱレベルは、実際のところ、追加された調音運動変数の観測値ということができる。従って、すべてのＢＮ変数はトレーニング用に観測可能であり、Ｐ（Ｘ｜Ｙ,Ｑ）についてのガウス分布のパラメータの推定はＭＬアルゴリズムによって行なうことができる。重みＰ（Ｙ｜Ｑ）はラベルの数により得られる。認識の間には、もしＨＭＭ／ＢＮ状態出力確率が式３から得られるのであれば、調音運動の観測は不要である。なぜなら、調音運動変数は隠れ変数だからである。
【００５１】
この実施例の音声認識システム１０は以下のように動作する。図１を参照して、音響特徴量に対し先行技術のトレーニング方法を用いてブートストラップＨＭＭが準備される。図２に示すように、話者の調音器官の予め定められた個所にコイルが装着される。話者は一組の文を読む。ＥＭＭＡシステム２８はコイルの位置を感知し、記録モジュール４０にアナログ信号を出力する。マイクロフォン３０が記録モジュール４０にアナログ音声信号を出力する。記録モジュール４０は信号をディジタル化し、これらをベクトルのフォーマットで記憶する。
【００５２】
全てのデータが記憶装置４１に記憶されると、調音運動データ及び音響データのフレームに対し、対応の音素状態ラベルが手作業により付与される。その後、調音運動特徴量抽出モジュール４２と音響特徴量抽出モジュール４３とが、以下のようにして、トレーニングセットのためのデータ（特徴ベクトル）を抽出する。
【００５３】
図３を参照して、ＰＣＡモジュール７２はディジタルの調音運動信号に対し主成分分析を行なう。データの次元は最初の４個の成分を用いることにより、１６から４に減じられる。ＶＱモジュール７４は減じられた次元のデータにベクトル量子化（ＶＱ）を適用する。こうして、量子化された調音運動ベクトルのＶＱレベルがモデルのトレーニング用に準備される。
【００５４】
音響特徴量抽出モジュール４３は音響データのＣ０とその１次係数とによりＭＦＣＣを計算する。したがって、音響特徴ベクトルは３２次元となる。音響特徴ベクトルはＶＱラベルとともに記憶装置４４に記憶され、トレーニング用データセットが形成される。
【００５５】
ＨＭＭ／ＢＮトレーニングモジュールは、上述の記憶装置４４内のトレーニングセットでブートストラップＨＭＭをトレーニングする。その結果得られるＨＭＭ／ＢＮ４８を音声認識に用いることができる。
【００５６】
音声認識ユニット２４は以下のように動作する。話者が発話すると、マイクロフォン２２が声を拾い、音響特徴量抽出モジュール６０に音声信号を出力する。音響特徴量抽出モジュール６０は信号をディジタル化し、Ｃ０とその１次係数によりＭＦＣＣを計算し、３２次元の音声特徴ベクトルを出力する。
【００５７】
デコーダ６２は音声特徴ベクトルを受け、トレーニングユニット２０によってトレーニングされたＨＭＭ／ＢＮ４８を用いてこれらをデコードする。音声認識ユニット２０は調音運動データを必要としないので、この実施例の音声認識システム１０は実際的な解決策である。実験結果から明らかなとおり、音声認識ユニット２４の精度は先行技術より良好である。
【００５８】
‐実験‐
次に、実験条件を説明すると共に、話者依存のモデルと複数話者の音響モデルとを用いて得られた結果を報告する。
【００５９】
両事例に共通するのは、音響及び調音運動データの処理である。８個のコイルが図２に示すように配置された。サンプリングレートは調音運動チャネルについて２５０Ｈｚであり、音響チャネルについては１２ｋＨｚであった。１２ｋＨｚでサンプリングされた音声波形を８ｍｓのレートで２０ｍｓ長のハミングウインドウでフレーム化した。特徴ベクトルはデルタ及びデルタ‐デルタを含む、１６のＭＦＣＣ係数からなる。
【００６０】
ベースラインの音響のみのシステムには、３状態とさまざまな混合数の２７の音素ＨＭＭがあり、ＨＭＭ処理ツールキットを用いてトレーニングされた。調音運動データが同時に記録され２５０Ｈｚでサンプリングされたので（これは４ｍｓのフレームレートと等価である）、１フレームの音声に対応する、一つおきの調音運動ベクトルを用いた。調音運動の特徴量を４から１２８のサイズで、同じデータによりトレーニングされたＶＱコードブックを用いて量子化した。ベクトル量子化に先立ち、ＰＣＡ分析手法を用いて調音運動データの次元を１６から４に減じた。量子化された調音運動ベクトルのＶＱラベルを、ＢＮの調音運動変数のためのトレーニングデータとして用いた。
【００６１】
音声材料は約３６０の日本語の文章であり、３人の成人男性が通常の音声速度で文章を読んだ。音響信号と調音運動データとが同時に記録された。
【００６２】
‐話者依存モデルの結果‐
３人の話者の各々のトレーニングデータ（３００発話）から、異なるサイズの任意に選んだ調音運動ＶＱコードブックを用いて幾つかのＨＭＭ／ＢＮモデルをトレーニングした。理想的には、コードブックのサイズが状態ごとのガウス分布数を決定するはずである。しかし、異なる状態にアラインされ異なる調音運動ラベルを有するようなデータの量は大きく異なるため、このデータ量が経験的に設定したしきい値を超えた時のみ、ガウス分布のトレーニングを行なった。このため、異なる状態は異なる混合数を有し、モデルの複雑さを説明するために、状態ごとの平均混合を用いた。
【００６３】
図９−１１はＨＭＭ／ＢＮモデル及びベースラインＨＭＭモデルの両方について、３人の話者の音素認識結果を示す。図中の混合数は整数であるが、ＨＭＭ／ＢＮの実際の平均混合数はこれらの数字から１０％以内である。試験データは話者ごとに６０の発話からなる。図９−図１１において、ハッチングのあるバーはこの実施例の精度を示し、白のバーはベースラインシステムの精度を表す。
【００６４】
結果の基本的な傾向として、ＨＭＭ／ＢＮで得られた結果の精度はＨＭＭから得られたものより高い。特に混合数１６のＨＭＭのところで精度が悪化したが、ＨＭＭ／ＢＮでは劣化はほとんど見られなかった。話者３の認識精度は常に他者より低かったが、これも他者と同様の傾向を示した。
【００６５】
この実験で２つの事実が明らかになった。一つは、音声生成メカニズムがＡＳＲに有用であること、他の一つは、ＨＭＭ／ＢＮモデルがＡＳＲに何らかの情報を追加して組合せることができる、ということである。
【００６６】
‐複数話者モデルの結果‐
１つの複数話者ＨＭＭ／ＢＮモデルを、全ての話者からのトレーニングデータ（９００発話）を用いてトレーニングした。図１２は、同じ音素認識作業でのこのモデル（四角）と、ベースラインの音響特徴量のみのＨＭＭ（菱形）との、３人の話者の平均精度を示す。
【００６７】
図１２から分るように、複数話者の事例でも、ＨＭＭ／ＢＮはベースラインＨＭＭより良好であった。
【００６８】
上述のとおり、調音運動データは発話音声には含まれない、何らかの音声認識に有用な情報を有する。この実施例では、調音運動データを組合せるためにＨＭＭ／ＢＮモデルが採用され、実験結果から、ほとんど全ての事例においてこれが従来のＨＭＭより優れていることが示された。
【００６９】
上述の実施の形態は単なる例示であって制限的なものと解してはならない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内でのすべての変更を含む。
【図面の簡単な説明】
【００７０】
【図１】この発明の一実施例に従った音声認識システムのブロック図である。
【図２】ＥＭＭＡシステムで用いられる受信コイルの配置と、調音運動データを収集するのに用いられる座標システムとを示す図である。
【図３】調音運動データ抽出モジュール４２のブロック図である。
【図４】この発明の実施例で用いられるＨＭＭ／ＢＮモデルの概略を示す図である。
【図５】この発明の実施例で用いられる単純なＢＮモデルの概略を示す図である。
【図６】コンピュータの外観図である。
【図７】コンピュータの機能ブロック図である。
【図８】ＨＭＭ／ＢＮトレーニングアルゴリズムのフローチャートである。
【図９】３人の話者について、音響データのみ用いた場合（白のバー）と、音響データ及び調音運動データを用いた場合（ハッチングしたバー）との、音素認識精度を示す図である。
【図１０】３人の話者について、音響データのみ用いた場合（白のバー）と、音響データ及び調音運動データを用いた場合（ハッチングした）との、音素認識精度を示す図である。
【図１１】３人の話者について、音響データのみ用いた場合（白のバー）と、音響データ及び調音運動データを用いた場合（ハッチングしたバー）との、音素認識精度を示す図である。
【図１２】複数話者モデルの結果を示す図である。
【符号の説明】
【００７１】
１０  音声認識システム、２０  トレーニングユニット、２２  マイクロフォン、２４  音声認識ユニット、２６  出力テキスト、２８  ＥＭＭＡシステム、３０  マイクロフォン、４０  記録モジュール、４１、４４  記憶装置、４２  調音運動特徴量抽出モジュール、４３  音響特徴量抽出モジュール、４６  ＨＭＭ／ＢＮトレーニングモジュール、６０音響特徴量抽出モジュール、６２  デコーダ
【図１】
2005134496.tif 000006
【図２】
2005134496.tif 000007
【図３】
2005134496.tif 000008
【図４】
2005134496.tif 000009
【図５】
2005134496.tif 000010
【図６】
2005134496.tif 000011
【図７】
2005134496.tif 000012
【図８】
2005134496.tif 000013
【図９】
2005134496.tif 000014
【図１０】
2005134496.tif 000015
【図１１】
2005134496.tif 000016
【図１２】
2005134496.tif 000017
【外国語明細書】
2005134496000001.pdf
2005134496000002.pdf
2005134496000003.pdf
2005134496000004.pdf