(57)【要約】【課題】ベイジアンネットワーク（ＢＮ）を採用した連続音声認識（ＣＳＲ）に適した装置を提供する。【解決手段】音声認識装置は、音声認識のためのハイブリッド隠れマルコフモデル／ベイジアンネットワーク（ＨＭＭ／ＢＮ）モデルを記憶する記憶装置１０４を含む。隠れマルコフモデル（ＨＭＭ）は時間的な音声の特徴をモデル化するのに用いられ、ベイジアンネットワークは状態確率モデルを表わすのに用いられる。装置はさらに、記憶装置１０４に記憶されたＨＭＭ／ＢＮモデルを用いて、入来する音声データ１２０をデコードするための音声デコーダを含む。【選択図】        図７
2004163445.tif 000002
【特許請求の範囲】
【請求項１】
音声認識のためのハイブリッド隠れマルコフ／ベイジアンネットワーク（ＨＭＭ／ＢＮ）モデルを記憶する記憶装置を含み、隠れマルコフモデル（ＨＭＭ）は時間的な音声の特徴をモデリングするのに用いられ、ベイジアンネットワーク（ＢＮ）は状態確率モデルをあらわすのに用いられ、さらに
当該記憶装置に記憶されたＨＭＭ／ＢＮモデルを用いて入来する音声データをデコードする音声デコーダを含む、音声認識装置。
【請求項２】
ＢＮの状態確率モデルが、変数Ｘと、以下で計算される条件付確率Ｐ（Ｙ｜Ｑ）とをさらに含み、
【数１】
2004163445.tif 000011
ただし、Ｙは一連の観測パラメータを表わし、Ｑは状態変数を表わし、ＸはＱとは独立してＹの値に影響を与える所定の要素を反映する変数を表わし、ｘはＸがとり得る値の一つであり、Ｎ（ｘ）はＸがとり得る値の数である、請求項１に記載の音声認識装置。
【請求項３】
前記変数Ｘが環境ノイズを表わす、請求項２に記載の音声認識装置。
【請求項４】
前記変数Ｘが話者の識別情報を表わす、請求項２に記載の音声認識装置。
【請求項５】
前記変数Ｘが話者の母語を表わす、請求項２に記載の音声認識装置。
【請求項６】
状態確率モデルが変数ＮとＳとをさらに含み、条件付確率Ｐ（Ｙ｜Ｑ）は以下で計算され、
【数２】
2004163445.tif 000012
ただし、Ｙは一連の観測パラメータを表わし、Ｑは状態変数を表わし、ＮおよびＳは、Ｑとは独立してＹの値に影響を与える所定の要素を反映する変数を表わし、ｎおよびｓはＮおよびＳがそれぞれとり得る値の一つであり、Ｎ（ｎ，ｓ）はＸがとり得る値の組合せの数である、請求項１に記載の音声認識装置。
【請求項７】
前記変数Ｎがノイズの種類を表わす、請求項６に記載の音声認識装置。
【請求項８】
前記変数Ｓが入来する音声データの信号対雑音比を表わす、請求項６または請求項７に記載の音声認識装置。
【請求項９】
請求項１から請求項８のいずれかに記載の音声認識装置としてコンピュータを動作させるための、コンピュータで実行可能な音声認識プログラム。
【請求項１０】
請求項１から請求項８のいずれかに記載の音声認識装置としてコンピュータを動作させるための、コンピュータで実行可能な音声認識プログラムを記憶した、コンピュータ読取可能な記憶媒体。
【請求項１１】
データ処理システムにおいてＨＭＭ／ＢＮモデルを準備するための方法であって、
前記ＨＭＭ／ＢＮモデルを初期化するステップと、
入力された音声データから特徴を抽出するステップと、
抽出されたデータに対し基本認識部を用いて、時間的に整列され、互いに分離された状態を準備するステップと、
前記時間的に整列され、互いに分離された状態から、ＨＭＭ／ＢＮモデル内のベイジアンネットワークのためのトレーニングデータを準備するステップと、
当該トレーニングデータを用いてベイジアンネットワークの状態をトレーニングするステップと、
ＨＭＭ／ＢＮモデルの確率の遷移を再推定するステップと、
状態遷移を更新するステップと、
前記トレーニング、再推定、および更新のステップを、所定の終了条件が満たされるまで反復するステップとを含む、方法。
【請求項１２】
前記時間的に整列され、互いに分離された状態を準備するステップは、前記基本認識部を用いて、ビタビアライメントにより行なわれる、請求項１１に記載の方法。
【請求項１３】
請求項１１から１２のいずれかの全てのステップを行なうように構成されたコンピュータコード手段を含む、コンピュータプログラム。
【請求項１４】
コンピュータ読取可能媒体上に記録された、請求項１３に記載のコンピュータプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は音声認識システムに関し、特に、ベイジアンネットワーク（ＢＮ）を採用したＨＭＭ（隠れマルコフモデル）に基づく音声認識システムに関する。
【０００２】
【従来の技術】
多年にわたり、ＨＭＭの音声認識への導入以来、各状態Ｑに対する観測の、条件付き分布Ｐ（ｙ｜Ｑ）は確率密度関数の混合によりモデル化されてきた（離散ＨＭＭはここでは考慮しない）。ガウスｐｄｆ（確率密度関数）およびラプラシアンｐｄｆがこの目的でよく使用されている。後には、ハイブリッドＨＭＭ／ＮＮ（隠れマルコフモデル／ニューラルネットワーク）システムが提案されたが、ここでは所与の入力観測に対しＨＭＭの状態の尤度を推定するのにニューラルネットワークが用いられている。
【０００３】
多くの場合、音声スペクトルから抽出された特徴がこれらの観測値を形成する。しかしながら、音声認識に関する研究により、これらの特徴のみを用いるだけでは高いシステム性能を達成するには不十分である事が示された。このため、多くの研究者が、ＨＭＭシステムに何か他の知識を表わす付加的な特徴を含めようとしてきた。
【０００４】
トクダら（後掲の非特許文献１）は、付加的なピッチ情報をモデル化するため、多元空間での確率分布を提案している。しかしほとんどの場合、付加的特徴の特性により種々の方策がとられている。この問題に対処すべき共通の、十分に柔軟性の高いフレームワークはこれまでには存在しなかった。
【０００５】
最近、ＨＭＭに対する別の選択肢として、ベイジアンネットワーク（ＢＮ）が研究者の関心を集めている。ＢＮは人工知能の研究分野では周知でありよく研究されている。しかし、音声認識においては、これらは比較的新しい研究課題である。
【０００６】
ベイジアンネットワークとは有向非巡回的グラフであり、そのノードは事象を表わす。ベイジアンネットワークでは、第一のノード（ノードＡ）から第二のノード（ノードＢ）への枝は、ＡがＢの原因である事を示す。各枝（Ａ  Ｂ）には、確率Ｐ（Ｂ｜Ａ）を示す「リンク」行列が割当てられ、この確率は、Ａの各値に対するＢの各値の確率を特定する。
【０００７】
ベイジアンネットワークは、多くの互いに異なる（離散的または連続的な）ランダムな変数の複合的な同時確率分布を、よく構造化され容易に表現可能な仕方でモデル化できる。特に、時間的音声特徴をモデル化するのに適しているのは、ディーンらの提案するダイナミックＢＮ（ＤＢＮ）である（後掲の非特許文献２）。
【０００８】
音声認識におけるＤＢＮの最初の報告のいくつかでは、ツバイクら、およびダウディらの報告でのように（後掲の非特許文献３、４）、これらは単独の語認識作業での語モデルとして用いられていた。これらの著作においては、ＤＢＮは、音声スペクトル情報に加えて、調音的特徴、サブ帯域相関、話し方のスタイル等の付加的な知識を容易に組み入れる事が可能な、ＨＭＭの一般化と考えられている。スティーブンソンらはＤＢＮのフレームワーク内で、音声学的な特徴をピッチ情報で容易に補う事ができる事を報告している。
【０００９】
ベイジアンネットワークの別の利点は、認識中に信頼性をもって推定するのが困難な付加的な特徴を、隠されたまま、すなわち観測不能な状態にしておける事である。
【００１０】
【非特許文献１】
Ｋ．トクダ、Ｔ．マスコ、Ｎ．ミヤザキ、Ｔ．コバヤシ、『ピッチパターンモデリングのための多元空間確率分布に基づく隠れマルコフモデル』、ＩＣＡＳＳＰ予稿集、ｐｐ．２２９−２３２，１９９９年。（Ｋ．  Ｔｏｋｕｄａ，  Ｔ．  Ｍａｓｕｋｏ，  Ｎ．  Ｍｉｙａｚａｋｉ，  ａｎｄ  Ｔ．  Ｋｏｂａｙａｓｈｉ，  “Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌｓ  ｂａｓｅｄ  ｏｎ  ｍｕｌｔｉ−ｓｐａｃｅ  ｐｒｏｂａｂｉｌｉｔｙ  ｄｉｓｔｒｉｂｕｔｉｏｎ  ｆｏｒ  ｐｉｔｃｈ  ｐａｔｔｅｒｎ  ｍｏｄｅｌｉｎｇ．”  Ｉｎ  Ｐｒｏｃ．  ＩＣＡＳＳＰ，  ｐｐ．  ２２９−２３２，  １９９９．）
【非特許文献２】
Ｔ．ディーン、Ｋ．カナザワ、「確率的な時間的推論」、ＡＡＡＩ，ｐｐ．５２４−５２８，１９８８１９８８年。（Ｔ．  Ｄｅａｎ  ａｎｄ  Ｋ．  Ｋａｎａｚａｗａ，  “Ｐｒｏｂａｂｉｌｉｓｔｉｃ  ｔｅｍｐｏｒａｌ  ｒｅａｓｏｎｉｎｇ，”  ｉｎ  ＡＡＡＩ，  ｐｐ．  ５２４−５２８，  １９８８．）
【非特許文献３】
Ｇ．ツヴァイク、Ｓ．ラッセル、『自動音声認識のためのベイジアンネットワークによる確率モデリング』、ＩＣＳＬＰ予稿集、ｐｐ．３０１０−３０１３，１９８８年。（Ｇ．  Ｚｗｅｉｇ  ａｎｄ  Ｓ．  Ｒｕｓｓｅｌｌ，  “Ｐｒｏｂａｂｉｌｉｓｔｉｃ  ｍｏｄｅｌｉｎｇ  ｗｉｔｈ  Ｂａｙｅｓｉａｎ  Ｎｅｔｗｏｒｋｓ  ｆｏｒ  ａｕｔｏｍａｔｉｃ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ，”  ｉｎ  Ｐｒｏｃ．ＩＣＳＬＰ，  ｐｐ．  ３０１０−３０１３，  １９９８．）
【非特許文献４】
Ｋ．ダウディ、Ｄ．フォア、Ｃ．アントワーヌ、『確率的グラフモデルに基づく多帯域音声認識の新たなアプローチ』、ＩＣＳＬＰ，ｖｏｌ．１，ｐｐ．３２９−３３２，２０００年。（Ｋ．  Ｄａｏｕｄｉ，  Ｄ．  Ｆｏｈｒ，  ａｎｄ  Ｃ．  Ａｎｔｏｉｎｅ，  “Ａ  ｎｅｗ  ａｐｐｒｏａｃｈ  ｆｏｒ  ｍｕｌｔｉ−ｂａｎｄ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ  ｂａｓｅｄ  ｏｎ  ｐｒｏｂａｂｉｌｉｓｔｉｃ  ｇｒａｐｈｉｃａｌ  ｍｏｄｅｌｓ，”  ｉｎ  Ｐｒｏｃ．  ＩＣＳＬＰ，  ｖｏｌ．  １，  ｐｐ．  ３２９−３３２，２０００．）
【非特許文献５】
Ｔ．スティーブンソン、Ｍ．マシュウ、Ｈ．ボラード、『ベイジアンネットワークに基づくＡＳＲでの補助情報のモデル化』、ユーロスピーチ予稿集、ｐｐ．］２７６５−２７６８，２００１年。（Ｔ．  Ｓｔｅｐｈｅｎｓｏｎ，  Ｍ．  Ｍａｔｈｅｗ，  ａｎｄ  Ｈ．Ｂｏｕｒｌａｒｄ，  “Ｍｏｄｅｌｉｎｇ  ａｕｘｉｌｉａｒｙ  ｉｎｆｏｒｍａｔｉｏｎ  ｉｎ  Ｂａｙｅｓｉａｎ  Ｎｅｔｗｏｒｋ  ｂａｓｅｄ  ＡＳＲ，”  ｉｎ  Ｐｒｏｃ．  Ｅｕｒｏｓｐｅｅｃｈ，  ｐｐ．  ２７６５−２７６８，  ２００１．）
【非特許文献６】
Ｋ．ダウディ、Ｄ．フォア、Ｃ．アントワーヌ、「ベイジアンネットワークを用いた連続多帯域音声認識」、Ｐｒｏｃ．  ＡＳＲＵ，  ２００１年。（Ｋ．  Ｄａｏｕｄｉ，  Ｄ．  Ｆｏｈｒ，ａｎｄ  Ｃ．  Ａｎｔｏｉｎｅ，  “Ｃｏｎｔｉｎｕｏｕｓ  ｍｕｌｔｉ−ｂａｎｄ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ  ｕｓｉｎｇ  Ｂａｙｅｓｉａｎ  Ｎｅｔｗｏｒｋｓ，”  ｉｎ  Ｐｒｏｃ．  ＡＳＲＵ，  ２００１．）
【発明が解決しようとする課題】
ＢＮのこれらの魅力的な特性にも関わらず、音声認識への応用は依然として、小さな、単独の語認識作業に対するものに限られている。その理由は、ＢＮパラメータの学習および推論のための既存のアルゴリズムが、連続した音声認識（ＣＳＲ）および、特に語彙の多いＣＳＲ作業にはそれほど適していないからである。連続して発話された数字の認識を可能にするＤＢＮ語モデルの拡張が、ダウディらの非特許文献６に報告されてはいるものの、作業対象となる語彙がわずか数百に増加するだけでも、あまりにも計算量が多くなり過ぎる。
【００１１】
従って、この発明の目的の一つは、ＢＮを採用したものであって、かつＣＳＲに適した装置を提供する事である。
【００１２】
この発明の別の目的は、ＢＮを採用したものであって、かつ語彙量の多いＣＳＲ作業に適した装置を提供する事である。
【００１３】
この発明のさらに別の目的は、ＢＮを採用したものであって、かつＢＮのための煩瑣なパラメータ学習を必要としない装置を提供する事である。
【課題を解決するための手段】
この発明のある局面に従った音声認識装置は、音声認識のためのハイブリッド隠れマルコフ／ベイジアンネットワーク（ＨＭＭ／ＢＮ）モデルを記憶するための記憶装置を含む。隠れマルコフモデル（ＨＭＭ）は時間的な音声の特徴をモデリングするのに用いられ、ベイジアンネットワーク（ＢＮ）は状態確率モデルをあらわすのに用いられる。この装置はさらに、記憶装置に記憶されたＨＭＭ／ＢＮモデルを用いて入来する音声データをデコードするための音声デコーダを含む。
【００１４】
ＢＮの状態確率モデルは、変数Ｘを含んでもよく、条件付確率Ｐ（Ｙ｜Ｑ）は以下の式によって計算され、
【００１５】
【数３】
2004163445.tif 000003
ただし、Ｙは一連の観測パラメータを表わし、Ｑは状態変数を表わし、ＸはＱとは独立してＹの値に影響を与える所定の要素を反映する変数を表わし、ｘはＸがとり得る値の一つであり、Ｎ（ｘ）はＸがとり得る値の数である。
【００１６】
好ましくは、半数Ｘは環境ノイズ、話者認識情報、または話者の母語を表わしてもよい。
【００１７】
状態確率モデルは変数ＮとＳとをさらに含んでもよく、条件付確率Ｐ（Ｙ｜Ｑ）は以下で計算され、
【００１８】
【数４】
2004163445.tif 000004
ただし、Ｙは一連の観測パラメータを表わし、Ｑは状態変数を表わし、ＮおよびＳはＱとは独立してＹの値に影響を与える所定の要素を反映する変数を表わし、ｎおよびｓはＮおよびＳがそれぞれとり得る値の一つであり、Ｎ（ｎ，ｓ）はＮおよびＳががとり得る値の組合せの数である。
【００１９】
変数Ｎはノイズの種類を表わし、変数Ｓは入来する音声データの信号対雑音比を表わしてもよい。
【００２０】
この発明の別の局面は、上述の音声認識装置としてコンピュータを動作させる、コンピュータで実行可能な音声認識プログラムに関する。
【００２１】
この発明のさらに別の局面は、上述の音声認識装置としてコンピュータを動作させる、コンピュータで実行可能な音声認識プログラムを記憶する、コンピュータ読取可能な記憶媒体に関する。
【００２２】
この発明の別の局面は、データ処理システムにおいてＨＭＭ／ＢＮモデルを準備するための方法であって、ＨＭＭ／ＢＮモデルを初期化するステップと、入力された音声データから特徴を抽出するステップと、抽出されたデータに対し基本認識部を用いて、時間的に整列され、互いに分離された状態を準備するステップと、時間的に整列され、互いに分離された状態から、ＨＭＭ／ＢＮモデル内のベイジアンネットワークのためのトレーニングデータを準備するステップと、当該トレーニングデータを用いてベイジアンネットワークの状態をトレーニングするステップと、ＨＭＭ／ＢＮモデルの確率の遷移を再推定するステップと、状態遷移を更新するステップと、トレーニング、再推定、および更新のステップを、所定の終了条件が満たされるまで反復するステップとを含む。
【００２３】
時間的に整列され、互いに分離された状態を準備するステップは、基本認識部を用いて、ビタビアライメントにより行なわれる。
【００２４】
この発明のさらに別の局面は、上述の方法のいずれかの全てのステップを行なうように構成されたコンピュータコード手段を含む、コンピュータプログラムに向けられている。
【００２５】
このコンピュータプログラムは、コンピュータで読取可能な媒体に記録されてもよい。
【００２６】
【発明の実施の形態】
−ハイブリッドＨＭＭ／ＢＮモデリング−
多くの場合、音声認識でＢＮを使用するのは、ＨＭＭをダイナミックなＢＮとして表わそうとする考えに基づいている。このような表現を図１に示す。ここで、Ｑｔは状態変数であり、Ｙｔは時刻ｔ＝１，２，３，４，…での連続な観測変数である。枝は変数間の確率的依存を表わす。状態インスタンス間の枝はＨＭＭ遷移確率を表わし、状態インスタンスと観測インスタンスとの間の枝はＨＭＭ状態の条件付分布を表わす。以下の図において、四角で囲った変数は離散的であり、丸で囲った変数は連続である。ハッチングした丸／四角は観測可能な変数を示す。
【００２７】
Ｙ＝ｙ１，…，ｙＴ、Ｍは本発明のモデルとしたとき、入力される観測シーケンスＰ（Ｙ｜Ｍ）の尤度を得る必要がある場合、ＨＭＭおよびＢＮの表現にＢＮ推論アルゴリズムを用いる必要がある。この作業の間に、ネットワークのサイズが入力シーケンスＴのサイズに合わせて調整され、その後、ネットワーク全体からＰ（Ｙ｜Ｍ）が推論される。
【００２８】
状態ノード間の枝を切断した場合を想定する。こうする事により、各時刻ｔに対応する、図２に示すように複数の独立したＢＮが得られる。時間遷移（切断された枝）が従来のＨＭＭにより支配されるとすれば、これらのＢＮを適切なＨＭＭ状態に割当てる事で時間指標をなくす事ができる。ＢＮは全て同じ共通の構造を有するので、それらを図３のように単一のＢＮとして表わす事ができる。図３では、変数Ｑは音声学的モデル内の全てのＨＭＭの状態指標（Ｓｉｊ）の値をとり、状態確率分布Ｐ（Ｙ｜Ｑ＝Ｓｉｊ）は枝によって表わされる。
【００２９】
こうして、ガウスの混合ではなく、状態分布モデルとしてＢＮを有するように従来のＨＭＭを修正した。ＨＭＭとＢＮとをこのように組合せる事で、ＨＭＭ／ＢＮモデルが階層的となる。ＢＮは最下層にあり、ＨＭＭは最上層にある。なお、状態変数Ｑ（図３）はＢＮに対しては観測可能となるが、上のＨＭＭレベルでは、依然として隠されたままである。
【００３０】
状態ＢＮは付加的な知識を表わす他のランダム変数に容易に拡張可能である。簡単な作業とは言いがたいデータからの学習によってではなく、変数間の関係に関する発明者らの知識に従って、拡張ＢＮのグラフィック構造を課する事ができる。この実施例は煩瑣なパラメータ学習とは無縁である。
【００３１】
拡張状態ＢＮの可能な構造のいくつかを図４に示す。たとえば、変数Ｘはこの図では環境ノイズの種類を表わす事ができ、他のＷおよびＺ変数は話者のＩＤ（識別情報）および話者の母語を表わす事ができる。
【００３２】
このＨＭＭ／ＢＮモデルで認識を行なう場合には、従来のＨＭＭと同様に、各状態Ｑ＝ｑｉｊについてＰ（ｙ｜Ｑ）を計算する必要がある。ただし、「ｉ」はＨＭＭ指標であり、「ｊ」はｉ番目のＨＭＭの状態指標である。この値をＢＮ確率モデルから推論する事ができ、これを行うアルゴリズムとして、正確なものと近似的なものとを含め多数の推論アルゴリズムがある。単純なＢＮでは、図４（ａ）に示すように、「力任せ」法さえも適用可能である。このＢＮに対する同時確率モデルは、以下のようにチェーンルールで表わす事ができる。
【００３３】
【数５】
2004163445.tif 000005
ＸおよびＱは独立した変数なので、「Ｐ（Ｘ｜Ｑ）＝Ｐ（Ｘ）」が成立し、従って上の式は以下のように書換える事ができる。
【００３４】
【数６】
2004163445.tif 000006
従って、求める確率Ｐ（Ｙ｜Ｑ）はＸに対するマージナライゼーションにより、以下のようになる。
【００３５】
【数７】
2004163445.tif 000007
実用上、多くの場合には全てのＸ＝ｘについてＰ（Ｘ）は同じであると仮定できるので、式（３）を次のように変形できる。
【００３６】
【数８】
2004163445.tif 000008
ここで、Ｎ（ｘ）は変数Ｘがとり得る値の数である。
【００３７】
ＢＮパラメータのトレーニングは、従来のＨＭＭ状態バラメータのトレーニングとほぼ同様に、各状態について独立して行なう事ができる。トレーニングの詳細は図１０を参照して後述する。
【００３８】
−ノイズの多い音声認識システムにおけるＨＭＭ／ＢＮモデル−
音声がノイズを含む場合、音声の特徴ベクトルはその分布を変え、その変化はノイズの種類とともにＳＮＲ（信号対雑音比）の値にも依存する。このため、この依存性を図５に示すような種類の状態ＢＮで表わす事ができる。ここで、ＮとＳとはそれぞれ、ノイズの種類とＳＮＲ値とを示す、隠れた離散的変数である。この場合、状態の尤度は式（３）を導出したのと同じ方法で解析的に表現できる。
【００３９】
多くの場合、事前確率Ｐ（Ｎ）およびＰ（Ｓ）は、ノイズの各種類および各ＳＮＲ値について等しいと合理的に仮定できるので、以下のとおりとなる。
【００４０】
【数９】
2004163445.tif 000009
語モデルおよびサブワードモデルも、従来のＨＭＭの場合と同様に作成される。デコードもまた、デコーダを変更する事なく、標準的なＨＭＭベースのシステムと同様に行なう事ができる。Ｎ（ｎ，ｓ）はＮとＳのとり得る組合せの数を示す。
【００４１】
この実施例のＨＭＭ／ＢＮモデルの構造を図６に要約して示す。
【００４２】
−コンピュータでの実現例−
図７はこの実施例の全体図である。図７を参照して、このシステムは、トレーニングデータ１１０とＨＭＭ／ＢＮモデル１１２とに基づいてＨＭＭ／ＢＮハイブリッドモデル１１４をトレーニングするためのトレーニングシステム１００と、ＨＭＭ／ＢＮハイブリッドモデル１１４を記憶するための媒体１０４と、コンピュータシステムで実現され、音声データ１２０を媒体１０４に記憶されたＨＭＭ／ＢＮハイブリッドモデル１１４でデコードし、認識された音声１２４を出力するための音声認識システム（音声デコーダ）１０２とを含む。
【００４３】
図８はこのコンピュータシステム３０を概略的に示し、図９はシステム３０をブロック図形式で示す。図８を参照して、このコンピュータシステム３０は、ＦＤ（フレキシブルディスク）ドライブ５２およびＣＤ−ＲＯＭ（コンパクトディスク読出専用メモリ）ドライブ５０を有するコンピュータ４０と、キーボード４６と、マウス４８と、モニタ４２とを含む。
【００４４】
図９を参照して、コンピュータ４０は、ＦＤドライブ５２およびＣＤ−ＲＯＭドライブ５０に加えて、ＣＰＵ（中央処理装置）５６と、ＣＰＵ５６、ＦＤドライブ５２およびＣＤ−ＲＯＭドライブ５０に接続されたバス６６と、ブートアッププログラムおよびＨＭＭデコードプログラム等を記憶する読出専用メモリ（ＲＯＭ）５８と、バス６６に接続され、プログラム命令、システムプログラム、およびＨＭＭ／ＢＮハイブリッドモデルデータを記憶するランダムアクセスメモリ（ＲＡＭ）６０とを含む。
【００４５】
ここでは示さないが、コンピュータ４０はさらにローカルエリアネットワーク（ＬＡＮ）への接続を提供するネットワークアダプタボードを含んでもよい。音声認識をリアルタイムで行なう場合には、コンピュータシステム３０はさらにマイクロフォンとオーディオキャプチャボードとを含むことになる。
【００４６】
コンピュータシステム３０に音声認識を行なわせるプログラムは、ＣＤ−ＲＯＭドライブ５０またはＦＤドライブ５２に挿入されるＣＤ−ＲＯＭ６２またはＦＤ６４に記憶され、さらにハードディスク５４に転送される。またはこれに代えて、プログラムは図示しないネットワークを通じてコンピュータ４０に送信されハードディスク５４に記憶されてもよい。プログラムは実行の際にＲＡＭ６０にロードされる。ＣＤ−ＲＯＭ６２、ＦＤ６４、またはネットワークを介してＲＡＭ６０にプログラムを直接ロードしてもよい。
【００４７】
プログラムは、コンピュータ４０にこの実施例の音声認識を行なわせるいくつかの命令を含む。この方法を行なわせるのに必要な基本的機能のいくつかはコンピュータ４０のオペレーティングシステム（ＯＳ）またはサードパーティのプログラム、もしくはコンピュータ４０にインストールされるＨＭＭツールキット等のモジュールにより提供されるので、このプログラムはこの実施例の方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能または「ツール」を呼出す事により音声認識プロセスを実行する命令のみを含んでいれるだけでよい。コンピュータシステム３０の動作は周知であるので、ここでは繰り返さない。
【００４８】
音声認識システム１０２は従来のＨＭＭデコードプログラムで実現される。この実施例で新規な点は、ＨＭＭ／ＢＮハイブリッドモデル１１４が媒体１０４上に記憶されている事である。
【００４９】
−ＨＭＭ／ＢＮモデルでのトレーニングと認識−
ＨＭＭ／ＢＮモデルのトレーニングには、ＨＭＭ／ＮＮトレーニングと同じアプローチを採用する事ができる。これはビタビトレーニングアルゴリズムに基づくものである。全体の制御フローを図１０に示す。まず始めに、ＨＭＭと状態ベイジアンネットワークとのトポロジーを選択する。モデルを初期化し、特徴抽出ステップ１５０で入力音声１４０から抽出した特徴１４４に対し、状態分離ステップ１５２で、ビタビアライメントが基本ＨＭＭモデル１４２を用いた基本認識部を使用して行なわれる。
【００５０】
状態の分離は状態ベイジアンネットワークのためのトレーニングデータを生成するのに用いられ、つぎにこの状態ベイジアンネットワークはステップ１５４、１５６および１６０でトレーニングされる。このビタビトレーニング手法では、トレーニングの時間的な部分と静的な部分とが分離される。この処理では、ステップ１５８で終了条件が満たされるまで、ステップ１５４および１５６のＢＮトレーニングと、埋込まれたトレーニング処理であるステップ１６０の遷移確率の再推定とを交互に繰返す。
【００５１】
このＨＭＭ／ＢＮモデルで認識を行なう場合、従来のＨＭＭと同様に、通常のビタビデコードアルゴリズムが用いられる。ここで、各状態Ｑ＝ｑｉｊ（図６を参照）についてＰ（ｙ｜Ｑ）を計算する必要がある。ここでｉはＨＭＭ指標であり、ｊはｉ番目のＨＭＭの状態指標である。この値を、標準的推論アルゴリズムを用いてＢＮ確率モデルから推論する事ができる。
【００５２】
−Ａｕｒｏｒａ２タスクでの評価−
この実施例の音声認識システムをＡｕｒｏｒａ２タスクで評価する実験を行なった。これらの実験では、公式のＡｕｒｏｒａ２タスクで示唆されている評価用シナリオに忠実に従った。最も関心があったのは、ＨＭＭ／ＢＮシステムを複数条件でトレーニングされたＨＭＭシステムと比較する事であった。ＨＭＭ／ＢＮ状態の条件付き分布のトレーニングにあたっては、トレーニングデータをノイズの種類とＳＮＲ値とで分け、ＨＴＫ（ＨＭＭツールキット、ＨＭＭ処理のためのソフトウェアツールキット）を用いて各条件についてのパラメータを別個にトレーニングした。特徴ベクトル、語モデル、状態数、実験条件等の全ての他のシステムパラメータは同一にした。なお、ＨＭＭ／ＢＮシステムでは、何らかの適合やノイズに強い方法を用いたわけではない。二つのシステムでの主な機能的相違点は、ＨＭＭ／ＢＮシステムが音声の特徴およびノイズの隠れた依存性を探求する事である。
【００５３】
テストセットＡ（トレーニングデータと同じノイズ種類）とテストセットＢ（異なるノイズ）の認識結果を表１にまとめて示す。理解できるとおり、ＨＭＭ／ＢＮシステムの性能は閉じたノイズ条件（Ａセット）ではかなり高く、ずっと複雑なシステムでこの作業について得られる最新の結果に迫っている。
【００５４】
【表１】
2004163445.tif 000010
この評価は、ノイズの種類とＳＮＲ値とを付加的なパラメータとして加え、これらの依存性を検討する事で、結果として得られるスペクトル特徴パラメータの誤差が３６．４％（＝（１２．７１−８．０８）＊１００／１２．７１）減少する事を示している。
【００５５】
Ｂセットの条件についていえば、性能の劣化が見られる。これは、音声スペクトル特徴の分布のミスマッチに加えて、このＨＭＭ／ＢＮシステムには新たなノイズの依存性に関する知識が得られないという事実で説明がつく。他方で、複数条件ＨＭＭシステムでは、状態ガウス混合は多ノイズおよびＳＮＲ条件から複雑な分布をあまりうまくモデル化できていない事が明らかである。しかしながら、このデータとモデル分布のミスマッチにはある種の平滑化の効果があり、これによって、見られないデータから一般化するというこのモデルの能力が高まる。
【００５６】
［ハイブリッドＨＭＭ／ＢＮモデルの応用］
明らかに、提案されたハイブリッドＨＭＭ／ＢＮモデルはノイズの多い音声認識システムのみでなく、観測や隠れた特徴が新たに得られる事で性能上の利益が得られる他の多くの場合に適用可能である。このアプローチは、種々の空間からの特徴を組合せ、その間の依存性を検討する事により、システムのモデル化能力を高めるという、より一般的なフレームワークという方がより正確である。とくに興味深いのは、ＢＮの隠れた変数の確率が推論できる可能性である。このように、ＨＭＭ／ＢＮシステムはこれらの付加的パラメータの認識に用いる事ができる。
【００５７】
例えば、ある付加的な隠れ変数Ｘが多言語システムでの言語を表わす場合、各フレームについてＰ（Ｘ｜Ｑ）を計算し、これらの確率を、入力された発話全体にわたり累積する事ができる。その場合、ｘ＝ａｒｇｍａｘｘ  Ｐ（ｘ｜Ｑｓ）、Ｑｓは最高の仮定状態シーケンス，となるｘは、その発話がなされた言語として最も確率の高い言語を示す。従って，多言語の音声認識に加えて、このようなシステムは言語認識をも行なう事ができる。なお、関数ｘ＝ａｒｇｍａｘｘ  Ｐ（ｘ｜Ｑｓ）は、Ｐ（ｘ｜Ｑｓ）を最大にするｘを示す。
【００５８】
［この実施の形態の効果］
この実施の形態では、ＨＭＭとＢＮとを単一のモデル内で組合せ、ＨＭＭとＢＮとの両者の長所を活かしている。ハイブリッドＨＭＭ／ＢＮモデルにより、音声認識システムに他の情報を容易に加える事が可能になり、最小限の費用でその性能を高める事ができる。さらに、ＨＭＭ／ＢＮモデルは従来のＨＭＭと同様に、サブワードの音声ユニットを表わす事ができる。こうして、ＢＮフレームワークを語彙数の多い連続した音声認識に用いる事が可能になる。
【図面の簡単な説明】
【図１】ＨＭＭをＤＢＮとして表わす模式図である。
【図２】各時刻ｔでの複数ＢＮの模式図である。
【図３】通常のＢＮ構造を示す、状態ＢＮの模式図である。
【図４】（ａ）は離散的変数を一つ付加した状態ＢＮの模式図であり、（ｂ）はより複雑な構造の状態ＢＮの模式図である。
【図５】ノイズおよびＳＮＲ変数を有する状態ＢＮの模式図である。
【図６】この発明の一実施の形態に係るＨＭＭ／ＢＮハイブリッドモデル構造の模式図である。
【図７】この発明の一実施の形態の音声認識システムのブロック図である。
【図８】この実施の形態の音声認識システムのプログラムを実行するコンピュータシステムの外観図である。
【図９】図８のコンピュータシステムのブロック図である。
【図１０】この実施の形態のＨＭＭ／ＢＮモデルのトレーニングプログラムの制御の流れを示すフローチャートである。
【符号の説明】
１００  トレーニングシステム、１０２  音声認識システム、１０４  記憶媒体、  １１０トレーニングデータ、１１２  モデル化、１１４  ＨＭＭ／ＢＮハイブリッドモデル、１２０  音声データ、１２２  音声認識システム、１２４  出力
【図１】
2004163445.tif 000013
【図２】
2004163445.tif 000014
【図３】
2004163445.tif 000015
【図４】
2004163445.tif 000016
【図５】
2004163445.tif 000017
【図６】
2004163445.tif 000018
【図７】
2004163445.tif 000019
【図８】
2004163445.tif 000020
【図９】
2004163445.tif 000021
【図１０】
2004163445.tif 000022
【外国語明細書】
2004163445.tif 000023
2004163445.tif 000024
2004163445.tif 000025
2004163445.tif 000026
2004163445.tif 000027
2004163445.tif 000028
2004163445.tif 000029
2004163445.tif 000030
2004163445.tif 000031
2004163445.tif 000032
2004163445.tif 000033
2004163445.tif 000034
2004163445.tif 000035
2004163445.tif 000036
2004163445.tif 000037
2004163445.tif 000038
2004163445.tif 000039
2004163445.tif 000040
2004163445.tif 000041
2004163445.tif 000042
2004163445.tif 000043
2004163445.tif 000044
2004163445.tif 000045
2004163445.tif 000046
2004163445.tif 000047
2004163445.tif 000048
2004163445.tif 000049
2004163445.tif 000050
2004163445.tif 000051
2004163445.tif 000052
2004163445.tif 000053
2004163445.tif 000054
2004163445.tif 000055
2004163445.tif 000056
2004163445.tif 000057
2004163445.tif 000058
2004163445.tif 000059
2004163445.tif 000060