(57)【特許請求の範囲】
【請求項１】
不特定話者音響モデルを用いて話者制約により音声認識を行う音声認識装置において、
複数の話者クラスタのそれぞれの学習音声の音響特徴量を予め設定された変換行列により低次元の話者特徴量に変換し、前記話者特徴量の時系列統計量を算出して、各話者クラスタの時系列モデルとして蓄積する話者時系列モデル学習手段と、
前記不特定話者音響モデルを混合連続分布隠れマルコフモデルでモデル化すると共に、入力される認識対象音声の音響特徴量を前記変換行列により低次元の話者特徴量に変換し、変換した前記話者特徴量を用いて前記話者時系列モデル学習手段により得られる各話者クラスタの時系列モデルから話者時系列モデルを選択し、前記認識対象音声の話者特徴量と前記変換行列によって変換された前記不特定話者音響モデルの混合連続分布の平均ベクトルとの距離、及び前記選択された話者時系列モデルに基づいて、前記混合連続分布の混合分布重みを修正することにより、前記不特定話者音響モデルの混合分布重みに話者特有の制約を施した話者制約音響モデルを求め、前記話者制約音響モデル及び予め蓄積された発音辞書から、前記認識対象音声の音響特徴量に対する各候補単語の音響スコアを算出し、更に予め蓄積された言語モデルを用いて各候補単語の言語スコアを算出して、複数の候補単語列のうち、予め設定された条件に対応する単語列を少なくとも１つ選定して認識出力単語列として出力する話者制約音声認識手段とを有することを特徴とする音声認識装置。
【請求項２】
混合連続分布隠れマルコフモデルでモデル化された不特定話者音響モデルを用いて話者制約により音声認識を行う音声認識装置において、
入力される認識対象音声の音響特徴量を予め設定された変換行列により低次元の話者特徴量に変換する話者特徴変換手段と、
前記話者特徴変換手段により得られる認識対象音声の時系列から変換した前記話者特徴量を用いて、予め蓄積される各話者クラスタの時系列モデルから話者時系列モデルを選択し、前記認識対象音声の話者特徴量と前記変換行列によって変換された前記不特定話者音響モデルの混合連続分布の平均ベクトルとの距離、及び前記選択された話者時系列モデルに基づいて、前記混合連続分布の混合分布重みを修正することにより、前記不特定話者音響モデルの混合分布重みに話者特有の制約を施した話者制約音響モデルを求める話者依存時系列制約手段と、
前記話者制約音響モデル及び予め蓄積された発音辞書から認識対象音声の音響特徴量に対する各候補単語の音響スコアを算出する音響スコア算出手段と、
予め蓄積された言語モデルを用いて各候補単語の言語スコアを算出する言語スコア算出手段と、
前記言語スコア算出手段により得られる複数の候補単語列のうち、最大スコアの単語列を認識出力単語列として出力する最適単語列選定手段とを有することを特徴とする音声認識装置。
【請求項３】
前記予め蓄積される各話者クラスタの時系列モデルは、
複数の話者クラスタのそれぞれの学習音声の音響特徴量を前記変換行列により低次元の話者特徴量に変換する話者特徴変換手段と、
前記話者特徴量の時系列統計量を算出する時系列統計量算出手段と、
前記時系列統計量算出手段により、各話者クラスタの時系列モデルを学習する話者時系列モデル学習手段とにより作成されることを特徴とする請求項２に記載の音声認識装置。
【請求項４】
前記話者特徴変換手段は、
前記音響特徴量の低い変調周波数領域を抑圧し、主成分分析或いは線形判別分析によって話者クラスタ特有の話者特徴量に変換することを特徴とする請求項２又は３に記載の音声認識装置。
【請求項５】
前記時系列統計量算出手段は、
時系列の話者特徴量のマルコフモデルを各話者クラスタの時系列モデルとすることを特徴とする請求項３又は４に記載の音声認識装置。
【請求項６】
混合連続分布隠れマルコフモデルでモデル化された不特定話者音響モデルを用いて話者制約による音声認識を行う処理をコンピュータに実行させるための音声認識プログラムにおいて、
コンピュータを、
入力される認識対象音声の音響特徴量を予め設定された変換行列により低次元の話者特徴量に変換する話者特徴変換手段、
前記話者特徴変換手段により得られる認識対象音声の時系列から変換した前記話者特徴量を用いて、予め蓄積される各話者クラスタの時系列モデルから話者時系列モデルを選択し、前記認識対象音声の話者特徴量と前記変換行列によって変換された前記不特定話者音響モデルの混合連続分布の平均ベクトルとの距離、及び前記選択された話者時系列モデルに基づいて、前記混合連続分布の混合分布重みを修正することにより、前記不特定話者音響モデルの混合分布重みに話者特有の制約を施した話者制約音響モデルを求める話者依存時系列制約手段、
前記話者制約音響モデル及び予め蓄積された発音辞書から認識対象音声の音響特徴量に対する各候補単語の音響スコアを算出する音響スコア算出手段、
予め蓄積された言語モデルを用いて各候補単語の言語スコアを算出する言語スコア算出手段、及び、
前記言語スコア算出手段により得られる複数の候補単語列のうち、最大スコアの単語列を認識出力単語列として出力する最適単語列選定手段として機能させるための音声認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識装置及び音声認識プログラムに係り、特に高精度な音声認識を実現するための音声認識装置及び音声認識プログラムに関する。
【背景技術】
【０００２】
従来、複数の話者を対象にした音声認識では、予め不特定多数の話者の音声で学習された不特定話者音響モデルを利用することが一般的であり、これを混合連続確率密度分布を持つ隠れマルコフモデル（ＨＭＭ：Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）で実現することが多い（例えば、非特許文献１参照。）。
【０００３】
そこで、似た声の話者をクラスタ化して、不特定話者音響モデルを複数用意する手法も提案されている（例えば、特許文献１参照。）。更に、話者の声の質にあわせて音響モデルを適応化する技術が存在する（例えば、非特許文献２，３等参照。）。
【０００４】
また、得られる適応化用音声の量に応じた音響モデルを適応化する手法が存在する（例えば、特許文献２等参照。）。
【０００５】
また、音響モデルに話者特有の制約を施す手法も提案されている（例えば、特許文献３参照。）。
【０００６】
また、ＨＭＭによる音響モデルのもう１つの問題点として、音響特徴量時系列の独立性を仮定しているため、直前の時刻の音響特徴量と現時刻の音響特徴量の統計的依存関係等、音響特徴量の時間変化の統計的性質を直接表現することが困難ということがある。
【０００７】
そこで、従来では、音響特徴量の時間変化を直接表現する手法が存在する（例えば、非特許文献４参照。）。
【非特許文献１】中川聖一「確率モデルによる音声認識」、電子情報通信学会、１９８８．
【特許文献１】特開２００７−２３３１４９号公報
【非特許文献２】Ｊ．Ｌ．Ｇａｕｖａｉｎ  ａｎｄ  Ｃ．Ｈ．Ｌｅｅ，“Ｍａｘｉｍｕｍ  ａ  ｐｏｓｔｅｒｉｏｒ  ｅｓｔｉｍａｔｉｏｎ  ｆｏｒ  ｍｕｌｔｉｖａｒｉａｔｅ  Ｇａｕｓｓｉａｎ  ｍｉｘｔｕｒｅ  ｏｂｓｅｒｖａｔｉｏｎｓ  ｏｆ  Ｍａｒｋｏｖ  ｃｈａｉｎｓ，”ＩＥＥＥ  Ｔｒａｎｓ．Ｓｐｅｅｃｈ  Ａｕｄｉｏ  Ｐｒｏｃｅｓｓ．，ｖｏｌ．２，ｎｏ．２，ｐｐ．２９１−２９８，１９９４．
【非特許文献３】Ｃ．Ｊ．  Ｌｅｇｇｅｔｔｅｒ  ａｎｄ  Ｐ．Ｃ．Ｗｏｏｄｌａｎｄ，“Ｍａｘｉｍｕｍ  ｌｉｋｅｌｉｈｏｏｄ  ｌｉｎｅａｒ  ｒｅｇｒｅｓｓｉｏｎ  ｆｏｒ  ｓｐｅａｋｅｒ  ａｄａｐｔａｔｉｏｎ  ｏｆ  ｃｏｎｔｉｎｕｏｕｓ  ｄｅｎｓｉｔｙ  ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  ｍｏｄｅｌｓ，”Ｃｏｍｐｕｔｅｒ  Ｓｐｅｅｃｈ  ａｎｄ  Ｌａｎｇｕａｇｅ，ｖｏｌ．９，ｐｐ．１７１−１８５，１９９５．
【特許文献２】特開２００６−５３４３１号公報
【特許文献３】特許第３０３６７０６号公報
【非特許文献４】高橋敏、松岡達雄、鹿野清宏、「ＶＱコードのＢｉｇｒａｍで制約した音韻ＨＭＭによる音声認識」、電子情報通信学会論文誌Ｄ−ＩＩ，ｖｏｌ．Ｊ７６−Ｄ−ＩＩ，ｎｏ．７，ｐｐ．１３４６−１３５３，１９９３．
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した非特許文献１に示されている手法の場合、不特定話者音響モデルは、複数の連続確率密度分布を混合させることによって、様々な話者の声の特徴をカバーできるものの、それぞれの話者の声に特化したものではないため、十分な認識性能を得られないことがある。
【０００９】
また、上述した特許文献１に示されている手法の場合、認識時の未知の話者の声質に追従するようにはなっていない。更に、上述した非特許文献２，３に示されている手法の場合、何れも数が１０発話程度の適応化用音声がなければ、認識性能を十分に向上させることは難しく、オンライン処理には向かない。
【００１０】
また、上述した特許文献２に示されている手法の場合、音声を認識しながらオンラインでその音声に応じた適応化を逐次行うものではない。
【００１１】
また、上述した特許文献３に示されている手法の場合、話者性を表すエルゴディックＨＭＭと不特定話者音韻ＨＭＭを合成する結果、音響モデルのパラメータ数が増大するため、認識処理時間の増加をもたらす。
【００１２】
また、ＨＭＭによる音響モデルのもうひとつの問題点として、音響特徴量時系列の独立性を仮定しているため、直前の時刻の音響特徴量と現時刻の音響特徴量の統計的依存関係等、音響特徴量の時間変化の統計的性質を直接表現することが困難ということがある。
【００１３】
更に、上述した非特許文献４に示されている手法の場合、確率の条件を満たすようにするため、全ＶＱコードに対する尤度を算出して音響スコアを正規化する必要がある。したがって、これを混合連続分布型ＨＭＭに応用するには認識処理時間が増加するため、認識精度の劣る離散分布型ＨＭＭの利用を前提とせざるを得ない。
【００１４】
本発明は、上述した問題点に鑑みなされたものであり、処理時間を殆ど増加させることなく、認識入力音声で即座に、従来よりも高精度な音声認識を実現するための音声認識装置及び音声認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１６】
請求項１に記載された発明は、不特定話者音響モデルを用いて話者制約により音声認識を行う音声認識装置において、複数の話者クラスタのそれぞれの学習音声の音響特徴量を予め設定された変換行列により低次元の話者特徴量に変換し、前記話者特徴量の時系列統計量を算出して、各話者クラスタの時系列モデルとして蓄積する話者時系列モデル学習手段と、前記不特定話者音響モデルを混合連続分布隠れマルコフモデルでモデル化すると共に、入力される認識対象音声の音響特徴量を前記変換行列により低次元の話者特徴量に変換し、変換した前記話者特徴量を用いて前記話者時系列モデル学習手段により得られる各話者クラスタの時系列モデルから話者時系列モデルを選択し、前記認識対象音声の話者特徴量と前記変換行列によって変換された前記不特定話者音響モデルの混合連続分布の平均ベクトルとの距離、及び前記選択された話者時系列モデルに基づいて、前記混合連続分布の混合分布重みを修正することにより、前記不特定話者音響モデルの混合分布重みに話者特有の制約を施した話者制約音響モデルを求め、前記話者制約音響モデル及び予め蓄積された発音辞書から、前記認識対象音声の音響特徴量に対する各候補単語の音響スコアを算出し、更に予め蓄積された言語モデルを用いて各候補単語の言語スコアを算出して、複数の候補単語列のうち、予め設定された条件に対応する単語列を少なくとも１つ選定して認識出力単語列として出力する話者制約音声認識手段とを有することを特徴とする。
【００１７】
請求項１記載の発明によれば、高精度な音声認識を実現させることができる。また、認識対象音声に対して即座に混合連続分布型の不特定話者音響モデルに話者特有の制約をかけることで処理時間を短縮させると共に、従来よりも高精度な音声認識を実現することができる。
【００１８】
請求項２に記載された発明は、  混合連続分布隠れマルコフモデルでモデル化された不特定話者音響モデルを用いて話者制約により音声認識を行う音声認識装置において、入力される認識対象音声の音響特徴量を予め設定された変換行列により低次元の話者特徴量に変換する話者特徴変換手段と、前記話者特徴変換手段により得られる認識対象音声の時系列から変換した前記話者特徴量を用いて、予め蓄積される各話者クラスタの時系列モデルから話者時系列モデルを選択し、前記認識対象音声の話者特徴量と前記変換行列によって変換された前記不特定話者音響モデルの混合連続分布の平均ベクトルとの距離、及び前記選択された話者時系列モデルに基づいて、前記混合連続分布の混合分布重みを修正することにより、前記不特定話者音響モデルの混合分布重みに話者特有の制約を施した話者制約音響モデルを求める話者依存時系列制約手段と、前記話者制約音響モデル及び予め蓄積された発音辞書から認識対象音声の音響特徴量に対する各候補単語の音響スコアを算出する音響スコア算出手段と、予め蓄積された言語モデルを用いて各候補単語の言語スコアを算出する言語スコア算出手段と、前記言語スコア算出手段により得られる複数の候補単語列のうち、最大スコアの単語列を認識出力単語列として出力する最適単語列選定手段とを有することを特徴とする。
【００１９】
請求項２記載の発明によれば、高精度な音声認識を実現させることができる。また、認識対象音声に対して即座に混合連続分布型の不特定話者音響モデルに話者特有の制約をかけることで処理時間を短縮させると共に、従来よりも高精度な音声認識を実現することができる。
【００２０】
請求項３に記載された発明は、前記予め蓄積される各話者クラスタの時系列モデルは、複数の話者クラスタのそれぞれの学習音声の音響特徴量を前記変換行列により低次元の話者特徴量に変換する話者特徴変換手段と、前記話者特徴量の時系列統計量を算出する時系列統計量算出手段と、前記時系列統計量算出手段により、各話者クラスタの時系列モデルを学習する話者時系列モデル学習手段とにより作成されることを特徴とする。
【００２１】
請求項３記載の発明によれば、事前に各話者クラスタの時系列モデルを学習しておき、入力された認識対象音声に対して最適な話者時系列モデルを選択させることで、高精度な音声認識を実現させることができる。
【００２２】
請求項４に記載された発明は、前記話者特徴変換手段は、前記音響特徴量の低い変調周波数領域を抑圧し、主成分分析或いは線形判別分析によって話者クラスタ特有の話者特徴量に変換することを特徴とする。
【００２３】
請求項４記載の発明によれば、認識対象音声に対して即座に混合連続分布型の不特定話者音響モデルに話者特有の制約をかけることで処理時間を短縮させると共に、従来よりも高精度な音声認識を実現することができる。
【００２４】
請求項５に記載された発明は、前記時系列統計量算出手段は、時系列の話者特徴量のマルコフモデルを各話者クラスタの時系列モデルとすることを特徴とする。
【００２５】
請求項５記載の発明によれば、この時系列モデルの統計量に依存して、混合連続分布で表された不特定話者音響モデルの混合分布重みを、話者特徴量と各連続分布の平均ベクトルの距離に応じて修正し、話者特有の制約を施した話者制約音響モデルを求めて、音声認識を実行することができる。
【００２８】
請求項６に記載された発明は、混合連続分布隠れマルコフモデルでモデル化された不特定話者音響モデルを用いて話者制約による音声認識を行う処理をコンピュータに実行させるための音声認識プログラムにおいて、コンピュータを、入力される認識対象音声の音響特徴量を予め設定された変換行列により低次元の話者特徴量に変換する話者特徴変換手段、前記話者特徴変換手段により得られる認識対象音声の時系列から変換した前記話者特徴量を用いて、予め蓄積される各話者クラスタの時系列モデルから話者時系列モデルを選択し、前記認識対象音声の話者特徴量と前記変換行列によって変換された前記不特定話者音響モデルの混合連続分布の平均ベクトルとの距離、及び前記選択された話者時系列モデルに基づいて、前記混合連続分布の混合分布重みを修正することにより、前記不特定話者音響モデルの混合分布重みに話者特有の制約を施した話者制約音響モデルを求める話者依存時系列制約手段、前記話者制約音響モデル及び予め蓄積された発音辞書から認識対象音声の音響特徴量に対する各候補単語の音響スコアを算出する音響スコア算出手段、予め蓄積された言語モデルを用いて各候補単語の言語スコアを算出する言語スコア算出手段、及び、前記言語スコア算出手段により得られる複数の候補単語列のうち、最大スコアの単語列を認識出力単語列として出力する最適単語列選定手段として機能させる。
【００２９】
請求項６記載の発明によれば、高精度な音声認識を実現させることができる。また、認識対象音声に対して即座に混合連続分布型の不特定話者音響モデルに話者特有の制約をかけることで処理時間を短縮させると共に、従来よりも高精度な音声認識を実現することができる。また、プログラムをインストールすることにより、容易に音声認識処理を実現することができる。
【発明の効果】
【００３０】
本発明によれば、高精度な音声認識を実現させることができる。
【発明を実施するための最良の形態】
【００３１】
＜本発明の概要＞
本発明は、話者に特有の時系列統計量を利用して、不特定話者音響モデルの混合分布重みに話者特有の制約を施すことにより、従来よりも高精度な音声認識を実現するものである。
【００３２】
更に具体的に説明すると、本発明は、まず予め複数の話者クラスタのそれぞれの学習音声の音響特徴量を話者特徴量に変換し、話者特徴量の時系列統計量を各話者クラスタの時系列モデルとして学習しておく。音声認識時には、入力される認識対象音声について同様に話者特徴量を求め、認識対象音声の話者特徴量の時系列から、最適な話者時系列モデルを選択する。この時系列モデルの統計量に依存して、混合連続分布で表された不特定話者音響モデルの混合分布重みを、話者特徴量と各連続分布の平均ベクトルの距離に応じて修正し、話者特有の制約を施した話者制約音響モデルを求めて、音声認識を実行する。
【００３３】
これにより、本発明によれば、認識対象音声に対して即座に混合連続分布型の不特定話者音響モデルに話者特有の制約をかけることで処理時間を短縮させると共に、従来よりも高精度な音声認識を実現することができる。したがって、例えば複数の話者が出演する放送番組等の音声認識において、従来の不特定話者音響モデルよりも高精度な音声認識を実現することができる。
【００３４】
次に、本発明における音声認識装置及び音声認識プログラムを好適に実施した形態について、図面を用いて説明する。
【００３５】
＜音声認識装置：機能構成例＞
図１は、本実施形態における音声認識装置の機能構成の一例を示す図である。図１に示す音声認識装置１０は、話者時系列モデル学習手段１１と、話者制約音声認識手段１２とを有するよう構成されている。なお、話者時系列モデル学習手段１１は、話者制約認識手段１２における音声認識処理の実行に先立って予め話者クラスタ１〜Ｎの時系列モデルを蓄積しておくためのいわゆるオフライン処理であり、話者制約音声認識手段１２は、認識対象の音声入力に対してリアルタイムに話者制約音声認識を行うためのいわゆるオンライン処理である。
【００３６】
話者時系列モデル学習手段１１は、不特定話者音響モデルを備えた音声認識装置に関するものであり、複数の話者クラスタのそれぞれの学習音声の音響特徴量を話者特徴量に変換し、話者特徴量の時系列統計量を算出して、それぞれ話者クラスタ１〜Ｎの時系列モデルとして蓄積する。
【００３７】
話者制約音声認識手段１２は、認識対象音声についても話者時系列モデル学習手段１１と同様に音響特徴量を話者特徴量に変換する。また、話者制約音声認識手段１２は、認識対象音声の時系列の話者特徴量を用いて、話者時系列モデル学習手段１１が予め蓄積されている各話者クラスタ１〜Ｎの時系列モデルを学習して最適な話者時系列モデルを選択し、更に予め蓄積されている不特定話者音響モデルの混合分布重みに話者特有の制約を施した話者制約音響モデルを求め、話者制約音響モデル及び発音辞書から認識対象音声の音響特徴量に対する各候補単語の音響スコアを算出し、また予め蓄積されている言語モデルを用いて各候補単語の言語スコアを算出する。
【００３８】
更に、話者制約音声認識手段１２は、複数の候補単語列のうち、予め設定された条件に対応する単語列を少なくとも１つ選定して認識出力単語列として出力する。なお、予め設定される条件としては、例えばスコアが最大、スコアが予め設定された値以上、又はスコアが最大のものから上位数番目まで等がある。
【００３９】
次に、上述した話者時系列モデル学習手段１１及び話者制約音声認識手段１２における各構成の具体的な処理内容については後述する。
【００４０】
＜話者時系列モデル学習手段１１：機能構成例＞
図２は、話者時系列モデル学習手段における機能構成の一例を示す図である。図２に示す話者時系列モデル学習手段１１は、音響分析手段２１と、話者特徴変換手段２２と、時系列統計量算出手段２３とを有する構成されている。
【００４１】
音響分析手段２１は、１からＮまでの話者クラスタのそれぞれの学習音声２４−１〜２４−Ｎの各データから、音響特徴量を抽出する。なお、音響特徴量としては、入力した音声信号から通常の音声認識手法で用いることができ、例えば声の特徴を表す１２次元程度のメル周波数ケプストラム係数（ＭＦＣＣ：Ｍｅｌ  Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒａｌ  Ｃｏｅｆｆｉｃｉｅｎｔｓ）（例えば、鹿野他、「音声認識システム」オーム社、２００１等を参照。）や、線形予測係数等のような声道の形状を数値化した特徴量、韻律（ピッチ、抑揚等）等の特徴量、またそれらの特徴量の平均値や分散等の統計的情報を分析すること等により、種々の特徴量を取得することができる。なお、上述の処理では、各音声フレームの時刻ｔで得られた音響特徴量を、ｘ（ｔ）とする。
【００４２】
話者特徴変換手段２２は、音響分析手段２１により得られる音響特徴量の各次元でＩＩＲ（Ｉｎｆｉｎｉｔｅ  ｉｍｐｕｌｓｅ  ｒｅｓｐｏｎｓｅ：無限インパルスレスポンス）フィルタによって低い変調周波数領域を抑圧した後、主成分分析或いは線形判別分析し、高い情報量が得られる低次の４次元程度のベクトルに変換して、話者特徴量を求める。
【００４３】
ここで、上述した話者特徴変換手段２２における話者特徴変換を実現する変換行列をＡとし、フレーム時刻ｔに得られた話者特徴量をｙ（ｔ）とすると、ｙ（ｔ）＝Ａｘ（ｔ）と表すことができる。例えば、話者特徴変換として主成分分析を行った場合における変換行列Ａの行ベクトルは、大量の音響特徴量３の共分散行列から求められる固有ベクトルで構成される。
【００４４】
時系列統計量算出手段２３は、話者特徴変換手段２２により得られる話者特徴量の時系列統計量として、例えばフレーム時刻ｔ−１の話者特徴量ｙ（ｔ−１）からフレーム時刻ｔの話者特徴量ｙ（ｔ）に遷移する条件付き確率を、話者クラスタｎに対してマルコフモデルＰｎ（ｙ（ｔ）｜Ｖ（ｙ（ｔ−１）））でモデル化する。
【００４５】
ここで、上述した関数Ｖは、例えば非特許文献１に示されているようなベクトル量子化を表し、そのためのコードブックは予め全話者クラスタの話者特徴量から求めておく。また、上述のマルコフモデルは、混合連続分布型或いはフレーム時刻ｔの話者特徴量ｙ（ｔ）もベクトル量子化した離散分布型とし、それぞれの話者クラスタ１〜Ｎの時系列モデル２５−１〜２５−Ｎとして蓄積手段等に保存しておく。また、話者クラスタ１〜Ｎの時系列モデル２５−１〜２５−Ｎは、話者制約音声認識手段１２において、対応する認識対象の音声が入力された際に、参照される。
【００４６】
＜話者制約音声認識手段１２：機能構成例＞
次に、話者制約音声認識手段１２における機能構成の一例について、図を用いて説明する。図３は、話者制約音声認識手段における機能構成の一例を示す図である。
【００４７】
図３に示す話者制約音声認識手段１２は、音響分析手段３１と、話者特徴変換手段３２と、話者依存時系列制約手段３３と、音響スコア算出手段３４と、言語スコア算出手段３５と、最適単語列選定手段３６とを有するよう構成されている。
【００４８】
音響分析手段３１は、音声認識対象として入力される認識対象音声を話者時系列モデル学習手段１１における音響分析手段２１と同様に処理を行い音響分析によって音響特徴量に変換する。また、音響分析手段３１は、音響特徴量を話者変換手段３２及び音響スコア算出手段３４に出力する。
【００４９】
話者特徴変換手段３２は、音響分析手段３１により得られる音響特徴量を話者特徴量に変換する。すなわち、話者特徴変換手段３２における処理によりフレーム時刻ｔの音響特徴量ｘ（ｔ）は、変換行列Ａによって話者特徴量ｙ（ｔ）＝Ａｘ（ｔ）に変換されることになる。
【００５０】
話者依存時系列制約手段３３は、予め設定される連続分布の混合モデルで表された不特定話者音響モデル３７の混合分布重みを、話者特徴変換手段３２により得られる話者特徴量ｙ（ｔ）に対して、話者時系列モデル学習手段１１における話者クラスタ１〜Ｎの時系列モデル２５−１〜２５−Ｎにおいて、最適な話者クラスタｎの時系列モデル２５の統計量と、話者特徴量ｙ（ｔ）との各連続分布の平均ベクトルの距離に基づいて修正し、話者制約音響モデル３８を求める。なお、話者依存時系列制約手段３３における話者制約音響モデル３８の生成手法の具体例については、後述する。
【００５１】
音響スコア算出手段３４は、予め蓄積されている単語又は語彙（単語の集合）とその発音を規定した発音辞書３９を参照し、音響分析手段３１から得られる音響特徴量に対する音響スコアを、話者制約音響モデル３８を用いて算出する。また、音響スコア算出手段３４は、算出した音響スコアを言語スコア算出手段３５に出力する。
【００５２】
言語スコア算出手段３５は、単語候補に対する言語スコアを、予め蓄積されている言葉の繋がりを確率等により表現された言語モデル（例えば、ｎ−ｇｒａｍ言語モデル等）４０を用いて算出する。また、言語スコア算出手段３５は、算出した言語スコアを最適単語列選定手段３６に出力する。
【００５３】
最適単語列選定手段３６は、音響スコア算出手段３４及び言語スコア算出手段３５によりそれぞれ得られた音響スコア及び言語スコアから総スコアを求める。また、最適単語列選定手段３６は、求めた総スコアに基づいて、複数の候補単語列のうち、例えば総スコアが最大となる単語列を認識出力単語列として出力する。
【００５４】
上述した実施形態により、話者に特有の時系列統計量を利用して、不特定話者音響モデルの混合分布重みに話者制約を施すことにより、従来よりも高精度な音声認識を実現することができる。つまり、本発明によれば、認識対象音声に対して即座に混合連続分布型の不特定話者音響モデルに話者特有の制約をかけることで処理時間を短縮させると共に、従来よりも高精度な音声認識を実現することができる。
【００５５】
＜話者依存時系列制約手段３３：話者制約音響モデル３８の生成例＞
ここで、上述した話者制約音声認識手段１２における話者依存時系列制約手段３３による話者制約音響モデル３８の具体的な生成例について説明する。話者依存時系列制約手段３３は、不特定話者音響モデル３７が混合連続分布ＨＭＭでモデル化されている場合、ＨＭＭのある状態ｓにおける出力分布が以下に示す（１）式で表されているものとする。
【００５６】
【数１】
0004922225.tif 000002
ここで、上述の（１）式において、Ｍは連続分布の混合数を示し、Ｎは正規分布を示している。また、連続分布ｍに対して、ｃｓｍは混合分布重みを示し、μｓｍは平均ベクトルを示し、Σｓｍは共分散行列を示しており、θｓｍ＝（μｓｍ，Σｓｍ）とする。
【００５７】
また、フレーム時刻ｔの話者特徴量ｙ（ｔ）に対して、各連続分布ｍとの話者特徴量空間でのマハラノビス距離を以下に示す（２）式で求める。
【００５８】
【数２】
0004922225.tif 000003
ここで、上述の（２）式において、ｔは転置行列を表す。
【００５９】
次に、最適な話者クラスタの時系列モデル２５を利用して、連続分布ｍの混合分布重みｃｓｍを、本実施形態のおける第１の手法として以下に示す（３），（４）式で修正する。
【００６０】
【数３】
0004922225.tif 000004
ここで、上述した（３），（４）式において、ｃ＾ｓｍは修正後の混合分布重みを示し、ｃ’ｓｍはマハラノビス距離と時系列モデルに基づく混合分布重みを示し、λは修正量を制御する定数パラメータを示し、αはマハラノビス距離の重み係数を示している。
【００６１】
なお、最適な話者クラスタｎは、例えば認識対象音声の発話始端のスピーチ区間１秒程度の話者特徴量の時系列が最も高い確率となる時系列モデル２５を選択してもよく、また例えば各フレーム時刻で最大の確率となる時系列モデル２５を選択してもよい。
【００６２】
ここで、上述の話者制約音声認識の動作イメージについて図を用いて説明する。図４は、本実施形態における話者制約音声認識の動作イメージの一例を示す図である。なお、図４では、例えばｘ（ｔ）の音響特徴量空間における状態ｓの混合連続分布が、話者特徴変換Ａにより得られるｙ（ｔ）の話者特徴空間における各話者クラスタのうち、どの話者クラスタへ位置付けられるかを示している。
【００６３】
図４に示すように、話者特徴量空間における話者特徴量ｙ（ｔ）と各連続分布ｍの平均ベクトルＡμｓｍとのマハラノビス距離が小さい程大きく、更に話者クラスタｎの時系列モデルの確率値が大きい程、修正された混合分布重みｃ＾ｓｍは大きくなる。
【００６４】
つまり、話者クラスタｎの学習データに近い連続分布である程、その混合分布重みは、より大きくなる。また、遠い連続分布である程、その混合分布重みは、小さくなる。また、この修正の度合いは、話者特徴量ｙ（ｔ）の時系列が話者クラスタｎの学習データに近い程、大きくなる。また、最適な話者クラスタｎであっても、話者特徴量ｙ（ｔ）の時系列の確率が小さい場合には、各連続分布の混合分布重みは、よりフラット（平坦）なものとなる。
【００６５】
また、上述した混合分布重みｃｓｍの修正における第２の修正手法としては、例えば以下に示す（５）〜（７）式で表すことができる。
【００６６】
【数４】
0004922225.tif 000005
ここで、時系列モデルは、フレーム時刻ｔの話者特徴量ｙ（ｔ）もベクトル量子化した離散分布型とし、修正量を制御するパラメータλは話者特徴量ｙ（ｔ）に依存して変化する。
【００６７】
上述した第２の修正手法によれば、話者特徴量ｙ（ｔ）の時系列の確率が小さい場合には、各連続分布の混合分布重みは殆ど修正されず、元の不特定話者音響モデルと同等になる。
【００６８】
以上の処理により、話者クラスタの時系列の制約を考慮した、連続分布の新たな混合分布重みｃ＾ｓｍが得られ、これによる音響モデルを話者制約音響モデル３８とする。
【００６９】
＜ハードウェア構成＞
ここで、上述したように音声認識装置１０は、専用の装置構成により本発明における音声認識処理を行うこともできるが、後述する各構成における音声認識処理をコンピュータに実行させることができる実行プログラムを生成し、例えば、汎用のパーソナルコンピュータ、ワークステーション等にプログラムをインストールすることにより、本発明における音声認識処理を実現することができる。
【００７０】
ここで、本発明における実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図５は、本発明における音声認識処理が実現可能なハードウェア構成の一例を示す図である。
【００７１】
図５におけるコンピュータ本体には、入力装置５１と、出力装置５２と、ドライブ装置５３と、補助記憶装置５４と、メモリ装置５５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）５６と、ネットワーク接続装置５７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００７２】
入力装置５１は、使用者が操作するキーボード及びマウス等のポインティングデバイスを有しており、使用者からのプログラムの実行等、各種操作信号を入力する。出力装置５２は、本発明における音声認識処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、ＣＰＵ５６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。
【００７３】
ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリやＣＤ−ＲＯＭ等の可搬型の記録媒体５８等により提供される。プログラムを記録した記録媒体５８は、ドライブ装置５３にセット可能であり、記録媒体５８に含まれる実行プログラムが、記録媒体５８からドライブ装置５３を介して補助記憶装置５４にインストールされる。
【００７４】
補助記憶装置５４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。
【００７５】
メモリ装置５５は、ＣＰＵ５６により補助記憶装置５４から読み出された実行プログラム等を格納する。なお、メモリ装置５５は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等からなる。
【００７６】
ＣＰＵ５６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）等の制御プログラム、メモリ装置５５により読み出され格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、上述した音声認識における各処理を実現することができる。プログラムの実行中に必要な各種情報は、補助記憶装置５４から取得することができ、また格納することもできる。
【００７７】
ネットワーク接続装置５７は、通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラム自体を他の端末等に提供することができる。
【００７８】
上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで高精度な音声認識処理を実現することができる。また、プログラムをインストールすることにより、容易に音声認識処理を実現することができる。
【００７９】
＜音声認識処理手順＞
次に、本実施形態における音声認識処理手順の一例についてフローチャートを用いて説明する。なお、以下の処理では、上述した音声認識処理における話者時系列モデル学習処理手順と、話者制約音声認識処理手順とをそれぞれ別のフローチャートを用いて説明する。
【００８０】
＜話者時系列モデル学習処理手順＞
図６は、本実施形態における話者時系列モデル学習処理手順の一例を示すフローチャートである。図６において、まず初期設定（例えば、変数（話者クラスタ番号）ｎ＝１とする等）を行い（Ｓ０１）、その後、予め蓄積された学習クラスタｎの学習音声を入力して（Ｓ０２）、音響分析を行って、音響特徴量を取得する（Ｓ０３）。
【００８１】
次に、音響特徴量を話者特徴変換して話者特徴量を算出し（Ｓ０４）、算出した話者特徴量を用いて、時系列統計量算出を順次行う（Ｓ０５）。ここで、話者クラスタ番号ｎが全話者クラスタ数Ｎと一致しているか否か（ｎ＝Ｎ？）を判断し（Ｓ０６）、一致していない場合（Ｓ０６において、ＮＯ）話者クラスタ番号ｎに１を加算して（ｎ＝ｎ＋１）（Ｓ０７）、Ｓ０２の処理に戻り後続の処理を行う。また、Ｓ０６の処理において、話者クラスタ番号ｎが全話者クラスタ数Ｎと一致する場合（ｎ＝Ｎ）（Ｓ０６において、ＹＥＳ）、話者時系列の学習を終了する。
【００８２】
＜話者制約音声認識処理手順＞
次に、話者制約音声認識処理手順について説明する。なお、以下に示す処理では、一例として１発話に対する音声認識処理について説明する。図７は、本実施形態における話者制約音声認識処理手順の一例を示すフローチャートである。図７において、まず認識対象の音声を入力すると（Ｓ１１）、上述したＳ０３の処理と同様の音響分析を行い（Ｓ１２）、音響特徴量から話者特徴変換により話者特徴量を取得する（Ｓ１３）。
【００８３】
次に、予め設定される連続分布の混合モデルで表された不特定話者音響モデルの混合分布重みを、話者特徴量に対して、例えば上述した話者時系列モデル学習処理手順等により得られる話者クラスタ１〜Ｎの時系列モデルを用いて最適な話者クラスタｎの時系列モデルの統計量と話者特徴量との各連続分布の平均ベクトルの距離に基づいて修正し、話者制約音響モデル（話者依存時系列制約）を求める（Ｓ１４）。
【００８４】
次に、予め蓄積されている発音辞書を参照し、単語候補の音響特徴量に対する音響スコアを、上述した話者制約音響モデルを用いて算出する（Ｓ１５）。また、単語候補に対する言語スコアを、予め蓄積されている言語モデルを用いて算出する（Ｓ１６）。
【００８５】
次に、上述のＳ１５及びＳ１６の処理でそれぞれ得られた音響スコアと言語スコアから求めた総スコアに基づいて、複数の候補単語列のうち、総スコアが最大となる単語列、総スコアが所定の値以上の単語列、又は総スコアの上位数番目までの単語列等、予め設定された条件により最適な単語列を選定し（Ｓ１７）、選定された単語列を認識出力単語列として出力する（Ｓ１８）。これにより、１発話に対する音声認識処理を終了する。
【００８６】
以上に説明したように本発明によれば、高精度な音声認識を実現させることができる。具体的には、本発明は、話者に特有の時系列統計量を利用して、不特定話者音響モデルの混合分布重みに話者特有の制約を施すことにより、従来よりも高精度な音声認識を実現するものである。例えば、複数の話者が出演する放送番組等の音声認識において、従来の不特定話者音響モデルよりも高精度な音声認識を実現する。
【００８７】
また、本発明によれば、話者クラスタ特有の特徴量空間における時系列統計量を利用して、認識対象音声に対して即座に混合連続分布型の不特定話者音響モデルに話者特有の制約をかけることで処理時間を短縮させて、従来よりも高精度な音声認識を実現するものである。
【００８８】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【００８９】
【図１】本実施形態における音声認識装置の機能構成の一例を示す図である。
【図２】話者時系列モデル学習手段における機能構成の一例を示す図である。
【図３】話者制約音声認識手段における機能構成の一例を示す図である。
【図４】本実施形態における話者制約音声認識の動作イメージの一例を示す図である。
【図５】本発明における音声認識処理が実現可能なハードウェア構成の一例を示す図である。
【図６】本実施形態における話者時系列モデル学習処理手順の一例を示すフローチャートである。
【図７】本実施形態における話者制約音声認識処理手順の一例を示すフローチャートである。
【符号の説明】
【００９０】
１０  音声認識装置
１１  話者時系列モデル学習手段
１２  話者制約音声認識手段
２１  音響分析手段
２２  話者特徴変換手段
２３  時系列統計量算出手段
２４  学習音声
２５  話者クラスタの時系列モデル
３１  音響分析手段
３２  話者特徴変換手段
３３  話者依存時系列制約手段
３４  音響スコア算出手段
３５  言語スコア算出手段
３６  最適単語列選定手段
３７  不特定話者音響モデル
３８  話者制約音響モデル
３９  発音辞書
４０  言語モデル
５１  入力装置
５２  出力装置
５３  ドライブ装置
５４  補助記憶装置
５５  メモリ装置
５６  ＣＰＵ
５７  ネットワーク接続装置
５８  記録媒体
【図１】
0004922225.tif 000006
【図２】
0004922225.tif 000007
【図３】
0004922225.tif 000008
【図４】
0004922225.tif 000009
【図５】
0004922225.tif 000010
【図６】
0004922225.tif 000011
【図７】
0004922225.tif 000012