(57)【特許請求の範囲】
【請求項１】
音響的特徴の異なる複数の話者クラスタを用いて入力音声の１発話中に混在し得る音声を認識する音声認識装置において、
前記入力音声を音響特徴量に変換する音響分析手段と、
前記音響分析手段により得られる音響特徴量から話者クラスタ属性を同定する話者クラスタ属性同定手段と、
前記話者クラスタの音響モデル及び言語モデルから生成され、前記複数の話者クラスタに含まれる各話者クラスタの単語辞書終端から異なる話者クラスタの単語辞書始端への遷移を有する正解単語探索用の探索ネットワークと、
前記探索ネットワークを用いて前記入力音声に対する連続音声認識を行う連続音声認識手段とを有し、
前記連続音声認識手段は、前記入力音声に対し、前記話者クラスタ属性同定手段から得られる前記話者クラスタ属性が変化した場合にのみ、異なる話者クラスタの単語辞書始端へ遷移して単語探索を行うと共に、すでに探索中の話者クラスタの単語辞書を継続して単語探索を行うことを特徴とする音声認識装置。
【請求項２】
音声の音響的特徴を表現する１又は複数の話者クラスタからなる音響モデルと、予め設定された単語間の遷移を表現する言語モデルとを有し、
前記話者クラスタの音響モデルを、前記言語モデル及び予め話者クラスタ毎に設定された単語辞書にしたがって探索ネットワークへ展開するネットワーク展開手段を有することを特徴とする請求項１に記載の音声認識装置。
【請求項３】
前記ネットワーク展開手段は、
発話始端の認識開始状態から全ての話者クラスタの単語辞書始端への遷移、同じ話者クラスタの単語辞書間で言語モデルにしたがった遷移、話者クラスタ属性の変化に応じて各話者クラスタの単語辞書終端から異なる話者クラスタの単語辞書始端への遷移、発話終端で各話者クラスタの単語辞書終端から認識終了状態への遷移、及び次の発話のために認識終了状態から認識開始状態への遷移を可能とする探索ネットワークを構成することを特徴とする請求項２に記載の音声認識装置。
【請求項４】
前記話者クラスタ属性同定手段は、
前記入力音声に対して話者クラスタが変化した時刻情報及び／又は変化後の話者クラスタの属性情報を出力することを特徴とする請求項１乃至３の何れか１項に記載の音声認識装置。
【請求項５】
音響的特徴の異なる複数の話者クラスタを用いて入力音声の１発話中に混在し得る音声を認識する音声認識プログラムにおいて、
コンピュータを、
前記入力音声を音響特徴量に変換する音響分析手段、
前記音響分析手段により得られる音響特徴量から話者クラスタ属性を同定する話者クラスタ属性同定手段、及び、
前記話者クラスタの音響モデル及び言語モデルから生成され、前記複数の話者クラスタに含まれる各話者クラスタの単語辞書終端から異なる話者クラスタの単語辞書始端への遷移を有する正解単語探索用の探索ネットワークを用いて前記入力音声に対する連続音声認識を行う連続音声認識手段として機能させ、
前記連続音声認識手段は、前記入力音声に対し、前記話者クラスタ属性同定手段から得られる前記話者クラスタ属性が変化した場合にのみ、異なる話者クラスタの単語辞書始端へ遷移して単語探索を行うと共に、すでに探索中の話者クラスタの単語辞書を継続して単語探索を行うことを特徴とする音声認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識装置及び音声認識プログラムに係り、特に高精度な音声認識を実現するための音声認識装置及び音声認識プログラムに関する。
【背景技術】
【０００２】
放送番組の字幕制作やメタデータ制作等に用いられる音声認識では、男女の話者が混在した音声の認識性能の向上が重要である。
【０００３】
そこで、従来より音響的特徴の異なる複数の話者クラスタの音声認識には、性別等に依存しない唯一の音響モデルを利用した手法や、連続音声認識の前処理で性別等の話者クラスタ属性を予め決定しておく手法が知られている（例えば、特許文献１、非特許文献１参照。）。また、別の手法としては、男女等の複数の話者クラスタの音響モデルを単語辞書上で並列に動作させるが１発話内での異なる話者クラスタの単語辞書間の遷移を許さない手法が知られている（例えば、特許文献２参照、非特許文献２参照。）。
【特許文献１】特開２００３−９９０８３号公報
【非特許文献１】Ｆ．Ｋｕｂａｌａ，ｅｔ  ａｌ．，”Ｔｈｅ  １９９６  ＢＢＮ  Ｂｙｂｌｏｓ  ＨＵＢ−４  Ｔｒａｎｓｃｒｉｐｔｉｏｎ  Ｓｙｓｔｅｍ”，ＤＡＲＰＡ  Ｓｐｅｅｃｈ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｗｏｒｋｓｈｏｐ，ｐｐ．９０−９３，１９９７．
【特許文献２】特開２００５−３４５７７２号公報
【非特許文献２】山本博史他、「日英音声翻訳システム「ＡＴＲ−ＭＡＴＲＩＸ」における音声認識部分の構造と制御方法」、日本音響学会講演論文集、２−Ｑ−２１、ｐｐ．１６１−１６２、１９９８．３．
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した従来の音声認識手法のうち、性別等に依存しない唯一の音響モデルを利用した手法の場合、学習音声の全ての話者クラスタを無視してグローバルな唯一の音響モデルを予め学習しておき、この音響モデルのみを用いて音声認識を行うため、認識時には話者クラスタを考慮する必要がなく非常に簡易に実現可能である。しかしながら、性別依存音響モデル等の話者クラスタを考慮した場合に比べて、一般に認識率が低いため実用上問題がある。
【０００５】
また、上述した連続音声認識の前処理で性別等の話者クラスタ属性を予め決定しておく手法の場合、話者クラスタ全体の音響的特徴を表現する音響モデルの尤度比較による手法や、複数の話者クラスタの音響モデルを用いた音素認識による手法がある。
【０００６】
ここで、前者の場合には、各発話の冒頭のスピーチ区間で話者クラスタ属性を決定するが、１発話内にわたってその話者クラスタ属性を仮定するため、１発話中に男女の音声が混在し易い対談等の音声や、背景雑音等の影響によって誤った話者クラスタ属性を仮定してしまった場合には認識率が低下してしまう。
【０００７】
また、後者の場合、１発話の入力音声の全てが得られた後に最終的な音素認識結果及び話者クラスタ属性が決定されるため、話し始めてから即座に音声認識に取り掛かることができず、生放送番組の字幕制作等、オンライン処理且つ少ない時間遅れが要求されるアプリケーションでは実用上問題がある。
【０００８】
更に、上述した男女等の複数の話者クラスタの音響モデルを単語辞書上で並列に動作させるが１発話内での異なる話者クラスタの単語辞書間の遷移を許さない手法の場合、複数の話者クラスタの可能性が考慮されているのは各発話の冒頭だけであり、音声認識処理が進むにつれて入力音声にマッチしない話者クラスタは次第に探索対象から除外されていくため、１発話中に男女の音声が混合し易い対談等の音声では認識率が低下してしまう問題がある。
【０００９】
本発明は、上述した問題点に鑑みなされたものであり、高精度に音声認識を実現するための音声認識装置及び音声認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１１】
請求項１に記載された発明は、音響的特徴の異なる複数の話者クラスタを用いて入力音声の１発話中に混在し得る音声を認識する音声認識装置において、前記入力音声を音響特徴量に変換する音響分析手段と、前記音響分析手段により得られる音響特徴量から話者クラスタ属性を同定する話者クラスタ属性同定手段と、前記話者クラスタの音響モデル及び言語モデルから生成され、前記複数の話者クラスタに含まれる各話者クラスタの単語辞書終端から異なる話者クラスタの単語辞書始端への遷移を有する正解単語探索用の探索ネットワークと、前記探索ネットワークを用いて前記入力音声に対する連続音声認識を行う連続音声認識手段とを有し、前記連続音声認識手段は、前記入力音声に対し、前記話者クラスタ属性同定手段から得られる前記話者クラスタ属性が変化した場合にのみ、異なる話者クラスタの単語辞書始端へ遷移して単語探索を行うと共に、すでに探索中の話者クラスタの単語辞書を継続して単語探索を行うことを特徴とする。
【００１２】
請求項１記載の発明によれば、音響的特徴の異なる複数の話者クラスタの各音声に対して、高精度に音声認識を行うことができる。これにより、１発話中に複数の話者クラスタの音声が混在した場合でも、従来よりも少ない演算量且つ少ない遅れ時間で高精度な音声認識を実現することができる。
【００１３】
請求項２に記載された発明は、音声の音響的特徴を表現する１又は複数の話者クラスタからなる音響モデルと、予め設定された単語間の遷移を表現する言語モデルとを有し、前記話者クラスタの音響モデルを、前記言語モデル及び予め話者クラスタ毎に設定された単語辞書にしたがって探索ネットワークへ展開するネットワーク展開手段を有することを特徴とする。
【００１４】
請求項２記載の発明によれば、入力音声の内容に対応させて高精度な探索ネットワークを生成することができる。また、この探索ネットワークを用いて入力音声に対して高精度に音声認識を実現することができる。
【００１５】
請求項３に記載された発明は、前記ネットワーク展開手段は、発話始端の認識開始状態から全ての話者クラスタの単語辞書始端への遷移、同じ話者クラスタの単語辞書間で言語モデルにしたがった遷移、話者クラスタ属性の変化に応じて各話者クラスタの単語辞書終端から異なる話者クラスタの単語辞書始端への遷移、発話終端で各話者クラスタの単語辞書終端から認識終了状態への遷移、及び次の発話のために認識終了状態から認識開始状態への遷移を可能とする探索ネットワークを構成することを特徴とする。
【００１６】
請求項３記載の発明によれば、それぞれの状態遷移を行うことにより、探索ネットワークの高精度化を図ることができる。
【００１７】
請求項４に記載された発明は、前記話者クラスタ属性同定手段は、前記入力音声に対して話者クラスタが変化した時刻情報及び／又は変化後の話者クラスタの属性情報を出力することを特徴とする。
【００１８】
請求項４記載の発明によれば、連続音声認識をする前段階で話者クラスタの変化部分を把握することができるため、より高精度に音声認識を実行することができる。
【００２１】
請求項５に記載された発明は、音響的特徴の異なる複数の話者クラスタを用いて入力音声の１発話中に混在し得る音声を認識する音声認識プログラムにおいて、コンピュータを、前記入力音声を音響特徴量に変換する音響分析手段、前記音響分析手段により得られる音響特徴量から話者クラスタ属性を同定する話者クラスタ属性同定手段、及び、前記話者クラスタの音響モデル及び言語モデルから生成され、前記複数の話者クラスタに含まれる各話者クラスタの単語辞書終端から異なる話者クラスタの単語辞書始端への遷移を有する正解単語探索用の探索ネットワークを用いて前記入力音声に対する連続音声認識を行う連続音声認識手段として機能させ、前記連続音声認識手段は、前記入力音声に対し、前記話者クラスタ属性同定手段から得られる前記話者クラスタ属性が変化した場合にのみ、異なる話者クラスタの単語辞書始端へ遷移して単語探索を行うと共に、すでに探索中の話者クラスタの単語辞書を継続して単語探索を行うことを特徴とする。
【００２２】
請求項５記載の発明によれば、音響的特徴の異なる複数の話者クラスタの各音声に対して、高精度に音声認識を行うことができる。これにより、１発話中に複数の話者クラスタの音声が混在した場合でも、従来よりも少ない演算量且つ少ない遅れ時間で高精度な音声認識を実現することができる。また、実行プログラムをコンピュータにインストールすることにより、容易に音声認識処理を実現することができる。
【発明の効果】
【００２３】
本発明によれば、高精度に音声認識を実現することができる。
【発明を実施するための最良の形態】
【００２４】
＜本発明の概要＞
本発明は、１又は複数の話者クラスタの音響モデルを利用しつつ、１発話中での複数の話者クラスタの単語間の遷移を可能とし、例えば１発話中に男女の音声が混在し易い対談等の音声においても、従来よりも少ない演算量且つ少ない遅れ時間で高精度な音声認識を実現するものである。
【００２５】
具体的には、男性と女性、高齢者と成人と子供等、複数の話者クラスタの音響モデルを言語モデル及び単語辞書にしたがって並列に探索ネットワークを展開する。また、例えば入力音声の話者クラスタ属性が甲から乙に変化した時に、探索ネットワークにおける話者クラスタ甲の単語辞書終端から話者クラスタ乙の単語辞書始端への遷移を可能にすると共に、話者クラスタ甲の単語辞書を継続して探索対象とすることにより、１発話中に混在する複数の話者クラスタの柔軟な並列音声認識を実現する。
【００２６】
以下に、上記のような特徴を有する本発明における音声認識装置及び音声認識プログラムを好適に実施した形態について、図面を用いて詳細に説明する。
【００２７】
＜音声認識装置：装置構成＞
図１は、本発明における音声認識装置の一構成例を示す図である。図１に示す音声認識装置１０は、ネットワーク展開手段１１と、音響分析手段１２と、話者クラスタ属性同定手段１３と、連続音声認識手段１４とを有するよう構成されている。
【００２８】
ネットワーク展開手段１１は、１又は複数の話者クラスタの音響モデル２１と、言語モデル２２とを利用して、各話者クラスタの単語辞書による探索ネットワーク２３を展開し、展開した探索ネットワーク２３を連続音声認識手段１４に出力する。
【００２９】
ここで、話者クラスタの音響モデル２１は、例えば話者クラスタ数を２（Ａ，Ｂ）とした場合、話者クラスタＡを男性、話者クラスタＢを女性、あるいは話者クラスタＡを成人、話者クラスタＢを子供、あるいは話者クラスタＡを広帯域音声、話者クラスタＢを狭帯域音声とする等、任意に設定することができる。なお、本発明では、これに限定されず、例えば上述した話者クラスタを組み合わせて３以上の話者クラスタ数にしてもよく、また単数であってもよい。
【００３０】
また、音響モデルの単位は、音素、音節、環境依存、環境非依存等、任意に設定することができ、例えば隠れマルコフモデルに代表される確率統計モデル（例えば、中川聖一、「確率モデルによる音声認識」、電子情報通信学会、１９８８）等を利用することができる。また、言語モデル２２は、例えば単語単位のＮ−ｇｒａｍモデル等を任意に設定することができる。なお、ネットワーク展開手段１１における探索ネットワーク２３についての詳細は後述する。
【００３１】
音響分析手段１２は、音声認識対象となる入力音声２４を音響特徴量２５に変換し、変換した音響特徴量２５を話者クラスタ属性同定手段１３及び連続音声認識手段１４に出力する。ここで、音響特徴量２５は、各話者クラスタの音響モデル２１を学習するために使用した音響特徴量と同じ構成とし、例えば周波数特性を表すケプストラム、短時間パワー、それらの動的特徴量等とすることができる。
【００３２】
また、話者クラスタ属性同定手段１３は、オンライン且つリアルタイムで入力音声における時刻情報等に基づく各区間に対する話者クラスタの属性を求める。また、話者クラスタ属性同定手段１３は、入力音声２４に対して話者クラスタが変化した時刻情報及び／又は変化後の話者クラスタの属性情報等の話者クラスタの変化情報を話者クラスタ属性２６として連続音声認識手段１４に出力する。これにより、連続音声認識をする前段階で話者クラスタの変化部分を把握することができるため、より高精度に音声認識を実行することができる。なお、話者クラスタ属性同定手段１３における話者クラスタの属性同定手法についての詳細は後述する。
【００３３】
連続音声認識手段１４は、探索ネットワーク２３、音響特徴量２５、及び話者クラスタ属性２６を入力し、探索ネットワーク２３上の各単語の音素等にリンクした音響モデルにより、音響特徴量２５に対する尤度を逐次算出する。
【００３４】
なお、連続音声認識手段１４は、探索ネットワーク２３において言語モデル２２にしたがった遷移である場合は、言語的なスコア付けも行って入力音声２４の発話内容に最も適した単語の文字列を音声認識結果２７として出力する。
【００３５】
ここで、連続音声認識手段１４は、発話始端において、全ての話者クラスタの単語辞書の全ての単語始端で尤度の算出を開始する。このとき、連続音声認識手段１４は、より多くの入力音声に対して尤度計算が進むと、入力音声にマッチしない話者クラスタの単語の音響モデルの尤度が低くなるため、次第に探索対象から除外していく。
【００３６】
ただし、連続音声認識手段１４は、話者クラスタ属性２６により１発話内で話者クラスタに変化が生じたことを認識すると、その変化した異なる話者クラスタの単語辞書の始端への遷移を許すと共に、探索対象に残っている話者クラスタの探索経路も全て保持する。したがって、１発話内の複数の話者クラスタの音声認識を高精度に実現することができる。
【００３７】
つまり、本発明では、話者クラスタ属性２６で話者クラスタの属性が指定されている場合、その指定された単語辞書だけを残して他の話者クラスタの探索を中止するのではなく、可能性のある新たな話者クラスタと、すでに探索中の話者クラスタ両方との単語辞書を探索対象とする。そのため、計算量の増加を抑えつつ、１発話中での複数の話者クラスタの混在の可能性を話者クラスタ同定よりも詳細な連続音声認識で考慮することができる。
【００３８】
上述した音声認識装置１０の構成により、複数の話者クラスタの高精度な音響モデルを利用しつつ、１発話中での複数の話者クラスタの単語間の遷移を可能とし、１発話中に男女の音声が混在しやすい対談等の音声においても、従来よりも少ない演算量且つ少ない遅れ時間で高精度な音声認識を実現することができる。
【００３９】
なお、上述した音声認識装置１０では、ネットワーク展開手段１１により話者クラスタの音響モデル２１と言語モデル２２とから探索ネットワーク２３を展開していたが、本発明においてはこの限りではなく、例えば予め展開された探索ネットワーク２３を連続音声認識手段１４や他の蓄積手段（図示せず）に蓄積しておいてもよい。
【００４０】
＜探索ネットワーク２３＞
ここで、ネットワーク展開手段１１における探索ネットワーク２３の展開内容について説明する。図２は、話者クラスタ数が２の場合の探索ネットワークの一例を示す図である。また、図３は、各話者クラスタの単語辞書の内部構造の一例を示す図である。
【００４１】
ネットワーク展開手段１１から出力される探索ネットワーク２３は、例えば図２に示すように認識開始状態３１と、話者クラスタＡの音響モデルにリンクした単語辞書３２と、話者クラスタＢの音響モデルにリンクした単語辞書３３と、認識終了状態３４とを有するよう構成することができる。
【００４２】
ここで、使用する単語辞書は、例えば認識語彙の全ての単語について音素等の発音記号を展開したネットワークであり、連続音声認識時の正解単語探索には、各音素が対応する音響モデルによって、入力音声の音響特徴量に対する尤度計算が行われる。
【００４３】
また、単語辞書は、各単語の先頭部分の音素を共有する木構造辞書や、各単語の音素が単語毎に独立した線形辞書で構成することができる。例えば、木構造辞書の場合の単語辞書は、図３に示すように、各単語の音素単位の発音記号を木構造でネットワーク上に展開（例えば、単語「赤（／ａ／ｋ／ａ／）」と単語「秋（／ａ／ｋ／ｉ／）」とは音素／ａ／と／ｋ／を共有）し、それぞれの音素は対応する音響モデルにリンクしている。
【００４４】
認識開始状態３１から全ての話者クラスタ３２、３３の全ての単語の先頭音素へは、発話始端の認識開始直後に制約なしで遷移することができる（図２に示す矢印＊１）。また、話者クラスタＡの単語辞書３２の終端からは、後続の単語を認識するために同じ話者クラスタＡの単語辞書３２の始端へ言語モデル２２にしたがって遷移することができる（図２に示す矢印＊２）。
【００４５】
また、話者クラスタＡの単語辞書３２の終端からは、話者クラスタ属性の変化にしたがって異なる話者クラスタＢの単語辞書３３の始端へ遷移することができる（図２に示す矢印＊３）。
【００４６】
また同様にして、話者クラスタＢの単語辞書３３の終端からは、後続の単語を認識するために同じ話者クラスタＢの単語辞書３３の始端へ言語モデル２２にしたがって遷移することができる（図２に示す矢印＊２）。また、話者クラスタＢの単語辞書３３の終端からは、話者クラスタ属性の変化にしたがって、異なる話者クラスタＡの単語辞書３２の始端へ遷移することができる（図２に示す矢印＊３）。
【００４７】
また、発話終端では、各話者クラスタの単語辞書３２、３３の終端から認識終了状態３４へ遷移することができる（図２に示す矢印＊４）。更に、認識終了状態３４からは、次の発話を認識するために認識開始状態３１へ遷移することができる（図２に示す矢印＊５）。なお、上述した発話の始端と終端とは、累積音素尤度を利用して迅速且つ高精度に検出することができる。
【００４８】
このように、ネットワーク展開手段１１は、上述したように発話始端の認識開始状態から全ての話者クラスタの単語辞書始端への遷移、同じ話者クラスタの単語辞書間で言語モデルにしたがった遷移、話者クラスタ属性の変化に応じて各話者クラスタの単語辞書終端から異なる話者クラスタの単語辞書始端への遷移、発話終端で各話者クラスタの単語辞書終端から認識終了状態への遷移、及び次の発話のために認識終了状態から認識開始状態への遷移のうち、少なくとも１つの遷移を可能とする探索ネットワークを構成することで、それぞれの状態遷移を行って探索ネットワークの高精度化を図り、この探索ネットワーク２３を用いて高精度な音声認識を実現することができる。
【００４９】
＜話者クラスタの属性同定手法＞
次に、話者クラスタ属性同定手段１３における話者クラスタ属性同定手法について説明する。話者クラスタ属性同定手法としては、例えば話者クラスタ数が２（男性、女性）とした場合、逐次確定処理（例えば、特開２００１−９２４９６号公報）により、男性、女性の音素認識を並列して行い確定したお互いの結果（スコア）から良い方の音声認識結果を出力する男女並列音素認識等の手法により、少ない遅れ時間で複数話者クラスタのサブワードレベル（例えば、音素、音節、トライフォン等）の音声認識を行い、入力音声のどこからどこまでがどの話者クラスタに属するのかを同定することができる。
【００５０】
また、男女間遷移が可能で枝刈り共通の男女並列音素認識を行い、累積音素尤度を利用して発話の始端と終端を迅速に検出し、その結果に基づいて話者クラスタ属性を同定する手法がある。ここで、上述の内容について図を用いて説明する。なお、以下の例では、クラスタ属性の一例として男女並列の性別依存音響モデルによる音素認識を利用し、入力音声からの時間遅れの少ない発話区間検出を実行する例を示す。
【００５１】
＜発話区間検出＞
図４は、男女並列音素認識のネットワークの一例を示す図である。図４に示すように、男女間遷移が可能で枝刈り共通の男女並列音素認識を行い、累積音素尤度を利用して発話の始端と終端を迅速に検出する。
【００５２】
具体的には、入力音声の特徴ベクトルをケプストラムと短時間パワー及びそれらの動的特徴量として、様々な音響環境の男性話者音声から学習した音素環境非依存音響モデルと、同様に学習した女性の音響モデルから、音素バイグラムを利用して、図４に示すような音素ネットワークを構成する。ここで、性別ｇ∈｛０（男性），１（女性）｝毎の非音声モデルをｓｉｌｇとし、それ以外の音素モデルをｐｈｇ，ｉとする。
【００５３】
ここで、発話の始端検出開始時刻τから現時刻ｔまでの入力音声の特徴ベクトル列をｘτｔとし、最尤音素列及び始端の非音声モデルの累積音素対数尤度をそれぞれ以下に示す（１）、（２）式で表す。
【００５４】
【数１】
0004700522.tif 000002
ここで、発話始端では最尤音素列の累積尤度の対数値Ｌ１と、始端の非スピーチ音響モデルの累積尤度の対数値Ｌ２との差が一定の閾値θｓｔａｒｔを超えた時、すなわち（Ｌ１−Ｌ２）＞θｓｔａｒｔとなる時、最尤音素列始端の非音声モデルの終端から一定の時間長ｔｓｔａｒｔ遡った時刻を発話始端とする。
【００５５】
なお、発話始端を検出するまでの長い非音声を吸収するため、始端検出条件が時間長ｔｉｄｌｅ継続して満たされなかった場合、音素認識をリセットし、始端検出開始時刻τを更新する。また、音素認識中は、男女の音素モデル間の遷移を許可し、そのときのペナルティ（重み）を累積音素対数尤度に加える。
【００５６】
次に、終端の非音声モデルと最尤音素列の累積音素対数尤度を、それぞれ以下に示す（３）、（４）式で表す。
【００５７】
【数２】
0004700522.tif 000003
このとき、終端が非スピーチ音響モデルとなる最尤音素列のうち、最大の累積尤度の対数値Ｌ３と、同話者クラスタのスピーチ音響モデルを終端とする最尤サブワード列の累積尤度の対数値Ｌ４との差が一定の閾値θｅｎｄを越えた状態で、更に時間長ｔｅｎｄ１を継続して超えた場合、すなわちｔｅｎｄ１継続して（Ｌ３−Ｌ４）＞θｅｎｄが一定の時間長ｔｅｎｄ１継続して満たされた場合、現時刻ｔから時間長ｔｅｎｄ２（ｔｅｎｄ２＜ｔｅｎｄ１）遡った時刻を発話終端とする。
【００５８】
これにより、発話始端及び発話終端の時刻及び／又はその区間のクラスタ属性を検出することができる。なお、上述したｔｓｔａｒｔ及びｔｅｎｄ２は、０以上で任意に設定することができる。もちろん、この他にも音声パワーを用いた手法等の発話区間検出手法を用いることができる。
【００５９】
このようにして得られた発話始端及び発話終端の時刻情報や属性情報に基づいて、音響特徴量２５に対する上述した話者クラスタ属性２６を同定することができる。ここで、図５は、話者クラスタ属性の一例を示す図である。
【００６０】
例えば、図５に示すように話者クラスタ属性は、入力音声の音響特徴量Ｘの列Ｘ１，…，ＸＴに対して、話者クラスタが男性と女性の場合、Ｘ１からＸｔまでは男性、Ｘｔ＋１からＸｋまでは女性、Ｘｋ＋１からＸＴまでは男性といった話者クラスタの属性情報や各音響特徴量における時間情報により構成される。
【００６１】
なお、上述した話者クラスタ属性は、本発明においては男性、女性に限定されず、例えば高齢者と成人と子供とを属性分けしてもよく、これらを男性と女性とで組み合わせて、詳細な属性分けを行ってもよい。
【００６２】
これにより、複数の話者クラスタの高精度な音響モデルを利用しつつ、１発話中での複数の話者クラスタの単語間の遷移を可能とし、１発話中に男女の音声が混在しやすい対談等の音声においても、従来よりも少ない演算量且つ少ない遅れ時間で高精度な音声認識を実現することができる。
【００６３】
＜実行プログラム＞
ここで、上述した音声認識装置１０は、上述した専用の装置構成等を用いて本発明における音声認識処理を行うこともできるが、各構成における処理をコンピュータに実行させることができる実行プログラム（音声認識プログラム）を生成し、例えば、汎用のパーソナルコンピュータ、サーバ等にそのプログラムをインストールすることにより、本発明に係る音声認識処理を実現することができる。
【００６４】
＜ハードウェア構成＞
ここで、本発明における音声認識処理が実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図６は、本発明における音声認識処理が実現可能なハードウェア構成の一例を示す図である。
【００６５】
図６におけるコンピュータ本体には、入力装置４１と、出力装置４２と、ドライブ装置４３と、補助記憶装置４４と、メモリ装置４５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）４６と、ネットワーク接続装置４７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【００６６】
入力装置４１は、ユーザが操作するキーボード及びマウス等のポインティングデバイス及び音声入力デバイスを有しており、ユーザからのプログラムの実行指示等、各種操作信号、音声信号を入力する。出力装置４２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイや音声を出力するスピーカ等を有し、ＣＰＵ４６が有する制御プログラムにより実行経過や結果等を表示又は音声出力することができる。
【００６７】
ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えば、ＣＤ−ＲＯＭ等の記録媒体４８等により提供される。プログラムを記録した記録媒体４８は、ドライブ装置４３にセット可能であり、記録媒体４８に含まれる実行プログラムが、記録媒体４８からドライブ装置４３を介して補助記憶装置４４にインストールされる。
【００６８】
また、ドライブ装置４３は、本発明に係る実行プログラムを記録媒体４８に記録することができる。これにより、その記録媒体４８を用いて、他の複数のコンピュータに容易にインストールすることができ、容易に音声認識処理を実現することができる。
【００６９】
補助記憶装置４４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。また、補助記憶装置４４は、上述した話者クラスタの音響モデル２１や言語モデル２２、探索ネットワーク２３、入力音声２４、音響特徴量２５、話者クラスタ属性２６、及び音声認識結果２７等を蓄積する蓄積手段として用いることもできる。
【００７０】
ＣＰＵ４６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）等の制御プログラム、及び補助記憶装置４４から読み出されメモリ装置４５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、音声認識処理における各処理を実現することができる。また、プログラムの実行中に必要な各種情報等は、補助記憶装置４４から取得することができ、また格納することもできる。
【００７１】
ネットワーク接続装置４７は、電話回線やＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）ケーブル等の通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラムを他の端末等に提供することができる。
【００７２】
上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで上述した音声認識処理を実現することができる。また、プログラムをインストールすることにより、容易に音声認識処理を実現することができる。
【００７３】
＜音声認識処理手順＞
次に、本発明における実行プログラム（音声認識プログラム）を用いた音声認識処理手順についてフローチャートを用いて説明する。図７は、音声認識処理手順の一例を示すフローチャートである。
【００７４】
図７において、まずプログラム開始直後に複数の話者クラスタの音響モデルと言語モデルを利用して、探索ネットワークを展開する（Ｓ０１）。なお、ここまでの処理は、前処理として予め処理されていてもよい。
【００７５】
次に、音声入力があるか否かを判断し（Ｓ０２）、音声が入力された場合（Ｓ０２において、ＹＥＳ）、１フレーム分の音響特徴量の算出に必要な例えば２５ミリ秒程度の短い区間の音声をデジタル入力し（Ｓ０３）、音響分析を行う（Ｓ０４）。次に、入力音声の各区間の話者クラスタ属性を同定する（Ｓ０５）。
【００７６】
ここで、Ｓ０５により同定した話者クラスタ属性において、属性に変化があったか否かを判断し（Ｓ０６）、属性変化があった場合（Ｓ０６において、ＹＥＳ）、変化した異なる他の話者クラスタの単語辞書への遷移を許可する（Ｓ０７）。また、属性変化がなかった場合（Ｓ０６において、ＮＯ）、又はＳ０７の処理が終了後、探索ネットワーク上の各単語の音響モデルで尤度を逐次算出する（Ｓ０８）。なお、Ｓ０８の処理においては、言語モデルによるスコアも加味して尤度を算出する。
【００７７】
ここで、音声認識処理を終了するか否かを判断し（Ｓ０９）、終了しない場合（Ｓ０９のおいて、ＮＯ）、Ｓ０２に戻り、以後同様の処理を継続し連続した音声認識処理を実行する。また、Ｓ０２の処理において、音声入力がない場合（Ｓ０２において、ＮＯ）、つまり発話終了である場合、又はＳ０９の処理において、音声認識処理を終了する場合（Ｓ０９においてＹＥＳ）、認識結果の単語列を出力し（Ｓ１０）、処理を終了する。もちろん、上述した逐次確定処理により、発話終了前に、認識の途中結果の単語列を逐次出力することも可能である。
【００７８】
上述したように、音声認識プログラムを用いた音声認識処理により、迅速且つ高精度に音声認識を実現することができる。また、プログラムをインストールすることにより、容易に音声認識処理を実現することができる。
【００７９】
＜音声認識結果の比較例＞
ここで、従来手法と本発明手法とにおける音声認識結果の比較例について説明する。一例として男女の音声が混在するニュース番組の対談等の音声認識を行った結果、従来手法である性別に依存しない唯一の音響モデルを利用した場合の単語誤認識率は１２．２％（入力音声の時間長に対する認識処理時間の比＝認識処理実時間比０．８１倍）であった。また、男女別々の音響モデルを並列に動作させると、１発話中の男女の単語間の遷移を許さなかった場合の単語誤認識率は１１．９％（認識処理実時間比０．９３倍）、同様にして男女の単語間の遷移を制約なしで常に許す場合の単語誤認識率は１１．３％（認識処理実時間比１．２８倍）であった。
【００８０】
これに対し、本発明である男女の単語間の遷移を性別属性の制約にしたがって許可／不許可の設定をした場合の単語誤認識率は１１．１％であり、認識処理実時間比は０．９３倍にまで改善し、特に認識率と処理時間において本発明の効果が示された。
【００８１】
すなわち、男女音声の認識では、性別非依存の音響モデルよりも性別依存音響モデルを男女並列に動作させ、発話中の男女間遷移を許可する方が誤認識率は低く、更に音素認識による性別属性の制約により誤認識率と認識時間が改善した。
【００８２】
上述したように本発明によれば、高精度に音声認識を実現することができる。具体的には、本発明は、複数の話者クラスタの音響モデルを言語モデル及び単語辞書にしたがって並列に探索ネットワークへ展開し、入力音声の話者クラスタ属性の制約を利用して、１発話中での異なる話者クラスタの単語間の遷移を可能とすることにより、１発話中に複数の話者クラスタの音声が混在した場合でも、従来よりも少ない演算量且つ少ない遅れ時間で高精度な音声認識を実現することができる。
【００８３】
これにより、例えば男性と女性、高齢者と成人と子供等、話者の声の音響的特徴が複数想定され、予め話者の声の音響的特徴を限定することのできない状況や、複数の音響的特徴の音声が１発話中に混在する状況、あるいは生放送番組の字幕制作等のオンライン処理且つ少ない時間遅れが要求される音声認識で、本発明を適用することができる。
【００８４】
また、本発明は、放送番組の字幕制作、音声対話システム、音声ワープロ、会議の議事録の自動作成、声による機器の制御等、音声認識や言語処理を利用した様々な分野の技術に適用することができる。
【００８５】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【００８６】
【図１】本発明における音声認識装置の一構成例を示す図である。
【図２】話者クラスタ数が２の場合の探索ネットワークの一例を示す図である。
【図３】各話者クラスタの単語辞書の内部構造の一例を示す図である。
【図４】男女並列音素認識のネットワークの一例を示す図である。
【図５】話者クラスタ属性の一例を示す図である。
【図６】本発明における音声認識処理が実現可能なハードウェア構成の一例を示す図である。
【図７】音声認識処理手順の一例を示すフローチャートである。
【符号の説明】
【００８７】
１０  音声認識装置
１１  ネットワーク展開手段
１２  音響分析手段
１３  話者クラスタ属性同定手段
１４  連続音声認識手段
２１  音響モデル
２２  言語モデル
２３  探索ネットワーク
２４  入力音声
２５  音響特徴量
２６  話者クラスタ属性
２７  音声認識結果
３１  認識開始状態
３２、３３  単語辞書
３４  認識終了状態
４１  入力装置
４２  出力装置
４３  ドライブ装置
４４  補助記憶装置
４５  メモリ装置
４６  ＣＰＵ
４７  ネットワーク接続装置
４８  記録媒体
【図１】
0004700522.tif 000004
【図２】
0004700522.tif 000005
【図３】
0004700522.tif 000006
【図４】
0004700522.tif 000007
【図５】
0004700522.tif 000008
【図６】
0004700522.tif 000009
【図７】
0004700522.tif 000010