(57)【要約】【課題】認識処理を効率よく削減する。【解決手段】フレームごとに音声特徴ベクトルを生成する手段１０１と、語ごとに状態遷移モデル化した第１モデルを格納する手段１０２と、１以上の第２モデルを格納する手段１０３、１０４と、音声特徴ベクトル列と第１モデルから語ごとに終了フレームでのある状態へ至る確率を状態ごとに計算し語ごとに複数の確率のうちの最大確率を選択する手段１０５と、語ごとに最大確率に対応する最大確率遷移パスを選択する手段１０５と、語ごとに最大確率遷移パスを第２モデルでの対応する対応遷移パスに変換する手段１０６、１０７と、音声特徴ベクトル列と第２モデルとから語ごとに対応遷移パスで終了フレームでの状態へ至る確率を計算する手段１０６、１０７と、第１モデル、第２モデルでそれぞれ得られた、語ごとの最大確率および確率に基づいて、入力音声がどの語であるかを認定する手段１０８と、を具備する。【選択図】      図１
2008242299.tif 000002
【特許請求の範囲】
【請求項１】
入力音声の開始時刻から終了時刻までを複数のフレームに分割し、該フレームごとに音声特徴を表現する音声特徴ベクトルを生成する生成手段と、
語ごとに、語の音声特徴を、複数の状態と複数の遷移パスを含む状態遷移モデルでモデル化した第１音響モデルを格納している第１格納手段と、
前記第１音響モデルとは異なる１以上の第２音響モデルを格納している第２格納手段と、
入力音声に含まれる開始フレームから終了フレームまでの音声特徴ベクトル列と、前記第１音響モデルとから、前記語ごとに終了フレームでのある状態へ至る確率を状態ごとに計算し、前記語ごとに複数の該確率のうちの最大確率を選択する第１選択手段と、
前記語ごとに、開始フレームでの状態から終了フレームでの状態までの遷移を示す、前記最大確率に対応する最大確率遷移パスを選択する第２選択手段と、
前記語ごとに、前記最大確率遷移パスを、前記第２音響モデルでの対応する対応遷移パスに変換する変換手段と、
入力音声の開始フレームから終了フレームまでの音声特徴ベクトル列と、前記第２音響モデルとから、前記語ごとに、前記対応遷移パスで終了フレームでの状態へ至る確率を計算する計算手段と、
前記第１音響モデル、前記第２音響モデルによってそれぞれ得られた、語ごとの最大確率、語ごとの確率に基づいて、前記入力音声がどの語であるかを認定する認定手段と、を具備することを特徴とする音声認識装置。
【請求項２】
入力音声の開始時刻から終了時刻までを複数のフレームに分割し、該フレームごとに音声特徴を表現する音声特徴ベクトルを生成する生成手段と、
語ごとに、語の音声特徴を、複数の状態と複数の遷移パスを含む状態遷移モデルでモデル化した第１音響モデルを格納している第１格納手段と、
前記第１音響モデルとは異なる１以上の第２音響モデルを格納している第２格納手段と、
入力音声に含まれるある第１フレームと該第１フレームの次の第２フレームとの音声特徴ベクトルと、前記第１音響モデルとから、前記語ごとに第２フレームでのある状態へ至る確率を状態ごとに計算し、前記語ごとに複数の該確率のうちの最大確率を選択する第１選択手段と、
前記語ごとに、前記第１フレームでの状態から前記第２フレームでの状態までの遷移を示す、前記最大確率に対応する最大確率遷移パスと、該最大確率よりも確率が小さい複数の第２遷移パスとのうち、少なくとも該最大確率遷移パスを選択する第２選択手段と、
前記語ごとに、前記最大確率遷移パスと、前記第２遷移パスが選択された場合には該第選択パスとを、前記第２音響モデルでの対応する対応遷移パスに変換する変換手段と、
入力音声の前記第１フレームと前記第２フレームとの音声特徴ベクトルと、前記第２音響モデルとから、前記語ごとに、前記対応遷移パスで第２フレームでの状態へ至る確率を計算する計算手段と、
前記第１選択手段、前記第２選択手段、前記変換手段、および、前記計算手段を前記第２フレームが終了フレームになるまで繰り返し動作させる動作手段と、
前記第１音響モデル、前記第２音響モデルによってそれぞれ得られた、終了フレームでの語ごとの最大確率、終了フレームでの語ごとの確率に基づいて、前記入力音声がどの語であるかを認定する認定手段と、を具備することを特徴とする音声認識装置。
【請求項３】
前記認定手段は、前記第１音響モデル、前記第２音響モデルによってそれぞれ得られた、終了フレームでの語ごとの最大確率、終了フレームでの語ごとの確率のうちの最も大きい確率に対応する語を認識された語と認定することを特徴とする請求項１または請求項２に記載の音声認識装置。
【請求項４】
前記認定手段は、前記第１音響モデル、前記第２音響モデルによってそれぞれ得られた終了フレームでの最大確率と、終了フレームでの確率とで、語ごとに和をとり、該和が最も大きい語を認識された語と認定することを特徴とする請求項１または請求項２に記載の音声認識装置。
【請求項５】
前記認定手段は、前記第１音響モデル、前記第２音響モデルによってそれぞれ得られた終了フレームでの最大確率と、終了フレームでの確率とで、語ごとに差の絶対値をとり、該絶対値が閾値以上である語の中で、終了フレームでの最大確率、終了フレームでの確率のうちの最も大きい確率に対応する語を認識された語と認定することを特徴とする請求項１または請求項２に記載の音声認識装置。
【請求項６】
前記第１音響モデルと前記第２音響モデルとは、同一のトポロジーを有する状態遷移モデルを使用していることを特徴とする請求項１または請求項２に記載の音声認識装置。
【請求項７】
前記第１音響モデルの遷移パスと、前記第２音響モデルの遷移パスとの対応関係を示す遷移パス変換表を記憶している記憶手段をさらに具備し、
前記変換手段は、前記遷移パス変換表を使用して、前記第１音響モデルの遷移パスを、該遷移パスに対応する、第２音響モデルの遷移パスに変換することを特徴とする請求項１または請求項２に記載の音声認識装置。
【請求項８】
前記第１音響モデルと前記第２音響モデルとを切り替え、前記第１選択手段で使用する音響モデルと、前記計算手段が使用する音響モデルを設定する設定手段をさらに具備することを特徴とする請求項１または請求項２に記載の音声認識装置。
【請求項９】
前記第２選択手段は最大確率遷移パスのみを選択することを特徴とする請求項２に記載の音声認識装置。
【請求項１０】
前記第２の選択手段は複数の遷移パスを選択することを特徴とする請求項２に記載の音声認識装置。
【請求項１１】
入力音声の開始時刻から終了時刻までを複数のフレームに分割し、該フレームごとに音声特徴を表現する音声特徴ベクトルを生成し、
語ごとに、語の音声特徴を、複数の状態と複数の遷移パスを含む状態遷移モデルでモデル化した第１音響モデルを格納している第１格納手段を用意し、
前記第１音響モデルとは異なる１以上の第２音響モデルを格納している第２格納手段を用意し、
入力音声に含まれるある第１フレームと該第１フレームの次の第２フレームとの音声特徴ベクトルと、前記第１音響モデルとから、前記語ごとに第２フレームでのある状態へ至る確率を状態ごとに計算し、前記語ごとに複数の該確率のうちの最大確率を選択し、
前記語ごとに、前記第１フレームでの状態から前記第２フレームでの状態までの遷移を示す、前記最大確率に対応する最大確率遷移パスと、該最大確率よりも確率が小さい複数の第２遷移パスとのうち、少なくとも該最大確率遷移パスを選択し、
前記語ごとに、前記最大確率遷移パスと、前記第２遷移パスが選択された場合には該第選択パスとを、前記第２音響モデルでの対応する対応遷移パスに変換し、
入力音声の前記第１フレームと前記第２フレームとの音声特徴ベクトルと、前記第２音響モデルとから、前記語ごとに、前記対応遷移パスで第２フレームでの状態へ至る確率を計算し、
前記第２フレームが終了フレームになるまで繰り返し動作させ、
前記第１音響モデル、前記第２音響モデルによってそれぞれ得られた、終了フレームでの語ごとの最大確率、終了フレームでの語ごとの確率に基づいて、前記入力音声がどの語であるかを認定することを特徴とする音声認識方法。
【請求項１２】
コンピュータを、
入力音声の開始時刻から終了時刻までを複数のフレームに分割し、該フレームごとに音声特徴を表現する音声特徴ベクトルを生成する生成手段と、
語ごとに、語の音声特徴を、複数の状態と複数の遷移パスを含む状態遷移モデルでモデル化した第１音響モデルを格納している第１格納手段と、
前記第１音響モデルとは異なる１以上の第２音響モデルを格納している第２格納手段と、
入力音声に含まれるある第１フレームと該第１フレームの次の第２フレームとの音声特徴ベクトルと、前記第１音響モデルとから、前記語ごとに第２フレームでのある状態へ至る確率を状態ごとに計算し、前記語ごとに複数の該確率のうちの最大確率を選択する第１選択手段と、
前記語ごとに、前記第１フレームでの状態から前記第２フレームでの状態までの遷移を示す、前記最大確率に対応する最大確率遷移パスと、該最大確率よりも確率が小さい複数の第２遷移パスとのうち、少なくとも該最大確率遷移パスを選択する第２選択手段と、
前記語ごとに、前記最大確率遷移パスと、前記第２遷移パスが選択された場合には該第選択パスとを、前記第２音響モデルでの対応する対応遷移パスに変換する変換手段と、
入力音声の前記第１フレームと前記第２フレームとの音声特徴ベクトルと、前記第２音響モデルとから、前記語ごとに、前記対応遷移パスで第２フレームでの状態へ至る確率を計算する計算手段と、
前記第１選択手段、前記第２選択手段、前記変換手段、および、前記計算手段を前記第２フレームが終了フレームになるまで繰り返し動作させる動作手段と、
前記第１音響モデル、前記第２音響モデルによってそれぞれ得られた、終了フレームでの語ごとの最大確率、終了フレームでの語ごとの確率に基づいて、前記入力音声がどの語であるかを認定する認定手段として機能させるための音声認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の音響モデルを用いて照合処理を行う、音声認識装置、方法およびプログラムに関する。
【背景技術】
【０００２】
音声認識では、どのような話者や発話環境（周囲雑音の種別やＳＮＲなど）に対しても良好な性能を発揮できることが重要である。これに対して、話者や発話環境を複数のクラスタに分類し、クラスタごとに対応する音響モデルを用意し、これら複数の音響モデルのそれぞれを用いる認識処理を実行した上で、複数の認識処理の結果を統合して認識結果を出力する手法が知られている（例えば、非特許文献１参照）。この手法では、話者や発話環境ごとに分類されたクラスタに対応する音響モデルを用いた認識処理が行われ、その結果を統合することで、話者や発話環境の変動に対する性能が向上することが期待できる。
【非特許文献１】篠崎他、“超並列デコーダを用いた話し言葉音声認識”、日本音響学会講演論文集２００４（春）２−１１−６、ｐｐ１１１−１１２、２００４年３月
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、従来手法においては、複数のクラスタごとに対応する音響モデルを用意し、複数の音響モデルのそれぞれを用いる認識処理を実行するために、１つの音響モデルを用いて１つの認識処理を実行する場合に比べて、認識処理にかかる計算コストが増大するという問題がある。例えば、Ｎ個のクラスタのそれぞれに対応するＮ個の音響モデルを用意し、Ｎ個の音響モデルのそれぞれを用いるＮ個の認識処理を実行した場合、認識処理にかかる計算コストはＮ倍になる。これは、音声認識を応用する装置において、非常に大きな問題である。
【０００４】
そこで、本発明は上記問題点に鑑み、認識性能に悪影響を与えずに認識処理にかかる計算コストを効率よく削減する音声認識装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述の課題を解決するため、本発明の音声認識装置は、入力音声の開始時刻から終了時刻までを複数のフレームに分割し、該フレームごとに音声特徴を表現する音声特徴ベクトルを生成する生成手段と、語ごとに、語の音声特徴を、複数の状態と複数の遷移パスを含む状態遷移モデルでモデル化した第１音響モデルを格納している第１格納手段と、前記第１音響モデルとは異なる１以上の第２音響モデルを格納している第２格納手段と、入力音声に含まれる開始フレームから終了フレームまでの音声特徴ベクトル列と、前記第１音響モデルとから、前記語ごとに終了フレームでのある状態へ至る確率を状態ごとに計算し、前記語ごとに複数の該確率のうちの最大確率を選択する第１選択手段と、前記語ごとに、開始フレームでの状態から終了フレームでの状態までの遷移を示す、前記最大確率に対応する最大確率遷移パスを選択する第２選択手段と、前記語ごとに、前記最大確率遷移パスを、前記第２音響モデルでの対応する対応遷移パスに変換する変換手段と、入力音声の開始フレームから終了フレームまでの音声特徴ベクトル列と、前記第２音響モデルとから、前記語ごとに、前記対応遷移パスで終了フレームでの状態へ至る確率を計算する計算手段と、前記第１音響モデル、前記第２音響モデルによってそれぞれ得られた、語ごとの最大確率、語ごとの確率に基づいて、前記入力音声がどの語であるかを認定する認定手段と、を具備することを特徴とする。
【０００６】
また、本発明の音声認識装置は、入力音声の開始時刻から終了時刻までを複数のフレームに分割し、該フレームごとに音声特徴を表現する音声特徴ベクトルを生成する生成手段と、語ごとに、語の音声特徴を、複数の状態と複数の遷移パスを含む状態遷移モデルでモデル化した第１音響モデルを格納している第１格納手段と、前記第１音響モデルとは異なる１以上の第２音響モデルを格納している第２格納手段と、入力音声に含まれるある第１フレームと該第１フレームの次の第２フレームとの音声特徴ベクトルと、前記第１音響モデルとから、前記語ごとに第２フレームでのある状態へ至る確率を状態ごとに計算し、前記語ごとに複数の該確率のうちの最大確率を選択する第１選択手段と、前記語ごとに、前記第１フレームでの状態から前記第２フレームでの状態までの遷移を示す、前記最大確率に対応する最大確率遷移パスと、該最大確率よりも確率が小さい複数の第２遷移パスとのうち、少なくとも該最大確率遷移パスを選択する第２選択手段と、前記語ごとに、前記最大確率遷移パスと、前記第２遷移パスが選択された場合には該第選択パスとを、前記第２音響モデルでの対応する対応遷移パスに変換する変換手段と、入力音声の前記第１フレームと前記第２フレームとの音声特徴ベクトルと、前記第２音響モデルとから、前記語ごとに、前記対応遷移パスで第２フレームでの状態へ至る確率を計算する計算手段と、前記第１選択手段、前記第２選択手段、前記変換手段、および、前記計算手段を前記第２フレームが終了フレームになるまで繰り返し動作させる動作手段と、前記第１音響モデル、前記第２音響モデルによってそれぞれ得られた、終了フレームでの語ごとの最大確率、終了フレームでの語ごとの確率に基づいて、前記入力音声がどの語であるかを認定する認定手段と、を具備することを特徴とする。
【発明の効果】
【０００７】
本発明の音声認識装置、方法およびプログラムによれば、認識性能に悪影響を与えずに認識処理にかかる計算コストを効率よく削減することができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照しながら本発明の実施形態に係る音声認識装置、方法およびプログラムについて詳細に説明する。  
（第１の実施形態）  
図１は、本発明の第１の実施形態に好適な音声認識装置の構成例を表すブロック図である。  
図１の音声認識装置は、特徴抽出部１０１、基準音響モデルデータベース１０２、音響モデルＣ１データベース１０３、音響モデルＣ２データベース１０４、第１認識処理部１０５、第２認識処理部１０６、１０７、結果統合部１０８を備える。なお、図１は、第２認識処理部を２つ備えた例であり、第２認識処理部１０６は音響モデルＣ１データベース１０３を用いて、第２認識処理部１０７は音響モデルＣ２データベース１０４を用いて、それぞれ後述する照合処理を行う。ただし、第１の実施形態および他の実施形態では、図１の例に限らず、後述するクラスタの個数に応じて、第２認識処理部およびそれが用いる音響モデルの数を増やした構成例をとることができる。すなわち、本発明の実施形態では、第２認識処理部およびそれが用いる音響モデルの総数を、１以上の任意の数に設定した上で本発明を実施することができる。
【０００９】
特徴抽出部１０１は、ある時間幅のフレームごとに、入力音声信号から音声特徴ベクトルの時系列Ｘ（ｔ）＝（ｘ（１），ｘ（２），・・・，ｘ（Ｔ））を生成する。Ｘ（ｔ）は音声特徴ベクトル列とも呼ばれる。ここで、ｘ（ｔ）はｔ番目のフレームｔにおける音声特徴ベクトルである。ただし１≦ｔ≦Ｔとし、ｔ＝１は認識処理を実施する入力音声の始端位置（入力音声の開始時刻）に、ｔ＝Ｔは認識処理を実施する入力音声の終端位置（入力音声の終了時刻）に対応する。また、音声特徴ベクトルは、１次元以上の要素をもつベクトルであり、フレームｔにおける音声の特徴を表現する。そのような音声特徴ベクトルとしてはＭＦＣＣが挙げられる。  
ＭＦＣＣは、フレームｔにおける音声スペクトルに対して、メルフィルタバンク出力の対数値をとり、さらにＤＣＴを適用してその低次成分を抽出するケプストラム分析を行うことで、音声特徴ベクトルを得る手法である。ただし、第１の実施形態および他の実施形態では、特徴抽出部１０１における音声特徴ベクトルとして、ＭＦＣＣに限らず、任意の音声特徴ベクトルを使用することができる。
【００１０】
基準音響モデルデータベース１０２、音響モデルＣ１データベース１０３、音響モデルＣ２データベース１０４は、それぞれ、認識対象となるカテゴリごとに、カテゴリの音響的特徴をモデル化したものである。なお、説明の利便のために、以下では、基準音響モデルデータベース１０２のことを単に「音響モデルＣ０ ＤＢ１０２」と呼ぶことがある。また、基準音響モデルデータベース１０２、音響モデルＣ１データベース１０３、音響モデルＣ２データベース１０４に共通の説明をする場合には、これらをまとめて単に「音響モデル」と呼ぶことにする。音響モデルについては、後の「音響モデル」の項目でより詳細に説明する。
【００１１】
第１認識処理部１０５は、特徴抽出部１０１から出力される音声特徴ベクトル列と、音響モデルＣ０ ＤＢ１０２に含まれる音響モデルとの照合処理を行う。すなわち、音声特徴ベクトル列Ｘ（ｔ）に対して、あるカテゴリｗが付与されたＨＭＭ（Hidden Markov Model：隠れマルコフモデル）からの出力確率Ｐ（Ｘ｜ｗ、Ｃ０）を計算する。ここで、１≦ｗ≦Ｗとし、Ｗは認識対象となるカテゴリの総数とする。ここで、カテゴリｗとは、ＨＭＭによりモデル化できる音声に対応するものであり、例えば、文、単語である。カテゴリｗが付与されたＨＭＭからの出力確率については、後の「ＨＭＭからの出力確率」の項目でより詳細に説明する。
【００１２】
第１認識処理部１０５はさらに、フレームｔにおけるＨＭＭの前向き確率の計算において参照される全ての遷移パスの集合Ｃ０＿ＰＴａｌｌから、いくつかの遷移パスをフレームごとに選択し、選択された遷移パスを第２認識処理部１０６、１０７に出力する。すなわち、Ｃ０＿ＰＴａｌｌのサブセットである音響モデルＣ０ ＤＢ１０２の遷移パスの集合Ｃ０＿ＰＴ（ｔ）をフレームごとに選択する。選択手法については、後に「遷移パスの集合の選択手法」で説明する。なお、前向き確率は、例えば、後に説明するα（ｉ、ｔ）である。
【００１３】
第２認識処理部１０６、１０７はそれぞれ、音声特徴ベクトル列と音響モデルＣ１データベース１０３との照合処理、および音声特徴ベクトル列と音響モデルＣ２データベース１０４との照合処理を行う。すなわち、あるカテゴリｗが付与されたＨＭＭからの出力確率Ｐ（Ｘ｜ｗ、Ｃ１）およびＰ（Ｘ｜ｗ、Ｃ２）を計算する。以下では、これらの出力確率をまとめてＰ（Ｘ｜ｗ、Ｃｎ）と表記し、さらに簡略表記してＰ（Ｘ｜Ｃｎ）とする。ただしこの場合、ｎ＝１、２である。第２認識処理部については後の「第２認識処理部」で詳細に説明する。
【００１４】
結果統合部１０８は、第１認識処理部１０５および第２認識処理部１０６、１０７から出力される認識候補を統合し、音声認識装置全体としての認識結果を出力する。統合手法の詳細については後の「統合手法」で詳細に説明する。
【００１５】
（音響モデル）  
音響モデルは、認識対象となるカテゴリごとに、カテゴリの音声特徴、音響的特徴をモデル化したものである。そのような音響モデルとしては、音響的特徴の時系列変化を適切にモデル化するために、状態遷移をもつモデルであることが望ましい。音声認識に好適な状態遷移をもつモデルとして、ＨＭＭを使用できる。ＨＭＭは、１つ以上の状態Ｓｉと、初期状態の集合ＳＳおよび最終状態の集合ＳＦと、ある状態Ｓｊからある状態Ｓｉへの遷移確率Ａｊｉと、ある状態Ｓｊからある状態Ｓｉへの遷移パスにおける音声特徴ベクトルｘの出力確率Ｂｊｉ（ｘ）と、状態Ｓｉの初期確率ＰＳｉで定義される。ただし、１≦ｉ≦ＮＳおよび１≦ｊ≦ＮＳであり、ＮＳはＨＭＭを構成する状態の総数である。
【００１６】
ＨＭＭの一例を図２に示す。図２は、状態数ＮＳ＝４、初期状態の集合ＳＳ＝｛Ｓ１｝、最終状態の集合ＳＦ＝｛Ｓ４｝のＨＭＭの例である。図２では、遷移確率と出力確率が有意な値をもたない遷移パス、すなわち、遷移確率と出力確率のそれぞれの確率が常に０である遷移パスの記述を省略している。図２のＨＭＭは、音声認識において典型的に用いられるＨＭＭの例である。すなわち、Ｌｅｆｔ−ｔｏ−Ｒｉｇｈｔ型と呼ばれるトポロジーをもち、初期状態の集合ＳＳおよび最終状態の集合ＳＦの要素数がそれぞれ１であり、ｉ＝ｊあるいはｉ＝ｊ＋１である遷移パス（ｊ、ｉ）においてのみ有意な遷移確率Ａｊｉおよび出力確率Ｂｊｉ（ｘ）をもつＨＭＭの例である。ここで、トポロジーは、各状態での自己への遷移（自己ループ）、および、状態間の遷移パスを示す構造のことであり、図２の例では、遷移確率Ａｊｉと出力確率Ｂｊｉ（ｘ）を除いた、状態とパスとからなる構造を示す。
【００１７】
以下では、音響モデルとして図２で例示したＨＭＭを用いることを前提に説明を続ける。ただし、第１の実施形態および他の実施形態では、音響モデルとして図２の例を含むあらゆるＨＭＭを用いることができる。例えば図３の例のように多数の遷移パスをもつＨＭＭを用いることもできる。また、ＨＭＭに限らず、時系列テンプレートモデルのような状態遷移をもつ任意のモデルを用いることもできる。
【００１８】
音響モデルは、話者や環境変動などを分類基準として得られる集合（クラスタ）のうちのどれか１つに対応し、対応するクラスタに属する音声データを用いて学習される。そのようなクラスタを作成するための分類基準としては、例えば、性別（男性、女性）、年齢層（成人、子供、老人）、周囲雑音の種別、周囲雑音のＳＮＲを採用することができる。この分類基準は音響モデルを学習する際に任意に決めることができる。また、複数の分類基準を組み合わせることもできる。さらに、ある音声データが複数のクラスタに属するよう分類基準を決めても構わない。例えば、性別および年齢を分類基準とした場合は、「男性かつ成人」「男性かつ子供」「男性かつ老人」「女性かつ成人」「女性かつ子供」「女性かつ老人」の６種類のクラスタを作成することができ、ある音声データはこの６種類のクラスタのどれか１つに属する。これに対して、これら２つの分類基準を独立に適用し、「男性」「女性」「成人」「子供」「老人」の５種類のクラスタを作成することもできる。この場合には、「男性」「女性」クラスタに属する音声データは、「成人」「子供」「老人」クラスタのいずれかにも属する。このように、複数のクラスタ間で一部の音声データを共有するようにクラスタを作成しても構わない。さらに、「不特定話者」「男性」「女性」の３種類のクラスタのように、あるクラスタが別のクラスタを内包するようクラスタを作成しても構わない。
【００１９】
第１の実施形態では、基準音響モデルデータベース１０２すなわち音響モデルＣ０ ＤＢ１０２に対応するクラスタとして、他のクラスタの一部あるいは全てを内包するクラスタを選択することにする。また、音響モデルＣ１データベース１０３および音響モデルＣ２データベース１０４に対応するクラスタとして、音響モデルＣ０ ＤＢ１０２に対応するクラスタと一部の音声データを共有するか、あるいは内包されるクラスタを選択することにする。そのようなクラスタ群の例として、前述した「不特定話者」「男性」「女性」の３種類のクラスタが挙げられる。ここで、「不特定話者」クラスタは、全話者の音声データが属するクラスタであり、「男性」クラスタおよび「女性」クラスタを内包するクラスタである。また、「男性」クラスタは男性話者の音声データが、「女性」クラスタは女性話者の音声データが属するクラスタであり、互いに排他的なクラスタである。
【００２０】
第１の実施形態では、これら３種類のクラスタについて、音響モデルＣ０ ＤＢ１０２を「不特定話者」クラスタに、音響モデルＣ１データベース１０３を「男性話者」クラスタに、音響モデルＣ２データベース１０４を「女性話者クラスタ」に、それぞれ対応させるものとする。ただし、第１の実施形態および他の実施形態は、音響モデルに対応するクラスタの選択を制限するものではなく、それぞれの音響モデルに任意のクラスタを対応させることができる。
【００２１】
（ＨＭＭからの出力確率）  
あるカテゴリｗが付与されたＨＭＭからの出力確率Ｐ（Ｘ｜ｗ、Ｃ０）をＰ（Ｘ｜Ｃ０）と簡略表記すると、Ｐ（Ｘ｜Ｃ０）は、以下に示す、式（１）、式（２）、式（３）で計算される。
【００２２】
Ｐ（Ｘ｜Ｃ０）＝ｍａｘ＿ｉ（Ｃ０＿α（ｉ、Ｔ））・・・（１）  
ただし、Ｃ０＿Ｓｉ⊂Ｓ０＿ＳＦ  
Ｃ０＿α（ｉ、０）＝Ｃ０＿ＰＳｉ・・・（２）  
ただし、Ｃ０＿Ｓｉ⊂Ｃ０＿ＳＳ  
Ｃｎ＿α（ｉ、ｔ）＝ｍａｘ＿ｉ（Ｃ０＿Ａｊｉ＊Ｃ０＿Ｂｊｉ（ｘ（ｔ））＊Ｃ０＿α（ｊ、ｔ−１））・・・（３）  
ただし、（ｊ、ｉ）⊂Ｃ０＿ＰＴａｌｌ
“Ｃ０＿”は、式（１）、式（２）、式（３）の各項が、音響モデルＣ０ ＤＢ１０２に依存する項であることを示すプリフィックスである。このプリフィックスは他の項および記号に対しても同様の意味をもつ。以下の説明では、特に必要がない限りこのプリフィックスを省略する。プリフィックスが省略された項および記号の説明は、音響モデルＣ０ ＤＢ１０２、音響モデルＣ１データベース１０３、音響モデルＣ２データベース１０４に共通の説明である。
【００２３】
式（１）、式（２）、式（３）において、α（ｉ、ｔ）は、ＨＭＭの初期状態から遷移し、フレームｔにおいて状態Ｓｉに至る場合の前向き確率である。ＨＭＭでは、初期状態からフレームｔにおいて状態Ｓｉに至る遷移パスが複数存在するため、前向き確率は複数の遷移パスごとの前向き確率の総和として計算するのが本来である。しかし、式（３）では、複数の遷移パスの中で最大の前向き確率を与えるただひとつの遷移パスを選択し、その前向き確率をフレームｔにおける状態Ｓｉの前向き確率とする。これをビタビ法と呼ぶ。ビタビ法は、音声認識の分野において、複数の遷移パスの前向き確率の総和をとる手法の良い近似となることが知られている。また、式（３）において、ＰＴａｌｌは、前向き確率を計算する際に参照するＨＭＭの全ての遷移パスの集合である。
【００２４】
（第２認識処理部）  
第２認識処理部での手法を従来手法と比較して説明する。  
従来手法では、第２認識処理部における出力確率Ｐ（Ｘ｜Ｃｎ）の計算を、式（４）、式（５）、式（６）に従い計算する。
【００２５】
Ｐ（Ｘ｜ｗ、Ｃｎ）＝ｍａｘ＿ｉ（Ｃｎ＿α（ｉ、Ｔ））・・・（４）
ただし、Ｃｎ＿Ｓｉ⊂Ｓｎ＿ＳＦ
Ｃｎ＿α（ｉ、０）＝Ｃｎ＿ＰＳｉ・・・（５）
ただし、Ｃｎ＿Ｓｉ⊂Ｃｎ＿ＳＳ
Ｃｎ＿α（ｉ、ｔ）＝ｍａｘ＿ｉ（Ｃｎ＿Ａｊｉ＊Ｃｎ＿Ｂｊｉ（ｘ（ｔ））＊Ｃｎ＿α（ｊ、ｔ−１））・・・（６）
ただし、（ｊ、ｉ）⊂Ｃｎ＿ＰＴａｌｌ
“Ｃｎ＿”は、式（４）、式（５）、式（６）の各項が、音響モデルＣｎ（ｎ＝１、２）に依存する項であることを示すプリフィックスである。式（４）、式（５）、式（６）はそれぞれ、式（１）、式（２）、式（３）と同一の式であり、音響モデルＣ０ ＤＢ１０２に依存する項をとるか否かのみが異なる。
【００２６】
これに対して、第１の実施形態における第２認識処理部１０６、１０７の照合処理について説明する。第２認識処理部１０６、１０７は、まず、第１認識処理部１０５から出力された音響モデルＣ０ ＤＢ１０２の遷移パスの集合Ｃ０＿ＰＴ（ｔ）を、対応する音響モデルＣ１データベース１０３の遷移パスの集合Ｃ１＿ＰＴ（ｔ）および音響モデルＣ２データベース１０４の遷移パスの集合Ｃ２＿ＰＴ（ｔ）に変換する。変換手法として、音響モデルＣ０ ＤＢ１０２、音響モデルＣ１データベース１０３、音響モデルＣ２データベース１０４を全て同じトポロジーをもつＨＭＭとして定義し、同じ位置に存在する遷移パスに変換する手法がある。なお、第２認識処理部１０６、１０７における遷移パスの集合Ｃ０＿ＰＴ（ｔ）からＣ１＿ＰＴ（ｔ）およびＣ２＿ＰＴ（ｔ）への変換手法については、後の「遷移パス変換手法」で詳細に説明する。
【００２７】
次に、第１の実施形態における第２認識処理部１０６、１０７では、出力確率Ｐ（Ｘ｜Ｃｎ）を計算する際に、前述の従来手法の式（６）を以下に挙げる式（７）に差し替えて計算する。
【００２８】
Ｃｎ＿α（ｉ、ｔ）＝ｍａｘ＿ｉ（Ｃｎ＿Ａｊｉ＊Ｃｎ＿Ｂｊｉ（ｘ（ｔ））＊Ｃｎ＿α（ｊ、ｔ−１））・・・（７）
ただし、（ｊ、ｉ）⊂Ｃｎ＿ＰＴ（ｔ）
ここで、Ｃｎ＿ＰＴ（ｔ）およびＣｎ＿ＰＴａｌｌ（ｎ＝１、２）に含まれる遷移パスの総数をそれぞれ＃Ｃｎ＿ＰＴ（ｔ）および＃Ｃｎ＿ＰＴａｌｌとおくと、＃Ｃｎ＿ＰＴ（ｔ）＜＃Ｃｎ＿ＰＴａｌｌが成立する場合は、式（７）の右辺における遷移パスごとの前向き確率の計算“Ｃｎ＿Ａｊｉ＊Ｃｎ＿Ｂｊｉ（ｘ（ｔ））＊Ｃｎ＿α（ｊ、ｔ−１）”の回数は、式（６）の場合に比べて少なくなる。すなわち、第１認識処理部１０５において、音響モデルＣ０ ＤＢ１０２の遷移パスの集合Ｃ０＿ＰＴ（ｔ）を適切に選択し、第２認識処理部１０６、１０７においてＣ０＿ＰＴ（ｔ）から変換されたＣｎ＿ＰＴ（ｔ）が＃Ｃｎ＿ＰＴ（ｔ）＜＃Ｃｎ＿ＰＴａｌｌ（ｎ＝１、２）を満たすようにすることで、第２認識処理部１０６、１０７において前向き確率の計算回数を削減することができる。すなわち、式（６）で示される従来手法に比べて、式（７）で示される本発明の第１の実施形態では、計算コストを削減することができる。
【００２９】
第２認識処理部１０６、１０７においてＣ０＿ＰＴ（ｔ）から変換されたＣｎ＿ＰＴ（ｔ）は、第１認識処理部１０５における音響モデルＣ０ ＤＢ１０２を用いた照合処理において他よりも大きい前向き確率を与える遷移パスであるため、それに対応するＣｎ＿ＰＴ（ｔ）も、第２認識処理部１０６、１０７における音響モデルＣ１データベース１０３、音響モデルＣ２データベース１０４を用いた照合処理において他よりも大きい前向き確率を与える遷移パスである可能性が高い。その理由を以下で説明する。
【００３０】
音響モデルＣ０ ＤＢ１０２は「不特定話者」クラスタに属する音声データで学習されているが、「不特定話者」クラスタは「男性」クラスタおよび「女性」クラスタに属する音声データが全て属するクラスタであり、「不特定話者」クラスタは「男性」クラスタおよび「女性」クラスタを内包する。したがって、音響モデルＣ０ ＤＢ１０２は、音響モデルＣ１データベース１０３および音響モデルＣ２データベース１０４とそれぞれ一部共通する音声データで学習されているため、その性質も一部共通すると考えられる。また、前述の通り、音響モデルは音響的特徴の時系列変化をモデル化したものであるため、音響モデルＣ０ ＤＢ１０２、音響モデルＣ１データベース１０３、音響モデルＣ２データベース１０４の間で対応関係にある遷移パスは、入力音声の同じ時間位置に対応し、その時間位置におけるクラスタごとの音響的特徴の揺れをモデル化していると考えられる。したがって、ある入力音声に対して、音響モデルＣ０ ＤＢ１０２、音響モデルＣ１ ＤＢ１０３、音響モデルＣ２ ＤＢ１０４のそれぞれで最大の前向き確率を与える遷移パスは、音響モデル間でほぼ共通することが予想される。したがって、第２認識処理部１０６、１０７においてＣ０＿ＰＴ（ｔ）から変換されたＣｎ＿ＰＴ（ｔ）は、第２認識処理部１０６、１０７における照合処理において、他よりも大きい前向き確率を与える遷移パスである可能性が高い。このため、第１の実施形態における第２認識処理部１０６、１０７の照合処理は、従来手法による照合処理の良い近似となることが期待できる。
【００３１】
（統合手法）  
各認識処理部から出力される結果を統合する手法として、第１認識処理部１０５および第２認識処理部１０６、１０７で計算された出力確率Ｐ（Ｘ｜ｗ、Ｃｎ）（１≦ｗ≦Ｗ、ｎ＝０、１、２）を全て参照し、その中で最大の出力確率を与えるカテゴリｗを認識結果として出力する手法がある。この結果統合の手法による性能改善の効果を図４で説明する。
【００３２】
図４は、「男性」話者あるいは「女性」話者が、それぞれカテゴリｗ１に相当する発声を行った場合の、各音響モデルで計算される出力確率の例である。例えば、「男性」話者の場合、「男性」クラスタに属する音声データで学習された音響モデルＣ１データベース１０３を用いて計算された出力確率Ｐ（Ｘ｜ｗ１、Ｃ１）が最大であり、他の音響モデルを用いて計算された出力確率Ｐ（Ｘ｜ｗ１、Ｃ０）およびＰ（Ｘ｜ｗ１、Ｃ２）に比べても大きい。このとき、「不特定」クラスタあるいは「女性」クラスタに属する音声データで学習された音響モデルＣ０ ＤＢ１０２あるいは音響モデルＣ２データベース１０４を用いて計算された出力確率Ｐ（Ｘ｜ｗ１、Ｃ０）あるいはＰ（Ｘ｜ｗ１、Ｃ２）は、それぞれＰ（Ｘ｜ｗ２、Ｃ０）あるいはＰ（Ｘ｜ｗ２、Ｃ２）よりも小さい値となっており、これらの音響モデルを単独で用いる音声認識装置では認識結果が誤りとなる。
【００３３】
逆に、「女性」話者の場合、「女性」クラスタに属する音声データで学習された音響モデルＣ２データベース１０４を用いて計算された出力確率Ｐ（Ｘ｜ｗ１、Ｃ２）が最大となる。このように、結果統合部１０８において、複数の音響モデルを用いた複数の認識処理部が出力する複数の認識候補を統合し、認識結果を出力することで、音声認識装置の性能を改善することができる。
【００３４】
結果統合部１０８における結果統合の手法としては、他にも様々な手法が考えられる。例えば、あるカテゴリに対して、第１認識処理部１０５および第２認識処理部１０６、１０７のそれぞれで計算した３種の出力確率の総和をとり、総和の最大値を与えるカテゴリｗを認識結果として出力する手法がある。また、あるカテゴリに対して、前述の３種の出力確率の差分をとり、差分の絶対値がある閾値を下回る場合にはこのカテゴリを認識候補から除外した上で、最大の出力確率を与えるカテゴリｗを認識結果として出力する手法がある。このように、結果統合部１０８における結果統合の手法としては様々な手法が考えられるが、本発明の第１の実施形態および他の実施形態は、結果統合部における結果統合の手法を制限するものではなく、任意の手法をとることができる。
【００３５】
（遷移パスの集合の選択手法）  
選択手法としては、第１認識処理部１０５において式（３）に基づき前向き確率を計算する際に、他よりも大きな前向き確率を与える遷移パスを選択する。これらの遷移パスは、式（３）の左辺を与える遷移パス、すなわち、状態Ｓｉの前向き確率を与える遷移パスである可能性が高い。以下、第１認識処理部１０５における遷移パスの集合Ｃ０＿ＰＴ（ｔ）の選択手法について説明する。
【００３６】
第１認識処理部１０５における遷移パスの集合Ｃ０＿ＰＴ（ｔ）の選択手法として、音響モデルＣ０ ＤＢ１０２のＨＭＭの状態ごとに、最大の前向き確率を与える遷移パスを１つずつ選択する手法がある。以下では、第１認識処理部１０５における遷移パス集合Ｃ０＿ＰＴ（ｔ）の選択手法を、図５および図６を用いて説明する。
【００３７】
図５および図６は、図２で例示したＬｅｆｔ−ｔｏ−Ｒｉｇｈｔ型のＨＭＭを音響モデルとして用いた場合の、前向き確率の計算手順の一部を示したものである。ここで、図５は従来手法における計算手順を、図６は第１の実施形態における計算手順を、それぞれ例示している。図５および図６は共に、ＨＭＭの状態Ｓｉへの遷移パスとして、状態Ｓｊからの遷移および状態Ｓｉからの遷移（自己ループ）の２つがある場合の例である。
【００３８】
図５で示した従来手法の例では、音響モデルＣ０ ＤＢ１０２、音響モデルＣ１データベース１０３、音響モデルＣ２データベース１０４を用いた照合処理において、フレームｔの状態Ｃｎ＿Ｃｉ（ｎ＝１、２、３）の前向き確率を、状態Ｃｎ＿Ｓｉへ遷移可能な全ての遷移パスを参照して計算する。すなわち、図５の例では、前向き確率の計算において、全体で６つの遷移パス（図の太線の矢印）を参照する。従来手法における照合処理では、この手順を全ての状態および全てのフレームにおいて順次実施する。
【００３９】
これに対して、図６で示した第１の実施形態の例では、まず、第１認識処理部１０５において音響モデルＣ０ ＤＢ１０２を用いて照合処理を実施する。次に、第１認識処理部１０５は、フレームｔの状態Ｃ０＿Ｓｉの前向き確率の計算において、最大の前向き確率を与える遷移パスを１つ選択し、遷移パスの集合Ｃ０＿ＰＴ（ｔ）に追加する。図６の例では、状態Ｃ０＿Ｓｊから状態Ｃ０＿Ｓｉへの遷移パスを選択する。第１認識処理部１０５における照合処理は、この手順を全ての状態および全てのフレームにおいて順次実施し、第１認識処理部１０５における照合処理を進めると共に、遷移パスの集合Ｃ０＿ＰＴ（ｔ）の選択と第２認識処理部１０６、１０７への出力を行う。
【００４０】
第２認識処理部１０６、１０７は、遷移パスの集合Ｃ０＿ＰＴ（ｔ）をそれぞれＣ１＿ＰＴ（ｔ）およびＣ２＿ＰＴ（ｔ）に変換し、遷移パスの集合Ｃ１＿ＰＴ（ｔ）およびＣ２＿ＰＴ（ｔ）に属する遷移パスのみをそれぞれ参照して、照合処理を実施する。例えば、第２認識処理部１０６、１０７における照合処理では、フレームｔにおける状態Ｃｎ＿Ｓｉ（ｎ＝１、２）の前向き確率を計算する際に、状態Ｃｎ＿Ｓｊから状態Ｃｎ＿Ｓｉへの遷移パスのみを参照する。これにより、図６の例では、前向き確率の計算において、全体で４つの遷移パス（図の太線の矢印）のみを参照すればよい。すなわち、図５で例示した従来手法と比較すると、図６で例示した第１の実施形態では、第２認識処理部１０６、１０７における照合処理において、前向き確率の計算回数を２回削減できている。前述の通り、この手順は全ての状態および全てのフレームにおいて順次実施するため、削減できる前向き確率の計算回数は状態数およびフレーム数に比例して大きくなる。これにより、第２認識処理部１０６、１０７における照合処理に必要な計算コストを削減できる。
【００４１】
ここで、上で説明したように、音響モデルＣ０ ＤＢ１０２を用いた照合処理において最大の前向き確率を与える遷移パスは、音響モデルＣ１データベース１０３、音響モデルＣ２データベース１０４を用いた照合処理において最大の前向き確率を与える遷移パスの良い近似になると考えられる。すなわち、第１の実施形態によれば、従来手法に比べて性能に悪影響を与えることなく、照合処理に必要な計算コストを削減することができる。
【００４２】
（遷移パス変換手法）  
以下では、第２認識処理部１０６、１０７における遷移パス集合Ｃ０＿ＰＴ（ｔ）からＣ１＿ＰＴ（ｔ）およびＣ２＿ＰＴ（ｔ）への変換手法のみを、図７を用いて説明する。
【００４３】
第１の実施形態では、第１認識処理部１０５で用いる音響モデルＣ０ ＤＢ１０２と、第２認識処理部１０６、１０７で用いる音響モデルＣ１データベース１０３および音響モデルＣ２データベース１０４とで、認識対象となるカテゴリごとに、同じトポロジーをもつＨＭＭを用いてカテゴリをモデル化する。すなわち、全ての音響モデルで、カテゴリごとに、同じ状態数および同じ遷移パスをもつＨＭＭを用いる。図７の例は同じトポロジーをもつＨＭＭの例である。図７の例では、３つのモデルのそれそれで、状態数は３つであり、各状態（すなわち、Ｓ１、Ｓ２、Ｓ３）での自己ループ、遷移パスの始点および終点の対応が同一である。図７から明らかなように、同じトポロジーをもつ複数のＨＭＭの間では、あるＨＭＭの遷移パスと別のＨＭＭの遷移パスとを、１対１に容易に対応付けることができる。すなわち、音響モデルＣ０ ＤＢ１０２の任意の遷移パス（ｊ、ｉ）を、音響モデルＣ１データベース１０３の遷移パス（ｊ、ｉ）あるいは音響モデルＣ２データベース１０４の遷移パス（ｊ、ｉ）に容易に変換することができる。図７の例での変換は自明な変換であり、特別な操作は必要ない。ここの例では、何もしない変換を行う。変換することはモデル名だけである。
【００４４】
このように、第１の実施形態では、第２認識処理部１０６、１０７において、第１認識処理部１０５で選択された遷移パスの集合Ｃ０＿ＰＴ（ｔ）を、Ｃ１＿ＰＴ（ｔ）およびＣ２＿ＰＴ（ｔ）に容易に変換することができる。この場合、音響モデルＣ０ ＤＢ１０２、音響モデルＣ１データベース１０３、音響モデルＣ２データベース１０４の全ての音響モデルについて、カテゴリごとに同じトポロジーをもつＨＭＭを用いる。
【００４５】
（第１の実施形態の動作フロー）  
次に、図８、図９、図１０を用いて、本発明の第１の実施形態の動作を説明する。図８、図９、図１０はそれぞれ、本発明の第１の実施形態の動作の一例を示すフローチャートである。なお、特徴抽出部１０１の動作フローは当業者には自明であるため、このフローチャートでは記述を省略している。
【００４６】
まず、図８のフローチャートに基づく動作を、動作ステップごとに説明する。図８のフローチャートで示される動作例では、フレームごとに、第１認識処理部１０５、第２認識処理部１０６、１０７における照合処理を順番に行う。
【００４７】
（Ｓ８０１）第１認識処理部１０５、第２認識処理部１０６、１０７は、フレーム１から処理を開始する。  
（Ｓ８０２）フレームＴの処理が終了していればステップＳ８０９に進む。そうでなければステップＳ８０３以降の処理を実施する。  
（Ｓ８０３）第１認識処理部１０５がフレームｔの照合処理を実施する。  
（Ｓ８０４）第１認識処理部１０５が遷移パスの集合Ｃ０＿ＰＴ（ｔ）を選択する。  
（Ｓ８０５）第１認識処理部１０５が遷移パスの集合Ｃ０＿ＰＴ（ｔ）を第２認識処理部１０６、１０７に出力する。  
（Ｓ８０６）第２認識処理部１０６、１０７が遷移パスの集合Ｃ０＿ＰＴ（ｔ）をそれぞれＣ１＿ＰＴ（ｔ）およびＣ２＿ＰＴ（ｔ）に変換する。  
（Ｓ８０７）第２認識処理部１０６、１０７がフレームｔの照合処理をそれぞれ実施する。  
（Ｓ８０８）第１認識処理部１０５、第２認識処理部１０６、１０７は、当該フレームの処理を終了し、次のフレームの処理を開始する。  
（Ｓ８０９）結果統合部１０８が、第１認識処理部１０５および第２認識処理部１０６、１０７から出力された認識候補を統合する。  
（Ｓ８１０）結果統合部１０８が、認識候補の統合に基づき認識結果を出力する。
【００４８】
次に、図９のフローチャートに基づく動作を、動作ステップごとに説明する。図９のフローチャートで示される動作例では、まず第１認識処理部１０５における照合処理を実施し、その終了後に第２認識処理部１０６、１０７における照合処理を開始する。以下、既に説明したステップと同様なものは同一の番号を付してその説明を省略する。
【００４９】
（Ｓ９０７）ステップＳ８０２でフレームＴの処理が終了している場合に、第２認識処理部１０６、１０７が、フレーム１から処理を開始する。  
（Ｓ９０８）フレームＴの処理が終了していればステップＳ８０９に進む。そうでなければステップＳ５１０以降のステップを実施する。  
（Ｓ９０３）当該フレームの処理を終了し、次のフレームの処理を開始する。
【００５０】
次に、図１０のフローチャートに基づく動作を、動作ステップごとに説明する。図１０のフローチャートで示される動作例では、まず第１認識処理部１０５における照合処理を実施し、照合処理の終了後に、遷移パスの集合Ｃ０＿ＰＴ（ｔ）の選択、および、第２認識処理部１０６、１０７への出力をまとめて行う。さらに、第２認識処理部１０６、１０７における照合処理の開始前に、遷移パスの集合Ｃ０＿ＰＴ（ｔ）からＣｎ＿ＰＴ（ｔ）への変換をまとめて行う。その後、第２認識処理部１０６、１０７における照合処理を行う。
【００５１】
（Ｓ１００１）第１認識処理部１０５でフレームＴの照合処理が終了していれば、第１認識処理部１０５が、全てのフレームｔ（１≦ｔ≦Ｔ）に対して、遷移パスの集合Ｃ０＿ＰＴ（ｔ）を選択する。
【００５２】
（Ｓ１００２）第１認識処理部１０５が、遷移パスの集合Ｃ０＿ＰＴ（ｔ）を第２認識処理部１０６、１０７に出力する。
【００５３】
（Ｓ１００３）第２認識処理部１０６、１０７が、全てのフレームｔ（１≦ｔ≦Ｔ）に対して、遷移パスの集合Ｃ０＿ＰＴ（ｔ）をそれぞれＣ１＿ＰＴ（ｔ）およびＣ２＿ＰＴ（ｔ）に変換する。
【００５４】
（Ｓ１００４）フレーム１から第２認識処理部１０６、１０７の照合処理を開始する。
【００５５】
（Ｓ１００５）フレームＴの処理が終了していればステップＳ８０９に進む。そうでなければステップＳ８０７以降のステップを実施する。
【００５６】
（Ｓ１００６）第２認識処理部１０６、１０７が、当該フレームの処理を終了し、次のフレームの処理を開始する。
【００５７】
図８、図９、図１０で例示したように、本発明の第１の実施形態は、様々な動作フローで実施することができる。これは本発明の他の実施形態でも同様である。
【００５８】
以上で説明したように、第１の実施形態によれば、従来手法に比べて性能に悪影響を与えることなく、第２認識処理部１０６、１０７における照合処理に必要な計算コストを削減することができる。
【００５９】
（第１の認識処理部における遷移パスの集合の選択手法）
第１の実施形態では、第１認識処理部１０５における遷移パス集合Ｃ０＿ＰＴ（ｔ）の選択手法について、様々な手法をとることができる。以下では、この選択手法について、第２および第３の実施形態として説明する。
【００６０】
（第２の実施形態）  
第１認識処理部１０５における遷移パスの集合Ｃ０＿ＰＴ（ｔ）の選択手法として、第１認識処理部１０５における照合処理でビームサーチを実施し、ビームサーチによって探索単位とされた遷移パスを選択する手法がある。これを第２の実施形態として説明する。第２の実施形態に好適な音声認識装置の構成は、第１の実施形態に好適な音声認識装置を説明するブロック図１と同じであり、各ブロックの動作も同様である。また、動作フローも、図８、図９、図１０で例示した本発明の第１の実施形態と同様である。そこで以下では、第１認識処理部１０５における遷移パス集合Ｃ０＿ＰＴ（ｔ）の選択手法のみを、図１１を用いて説明する。
【００６１】
図１１は、図２で例示したＬｅｆｔ−ｔｏ−Ｒｉｇｈｔ型のＨＭＭを音響モデルとして用いた場合の、前向き確率の計算手順の一部を示したものである。図１１で例示する本発明の第２の実施形態では、第１認識処理部１０５においてビームサーチを実施し、フレームごとに探索対象とするＨＭＭの状態および遷移パスの絞込みを行う。ビームサーチの実施手法には様々な手法があるが、例えば、フレームごとに上位の前向き確率をもつ状態を１つ以上選択し、選択された状態から遷移可能な状態に対してのみ、次フレームにおいて前向き確率を計算する。
【００６２】
図１１の例では、第１認識処理部１０５における音響モデルＣ０ ＤＢ１０２を用いた前向き確率の計算において、フレームごとに選択された上位の前向き確率をもつ状態を、斜線で塗り潰した円形で示している。図１１の例では、フレームごとに上位２つの状態を選択している。また、ビームサーチで選択された遷移パス、すなわち、ビームサーチで選択された状態からの遷移パスを、太線の矢印で示している。ビームサーチの実施により、前向き確率を計算する際に参照される遷移パスは、ビームサーチで選択された遷移パスのみに限られる。
【００６３】
図１１で示した本発明の第２の実施形態の例では、まず、第１認識処理部１０５が音響モデルＣ０ ＤＢ１０２を用いてビームサーチを伴う照合処理を実施する。この過程で、ビームサーチにより選択された遷移パスを、遷移パスの集合Ｃ０＿ＰＴ（ｔ）として選択し、第２認識処理部１０６、１０７に出力する。第２認識処理部１０６、１０７が、音響モデルＣ１データベース１０３、音響モデルＣ２データベース１０４を用いた照合処理で、遷移パスの集合Ｃ０＿ＰＴ（ｔ）をそれぞれＣ１＿ＰＴ（ｔ）およびＣ２＿ＰＴ（ｔ）に変換し、遷移パスの集合Ｃ１＿ＰＴ（ｔ）およびＣ２＿ＰＴ（ｔ）に属する遷移パスのみをそれぞれ参照して、照合処理を実施する。図１１の例では、図１１の太線の矢印で示される遷移パスのみを参照して前向き確率を計算する。この手順を全てのフレームにおいて実施する。
【００６４】
このように、第２の実施形態では、第１認識処理部１０５におけるビームサーチの結果に基づき、第２認識処理部１０６、１０７における前向き確率の計算で参照する遷移パス、すなわち探索範囲を決定する。ビームサーチの実施により、第１認識処理部１０５および第２認識処理部１０６、１０７において、前向き確率を計算する遷移パスの総数を削減できるため、計算コストを削減することができる。さらに、第２の実施形態では、ビームサーチを実施するための計算コストは第１認識処理部１０５でのみ必要となり、第２認識処理部１０６、１０７では必要ない。これにより、第１認識処理部１０５および第２認識処理部１０６、１０７でそれぞれ独立にビームサーチを実施した場合に比べて、計算コストを削減することができる。ここで、本発明の第１の実施形態において説明したように、音響モデルＣ０ ＤＢ１０２を用いた照合処理において他よりも高い前向き確率を与える遷移パスは、音響モデルＣ１データベース１０３、音響モデルＣ２データベース１０４を用いた照合処理において他よりも高い前向き確率を与える遷移パスの良い近似になると考えられる。すなわち、第２の実施形態では、従来手法に比べて性能に悪影響を与えることなく、照合処理に必要な計算コストを削減することができる。
【００６５】
（第３の実施形態）  
第１認識処理部１０５における遷移パスの集合Ｃ０＿ＰＴ（ｔ）の選択手法として、第１認識処理部１０５における照合処理を全てのフレームに対して実施し、認識対象のカテゴリごとに最大の出力確率を与える遷移パスの時系列を得て、この遷移パスの時系列を遷移パスの集合Ｃ０＿ＰＴ（ｔ）として選択する手法がある。これを、第３の実施形態として説明する。第３の実施形態に好適な音声認識装置の構成は、第１の実施形態に好適な音声認識装置を説明するブロック図１と同じであり、各ブロックの動作も同様である。ただし、この場合の動作フローは、図１０で例示した本発明の第１の実施形態の動作フローに従う。そこで以下では、第１認識処理部１０５における遷移パス集合Ｃ０＿ＰＴ（ｔ）の選択手法のみを、図１２を用いて説明する。
【００６６】
図１２は、図２で例示したＬｅｆｔ−ｔｏ−Ｒｉｇｈｔ型のＨＭＭを音響モデルとして用いた場合の、あるカテゴリに対して最大の出力確率を計算する手順の一例を示したものである。図１２で例示する第３の実施形態では、第１認識処理部１０５において、音響モデルＣ０ ＤＢ１０２を用いて、ある認識対象のカテゴリｗに対する出力確率Ｐ（Ｘ｜ｗ、Ｃ０）の最大値を求める。その際に、出力確率Ｐ（Ｘ｜ｗ、Ｃ０）の最大値を与える遷移パスの時系列を、遷移パスの集合Ｃ０＿ＰＴ（ｔ）として選択する。図１２では、出力確率Ｐ（Ｘ｜ｗ、Ｃ０）の最大値を与える遷移パスの時系列の例を太線の矢印で示している。この手順を全てのカテゴリに対して実施する。
【００６７】
第１認識処理部１０５は、照合処理が全て終了した後で、遷移パスの集合Ｃ０＿ＰＴ（ｔ）を第２認識処理部１０６、１０７に出力する。第２認識処理部１０６、１０７では、第２認識処理部１０６、１０７における音響モデルＣ１データベース１０３、音響モデルＣ２データベース１０４を用いた照合処理では、まず遷移パスの集合Ｃ０＿ＰＴ（ｔ）をそれぞれＣ１＿ＰＴ（ｔ）およびＣ２＿ＰＴ（ｔ）に変換する。Ｃ０＿ＰＴ（ｔ）はあるカテゴリに対する遷移パスの時系列を含むため、Ｃ１＿ＰＴ（ｔ）およびＣ２＿ＰＴ（ｔ）も同じカテゴリに対する遷移パスの時系列を含むことになる。次に、遷移パスの集合Ｃ１＿ＰＴ（ｔ）およびＣ２＿ＰＴ（ｔ）に属する遷移パスのみをそれぞれ参照して、照合処理を実施する。図１２の例では、図１２の太線の矢印で示される遷移パスのみを参照して前向き確率を計算する。
【００６８】
このように、第３の実施形態では、第１認識処理部１０５の照合処理においてあるカテゴリに最大の出力確率を与える遷移パスの時系列のみを参照して、第２認識処理部１０６、１０７における前向き確率の計算および出力確率の計算を行う。これにより、第２認識処理部１０６、１０７において、あるカテゴリに対する前向き確率の計算時に参照する遷移パスは、フレームごとに１つずつとなるため、計算コストを削減することができる。ここで、第１の実施形態において説明したように、音響モデルＣ０ ＤＢ１０２を用いた照合処理において最大の出力確率を与える遷移パスの時系列は、音響モデルＣ１データベース１０３、音響モデルＣ２データベース１０４を用いた照合処理において最大の出力確率を与える遷移パスの時系列の良い近似になると考えられる。すなわち、第３の実施形態では、従来手法に比べて性能に悪影響を与えることなく、照合処理に必要な計算コストを削減することができる。
【００６９】
（第４の実施形態）  
＜第２認識処理部における遷移パスの集合の変換手法＞  
第１の実施形態では、第１認識処理部１０５から出力した音響モデルＣ０ ＤＢ１０２の遷移パスの集合Ｃ０＿ＰＴ（ｔ）を、第２認識処理部１０６、１０７において、音響モデルＣ１データベース１０３および音響モデルＣ２データベース１０４の遷移パスの集合Ｃ１＿ＰＴ（ｔ）およびＣ２＿ＰＴ（ｔ）に、それぞれ変換する。以下では、この変換手法について、第４の実施形態として説明する。
【００７０】
第４の実施形態に好適な音声認識装置の構成を図１３に示す。第４の実施形態に好適な音声認識装置の構成は、図１に示した第１の実施形態に好適な音声認識装置の構成に、遷移パス変換表記憶部１３０１を加えたものである。各ブロックの動作は、第２認識処理部１０６、１０７が遷移パス変換表記憶部１３０１を参照して動作すること以外は、各ブロックの動作は第１の実施形態と同様である。また、動作フローも、図８、図９、図１０で例示した本発明の第１の実施形態と同様である。そこで以下では、第２認識処理部１０６、１０７における遷移パス集合Ｃ０＿ＰＴ（ｔ）からＣ１＿ＰＴ（ｔ）およびＣ２＿ＰＴ（ｔ）への変換手法のみを、図１４を用いて説明する。
【００７１】
遷移パス変換表記憶部１３０１は、音響モデルＣ０ ＤＢ１０２の任意の遷移パス（ｊ、ｉ）と、音響モデルＣ１データベース１０３、音響モデルＣ２データベース１０４の遷移パスとの対応関係を保持する。遷移パス変換表記憶部１３０１の例を図１４に示す。図１４は、音響モデルごとに異なるトポロジーをもつＨＭＭを用いる場合の遷移パス変換表記憶部１３０１に含まれる遷移パス変換表の一例である。図１４から明らかなように、遷移パス変換表記憶部１３０１を用いることで、音響モデルＣ０ ＤＢ１０２の任意の遷移パス（ｊ、ｉ）に対して、対応する音響モデルＣ１データベース１０３、音響モデルＣ２データベース１０４の遷移パスを知ることができる。
【００７２】
ここで、図１４で例示したように、音響モデルＣ０ ＤＢ１０２の１つの遷移パスに対して、音響モデルＣ２データベース１０４の異なる複数の遷移パスが対応することがある。さらに、音響モデルＣ０ ＤＢ１０２の異なる複数の遷移パスに対して、音響モデルＣ１データベース１０３の同じ１つの遷移パスが対応することがある。このように、遷移パス変換表記憶部１３０１は、複数の音響モデル間での遷移パスの対応関係について、多対１、１対多、または、多対多の任意の対応関係を保持することができる。なお、図１４では、音響モデルごとに異なるトポロジーをもつＨＭＭを用いた場合を例示したが、いくつかの音響モデルが同じトポロジーをもつＨＭＭを用いる場合、あるいは、全ての音響モデルが同じトポロジーをもつＨＭＭを用いる場合でも、遷移パス変換表記憶部１３０１を用いることができる。
【００７３】
このように、第４の実施形態では、第２認識処理部１０６、１０７において遷移パス変換表記憶部１３０１を参照することで、第１認識処理部１０５で選択された遷移パスの集合Ｃ０＿ＰＴ（ｔ）を、Ｃ１＿ＰＴ（ｔ）およびＣ２＿ＰＴ（ｔ）に容易に変換することができる。なお、第４の実施形態は、既に説明した本発明の第１から第３の実施形態と組み合わせて実施することができる。すなわち、第１から第３の実施形態において、遷移パス変換表記憶部１３０１をさらに加えることができる。
【００７４】
（第５の実施形態）  
＜基準音響モデルの切替＞  
第１の実施形態で説明したとおり、音響モデルＣ０ ＤＢ１０２、音響モデルＣ１データベース１０３、音響モデルＣ２データベース１０４として、任意の音響モデルを使用することができる。さらに、これらの音響モデルを相互に切り替えて使用することができる。以下では、これを第５の実施形態として説明する。
【００７５】
第５の実施形態に好適な音声認識装置の構成を図１５に示す。第５の実施形態に好適な音声認識装置の構成は、図１に示した第１の実施形態に好適な音声認識装置の構成に対して、モデル切替部１５０１を加え、さらに、第１認識処理部１０５が用いる音響モデルがモデル切替部１５０１を介して切り替えられ、第２認識処理部１０６、１０７が用いる音響モデルがモデル切替部１５０１を介して切り替えられる点が異なる。それ以外の各ブロックの動作は第１の実施形態と同様である。また、動作フローも、モデル切替部１５０１による音響モデルの切り替えが任意の時点で挿入される以外は、図８、図９、図１０で例示した第１の実施形態と同様である。そこで以下では、モデル切替部１５０１による音響モデルの切り替えに関する動作のみ説明する。
【００７６】
第５の実施形態では、モデル切替部１５０１が、音響モデルＣ０ ＤＢ１０２、音響モデルＣ１データベース１０３、音響モデルＣ２データベース１０４を保持する。モデル切替部１５０１は、上位からの指示情報に基づいて保持する音響モデルのうち１つを選択して第１認識処理部１０５が用いる基準音響モデルとし、それ以外の音響モデルを第２認識処理部１０６、１０７が用いる音響モデルとする。すなわち、第１認識処理部１０５が用いる基準音響モデルとして、モデル切替部１５０１が、音響モデルＣ０ ＤＢ１０２、音響モデルＣ１データベース１０３、音響モデルＣ２データベース１０４のうちどれか１つを選択する。
【００７７】
第５の実施形態におけるモデル切替部１５０１の動作について、具体例を挙げて説明する。例えば、「不特定話者」「男性」「女性」の３種類のクラスタのそれぞれに対応する３種類の音響モデルを用いた場合を考える。このとき、話者の性別が不確定であれば、音声認識処理の開始前に、モデル切替部１５０１において基準音響モデルＣ０ ＤＢ１０２を「不特定話者」のクラスタに対応する音響モデルとし、さらに、音響モデルＣ１データベース１０３、音響モデルＣ２データベース１０４をそれぞれ「男性」「女性」のクラスタに対応する音響モデルとする。その後、図８、図９、図１０で例示した第１の実施形態の動作フローと同様に音声認識処理を行う。
【００７８】
一方、話者の性別が既知である場合、例えば男性話者であることが分かっている場合は、音声認識処理の開始前に、モデル切替部１５０１において基準音響モデルＣ０ ＤＢ１０２を「男性」のクラスタに対応する音響モデルとし、その後、図８、図９、図１０で例示した第１の実施形態の動作フローと同様に音声認識処理を行うこともできる。このように、モデル切替部１５０１を用いることで、入力音声の特徴、この場合は性別に応じた話者の特徴をより良くモデル化した音響モデルを基準音響モデルＣ０ ＤＢ１０２とすることが可能となる。この結果、第１認識処理部１０５において選択される遷移パスの集合が、第２認識処理部１０６、１０７における照合処理において他よりも大きい前向き確率を与える遷移パスである可能性もより高くなる。
【００７９】
このように、第５の実施形態では、第１認識処理部１０５が用いる基準音響モデルとして、モデル切替部１５０１により選択された音響モデルＣ０ ＤＢ１０２、音響モデルＣ１データベース１０３、音響モデルＣ２データベース１０４のどれか１つの音響モデルを選択することができる。このとき、第２認識処理部１０６、１０７が用いる音響モデルは、モデル切替部１５０１により基準音響モデルとして選択されたもの以外の音響モデルとなる。なお、第５の実施形態は、既に説明した第１から第４の実施形態と組み合わせて実施することができる。すなわち、第１から第４の実施形態において、モデル切替部１５０１をさらに加えることができる。第１から第４の実施形態と組み合わせて実施する場合に好適な音声認識装置の構成を図１５に例示する。第４の実施形態と組み合わせて実施する場合に好適な音声認識装置の構成を図１６に例示する。なお、第５の実施形態を第１から第４の実施形態と組み合わせて実施する場合、既に説明した第１から第４の実施形態の説明は、第１認識処理部１０５が用いる音響モデル、および、第２認識処理部１０６、１０７が用いる音響モデルを、モデル切替部１５０１で選択された音響モデルとして読み替えることで、そのまま適用可能である。
【００８０】
以上に示した実施形態によれば、複数のクラスタごとに対応する音響モデルを用いて、複数の認識処理を実行した上で、複数の認識処理の結果を統合して認識結果を出力する手法において、前向き確率の計算回数を削減することにより、認識性能に悪影響を与えずに認識処理にかかる計算コストを効率よく削減することができる。
【００８１】
また、上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の音声認識装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の音声認識装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。  
また、記憶媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。  
さらに、本願発明における記憶媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。  
また、記憶媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本発明における記憶媒体に含まれ、媒体の構成は何れの構成であってもよい。
【００８２】
なお、本願発明におけるコンピュータまたは組み込みシステムは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。  
また、本願発明の実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の実施形態における機能を実現することが可能な機器、装置を総称している。
【００８３】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００８４】
【図１】第１の実施形態の音声認識装置のブロック図。
【図２】ＨＭＭの一例を示す図。
【図３】ＨＭＭの一例を示す図。
【図４】図１の結果統合部の統合結果の有効例を示す図。
【図５】図１の第１認識処理部、第２認識処理部に対応する部での従来の計算手法を示す図。
【図６】図１の第１認識処理部、第２認識処理部での計算手法を示す図。
【図７】図１の第２認識処理部での遷移パス変換手法を示す図。
【図８】図１の音声認識装置の動作の一例を示すフローチャート。
【図９】図１の音声認識装置の動作の一例を示すフローチャート。
【図１０】図１の音声認識装置の動作の一例を示すフローチャート。
【図１１】第２の実施形態での第１認識処理部における遷移パス選択手法を示す図。
【図１２】第３の実施形態での第１認識処理部における遷移パス選択手法を示す図。
【図１３】第４の実施形態の音声認識装置のブロック図。
【図１４】第４の実施形態での遷移パス変換手法を示す図。
【図１５】第５の実施形態の音声認識装置のブロック図。
【図１６】第５の実施形態の音声認識装置の別のブロック図。
【符号の説明】
【００８５】
１０１・・・特徴抽出部、１０２・・・基準音響モデルデータベース、１０３・・・音響モデルＣ１データベース、１０４・・・音響モデルＣ２データベース、１０５・・・第１認識処理部、１０６、１０７・・・第２認識処理部、１０８・・・結果統合部、１３０１・・・遷移パス変換表記憶部、１５０１・・・モデル切替部。
【図１】
2008242299.tif 000003
【図２】
2008242299.tif 000004
【図３】
2008242299.tif 000005
【図４】
2008242299.tif 000006
【図５】
2008242299.tif 000007
【図６】
2008242299.tif 000008
【図７】
2008242299.tif 000009
【図８】
2008242299.tif 000010
【図９】
2008242299.tif 000011
【図１０】
2008242299.tif 000012
【図１１】
2008242299.tif 000013
【図１２】
2008242299.tif 000014
【図１３】
2008242299.tif 000015
【図１４】
2008242299.tif 000016
【図１５】
2008242299.tif 000017
【図１６】
2008242299.tif 000018