(57)【特許請求の範囲】
【請求項１】
隠れマルコフモデルネットワークでなる音響モデルを利用して音声認識を行う音声認識方法において、
音響モデルを構成する隠れマルコフモデルネットワークの任意の状態間の状態遷移の起こりやすさを表す状態遷移制約情報をあらかじめ作成して、格納しておき、
入力音声データに対する認識結果を算出し、
少なくとも上記状態遷移制約情報を用いて入力音声データの棄却判定を行うと共に、
音響モデルを構成する隠れマルコフモデルネットワークの各状態に対して、類似した出力確率分布を有する状態をグループ化するクラスタリングを行って状態クラスタを生成し、
状態クラスタｉから状態クラスタｊへの個々の遷移接続に対する状態遷移確率に、状態クラスタｈから状態クラスタｉへの遷移接続を考慮するための係数を乗じたものの総和ｆ（ｉ，ｊ｜ｈ）（ｉ≠ｊ）と、状態クラスタｉの内部における遷移接続に対する状態遷移確率に上記係数を乗じたものの総和を、状態クラスタｉから他の状態クラスタへの遷移接続の束の個数を割った値を表すｆ（ｉ，ｉ｜ｈ）とを用いて、ｆ（ｉ，ｋ｜ｈ）のｋについての総和に対するｆ（ｉ，ｊ｜ｈ）の割合として、状態クラスタ間の条件付き遷移確率Ｐ（ｉ，ｊ｜ｈ）を定義し、
この状態クラスタ間の条件付き遷移確率Ｐ（ｉ，ｊ｜ｈ）に基づいた値と、音響モデルを構成する隠れマルコフモデルネットワークの各状態が属する状態クラスタの情報とを、上記状態遷移制約情報としている
ことを特徴とする音声認識方法。
【請求項２】
隠れマルコフモデルネットワークでなる音響モデルを利用して音声認識を行う音声認識装置において、
あらかじめ作成された、音響モデルを構成する隠れマルコフモデルネットワークの任意の状態間の状態遷移の起こりやすさを表す状態遷移制約情報を格納している状態遷移制約情報格納手段と、
入力音声データに対する認識結果を算出する認識処理手段と、
少なくとも上記状態遷移制約情報を用いて入力音声データの棄却判定を行うリジェクト判定手段とを有し、
音響モデルを構成する隠れマルコフモデルネットワークの各状態に対して、類似した出力確率分布を有する状態をグループ化するクラスタリングを行って状態クラスタを生成し、
状態クラスタｉから状態クラスタｊへの個々の遷移接続に対する状態遷移確率に、状態クラスタｈから状態クラスタｉへの遷移接続を考慮するための係数を乗じたものの総和ｆ（ｉ，ｊ｜ｈ）（ｉ≠ｊ）と、状態クラスタｉの内部における遷移接続に対する状態遷移確率に上記係数を乗じたものの総和を、状態クラスタｉから他の状態クラスタへの遷移接続の束の個数を割った値を表すｆ（ｉ，ｉ｜ｈ）とを用いて、ｆ（ｉ，ｋ｜ｈ）のｋについての総和に対するｆ（ｉ，ｊ｜ｈ）の割合として、状態クラスタ間の条件付き遷移確率Ｐ（ｉ，ｊ｜ｈ）を定義し、
この状態クラスタ間の条件付き遷移確率Ｐ（ｉ，ｊ｜ｈ）に基づいた値と、音響モデルを構成する隠れマルコフモデルネットワークの各状態が属する状態クラスタの情報とを、上記状態遷移制約情報とし、
上記状態遷移制約情報格納手段が、このようにして作成された上記状態遷移制約情報を格納している
ことを特徴とする音声認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声認識方法及び音声認識装置に関し、特に、ＨＭＭ（隠れマルコフモデル；Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）ネットワークを音声認識に利用しているものに適用して好適なものである。
【０００２】
【従来の技術】
文献１：渡辺他，”音節認識を用いたゆう度補正による未知発話のリジェクション”，電子情報通信学会論文誌，Ｖｏ１．Ｊ７５−Ｄ−II，Ｎｏ．１２（１９９２）
文献２：大河内，”Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅ１に基づいた音声認識”，日本音響学会誌４２巻１２号（１９８６）
音声認識装置では高い認識精度とリアルタイム処理を実現するため、あらかじめ装置が受理できる単語や文法規則等を規定することによって、認識対象を制約して認識処理を行う。しかし、利用者が実際に装置を使用する場合は、認識対象外の発話や言い誤り、言い直しといったことは避けられない。そこで、ある発話に対する認識結果の信頼性が低い場合に発話を棄却するリジェクト機能が必要になる。リジェクト機能を付加するための方法として、従来、上記文献１に開示される方法がある。
【０００３】
この方法では、音声を表現するモデル（一般に、音響モデルとよばれる）として、音素や音節などのサブワード単位のＨＭＭを用いることを前提としている。ＨＭＭを用いた音声認識方法の詳細については、上記文献２に開示されている。サブワードモデルを連結することによって、認識対象として規定された単語や文などの発話内容の仮説に対するモデルを構成し、各仮説に対するモデルが入力音声データを生成する確率（ゆう度）を計算する。最大ゆう度を与えるモデルに対応する仮説を認識結果とする。
【０００４】
これにリジェクト機能を付加するためには、以上のような認識対象を制約して行うゆう度計算（認識処理）の他に、入力音声を任意の音素列あるいは音節列として認識するためのゆう度計算を行う。それぞれのゆう度計算の結果得られた最大ゆう度の差を求め、閾値判定により入力発話のリジェクト判定を行う。
【０００５】
【発明が解決しようとする課題】
しかしながら、以上述べた従来の音声認識方法及び装置におけるリジェクト方法は、以下の問題がある。
【０００６】
（ａ）トライフォンモデル等のコンテキスト依存音素モデルは、音素コンテキストに依存した異音を表現でき、比較的高い認識精度が得られるため音響モデルとしてよく用いられる。しかし、音響モデルとして、トライフォンモデル等のコンテキスト依存音素（あるいは音節）モデルを用いる場合は、リジェクト機能を付加すると、処理量が大幅に増加し、音声認識装置に求められているリアルタイム処理が困難になる恐れがある。
【０００７】
（ｂ）音響モデルとして、音素や音節などのサブワード単位のモデルを用いない場合（例えば、単語や文節などの単位を用いる場合）、上述した従来のリジェクト方法は適用できない。
【０００８】
（ｃ）入力音声を任意の音素列あるいは音節列として認識するので、非言語音や環境音に対して、十分なリジェクト精度を期待することができない。すなわち、認識対象外発話のリジェクト精度は、まだ十分といえるレベルではない。
【０００９】
【課題を解決するための手段】
かかる課題を解決するため、第１の本発明は、隠れマルコフモデルネットワークでなる音響モデルを利用して音声認識を行う音声認識方法において、（１）音響モデルを構成する隠れマルコフモデルネットワークの任意の状態間の状態遷移の起こりやすさを表す状態遷移制約情報をあらかじめ作成して、格納しておき、（２）入力音声データに対する認識結果を算出し、（３）少なくとも上記状態遷移制約情報を用いて入力音声データの棄却判定を行うと共に、（４）音響モデルを構成する隠れマルコフモデルネットワークの各状態に対して、類似した出力確率分布を有する状態をグループ化するクラスタリングを行って状態クラスタを生成し、状態クラスタｉから状態クラスタｊへの個々の遷移接続に対する状態遷移確率に、状態クラスタｈから状態クラスタｉへの遷移接続を考慮するための係数を乗じたものの総和ｆ（ｉ，ｊ｜ｈ）（ｉ≠ｊ）と、状態クラスタｉの内部における遷移接続に対する状態遷移確率に上記係数を乗じたものの総和を、状態クラスタｉから他の状態クラスタへの遷移接続の束の個数を割った値を表すｆ（ｉ，ｉ｜ｈ）とを用いて、ｆ（ｉ，ｋ｜ｈ）のｋについての総和に対するｆ（ｉ，ｊ｜ｈ）の割合として、状態クラスタ間の条件付き遷移確率Ｐ（ｉ，ｊ｜ｈ）を定義し、この状態クラスタ間の条件付き遷移確率Ｐ（ｉ，ｊ｜ｈ）に基づいた値と、音響モデルを構成する隠れマルコフモデルネットワークの各状態が属する状態クラスタの情報とを、上記状態遷移制約情報としていることを特徴とする。
【００１０】
また、第２の本発明は、隠れマルコフモデルネットワークでなる音響モデルを利用して音声認識を行う音声認識装置において、（１）あらかじめ作成された、音響モデルを構成する隠れマルコフモデルネットワークの任意の状態間の状態遷移の起こりやすさを表す状態遷移制約情報を格納している状態遷移制約情報格納手段と、（２）入力音声データに対する認識結果を算出する認識処理手段と、（３）少なくとも上記状態遷移制約情報を用いて入力音声データの棄却判定を行うリジェクト判定手段を有し、（４）音響モデルを構成する隠れマルコフモデルネットワークの各状態に対して、類似した出力確率分布を有する状態をグループ化するクラスタリングを行って状態クラスタを生成し、状態クラスタｉから状態クラスタｊへの個々の遷移接続に対する状態遷移確率に、状態クラスタｈから状態クラスタｉへの遷移接続を考慮するための係数を乗じたものの総和ｆ（ｉ，ｊ｜ｈ）（ｉ≠ｊ）と、状態クラスタｉの内部における遷移接続に対する状態遷移確率に上記係数を乗じたものの総和を、状態クラスタｉから他の状態クラスタへの遷移接続の束の個数を割った値を表すｆ（ｉ，ｉ｜ｈ）とを用いて、ｆ（ｉ，ｋ｜ｈ）のｋについての総和に対するｆ（ｉ，ｊ｜ｈ）の割合として、状態クラスタ間の条件付き遷移確率Ｐ（ｉ，ｊ｜ｈ）を定義し、この状態クラスタ間の条件付き遷移確率Ｐ（ｉ，ｊ｜ｈ）に基づいた値と、音響モデルを構成する隠れマルコフモデルネットワークの各状態が属する状態クラスタの情報とを、上記状態遷移制約情報とし、（５）上記状態遷移制約情報格納手段が、このようにして作成された上記状態遷移制約情報を格納していることを特徴とする。
【００１１】
【発明の実施の形態】
（Ａ）第１の実施形態
以下、本発明による音声認識方法及び装置の第１の実施形態を図面を参照しながら詳述する。
【００１２】
ここで、図１は、この第１の実施形態の音声認識装置の全体構成を示すブロック図である。
【００１３】
まず、この第１の実施形態の音声認識装置の全体構成をその概略動作と共に説明する。
【００１４】
図１において、第１の実施形態の音声認識装置は、音声分析部１０、音響モデル（格納部）１１、言語モデル（格納部）１２、認識処理部１３、参照ゆう度算出部１４、参照テーブル１５及びリジェクト判定部１６からなっている。
【００１５】
入力音声データＤ１０は、マイクロフォンなどから入力された音声信号（アナログ信号）をディジタル信号に変換した信号である。音声分析部１０において、入力音声データＤ１０は音響特徴パラメータ時系列Ｄ１１に変換され、認識処理部１３に入力される。認識処理部１３では、音響モデル１１及び言語モデル１２を用いて、入力音声データＤ１０に対する認識結果候補Ｄ１２及び認識ゆう度Ｄ１３を求め、リジェクト判定部１６に出力する。また、参照ゆう度算出部１４では、認識処理部１３で算出された局所ゆう度Ｄ１４と、参照テーブル１５に格納されている状態遷移制約情報Ｄ１５とを用いて、参照ゆう度Ｄ１６を算出する。リジェクト判定部１６では、認識ゆう度Ｄ１３と参照ゆう度Ｄ１６を用いてリジェクト判定を行い、認識結果（場合によってはリジェクトという認識結果）Ｄ１７を出力する。
【００１６】
次に、図１に示した音声認識装置を構成している各部の機能及び動作について、詳細に説明する。
【００１７】
（Ａ−１）音声分析部１０
音声分析部１０は、ＬＰＣ（Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｖｅ  Ｃｏｄｉｎｇ）分析等の分析手法を用いて、入力音声データＤ１０を数ｍｓ〜数十ｍｓ程度の短時間周期（以後、フレームと呼ぶ）毎に音響特徴パラメータに変換する。ここで、音響特徴パラメータとは、音声データのスペクトル包絡情報を表現するパラメータであり、例えば、ケプストラム（対数スペクトルを逆フーリエ変換した量）やその時間変化量などである。フレーム単位に得られる音響特徴パラメータを音響特徴パラメータ時系列Ｄ１１とする。
【００１８】
（Ａ−２）音響モデル１１
音響モデル１１は、音声を表現するＨＭＭの集合である。この第１の実施形態では、音響モデル１１の言語的な単位として、音声の任意の構成要素（音素、音節、単語、文節など）を採用することが可能である。また、音素や音節などのサブワードを単語として採用した場合、コンテキスト独立／依存のどちらのモデルでも使用することができる。つまり、リジェクト機能を付加するために使用する音響モデルが制限されることはない。
【００１９】
以下の第１の実施形態の説明においては、例として、トライフォンモデルを使用する場合について説明する。トライフォンモデルは、コンテキスト依存音素モデルで、各々の音素に対して、前後の音素コンテスト別に異なるモデルを用意するものである。
【００２０】
（Ａ−３）言語モデル１２
言語モデル１２は、音声認識装置が受理可能な単語や文法規則
（構成）等を規定して、認識対象を制約するモデルである。例えば、図２に示すように、有限状態オートマトンを用いて、受理可能な単語系列を構文ネットワークの形で記述したものである。
【００２１】
（Ａ−４）認識処理部１３
認識処理部１３は、音声が音声認識装置に入力される（認識処理を開始する）以前に、音響モデル１１及び言語モデル１２を用いて受理可能な発話内容の仮説を表現するＨＭＭネットワークをあらかじめ構成しておく。
【００２２】
ここで、ＨＭＭネットワークとは、単語の音素表記や文法規則等の制約に従ってトライフォンモデルを連結して作成する文字通りＨＭＭのネットワークである。例えば、図２に示したような構文ネットワークにおいて、単語の部分を、トライフォンモデルの連結によって作成した単語モデル（ＨＭＭ）に置き換えたものである。このようなネットワークを構成することによって認識処理を効率化することができる。各々の発話内容に仮説に対応するモデルは、ＨＭＭネットワークの一部として表現される。
【００２３】
認識処理部１３は、装置に発話が入力されると、ＨＭＭネットワークを用いて対応するモデルが音響特徴パラメータ時系列Ｄ１１を生成する確率（ゆう度）を計算する。認識処理部１３は、ＨＭＭネットワーク中で最大ゆう度を与える仮説を探索し、その仮説を認識結果候補Ｄ１２とし、また、このときの最大ゆう度を対数化した最大対数ゆう度を、認識ゆう度Ｄ１３とする。
【００２４】
ここで、認識処理部１３は、各仮説に対するゆう度計算は、音響特徴パラメータ時系列Ｄ１１のフレームに同期して並列に行う。認識処理部１３は、各フレームについては、ＨＭＭネットワークの各状態に対する出力確率分布計算（当該フレームの音響特徴パラメータを出力する確率の計算）を行い、これを対数化して局所ゆう度１４とする。
【００２５】
認識処理部１３は、認識ゆう度Ｄ１３を、局所ゆう度Ｄ１４とＨＭＭネットワークの状態遷移確率を用いて、前述した文献２に開示されるビタビ（Ｖｉｔｅｒｂｉ）アルゴリズム等の手段により算出する。
【００２６】
（Ａ−５）参照テーブル１５
参照テーブル１５は、参照ゆう度算出部１４で用いる状態遷移制約情報Ｄ１５を格納しているテーブルである。状態遷移制約情報Ｄ１５は、あらかじめ音響モデル１１を用いて作成される。図示しない参照テーブル作成部が行う状態遷移制約情報Ｄ１５の作成方法は、以下の通りである。
【００２７】
［ｓｔｅｐ１］
参照テーブル作成部は、まず、音響モデル１１を構成する全てのトライフォンモデルを用いて、ＨＭＭネットワークの状態に対するクラスタリングを行う。
【００２８】
クラスタリングにより生成される各クラスタを、以後、状態クラスタと呼ぶ。クラスタリングにおける距離尺度は、各状態を表現するパラメータを用いて定義する。例えば、各状態の出力確率分布が多次元正規分布で表されている場合には、多次元正規分布の平均ベクトル（あるいは、さらに分散ベクトルを付加したベクトル）を用いて、例えば、以下のように定義すればよい。
【００２９】
２つの平均ベクトル（あるいは、さらに分散ベクトルを付加したベクトル）
ｘ＝［ａ１，ａ２，…，ａｎ］
ｙ＝［ｂ１，ｂ２，…，ｂｎ］
に対する、距離尺度Ｄを、
Ｄ＝（ａ１−ｂ１）2 ＋（ａ２−ｂ２）2 ＋…＋（ａｎ−ｂｎ）2 
で定義する。
【００３０】
クラスタリング方法には、ＬＢＧアルゴリズム等の一般的なクラスタリングアルゴリズムを用いることができるが、ここでは、より簡易な方法を、一例として以下に示す。
【００３１】
Ｍ個のサンプル集合Ｘ＝｛ｘ１，ｘ２，・・・，ｘＭ｝をクラスタリングする場合を考える。また、閾値Ｔｈが与えられているとする。
【００３２】
まず、任意に１個のサンプル、例えばｘ１を取り出し、これをクラスタ中心ｚ１（＝ｘ１）とする。
【００３３】
次に、他のサンプルｘｋ（ｋ＝２，…，Ｍ）を取り出し、既に定められたクラスタ中心ｚ１と今回取り出したサンプルｘｋとの距離Ｄ１ｋを計算する。そして、Ｄ１ｋ≦Ｔｈであれば、サンプルｘｋはクラスタ中心ｚ１を中心とするクラスタに属すると判定する。一方、Ｄ１ｋ＞Ｔｈであれば、サンプルｘｋを新たなクラスタ中心ｚ２とする。
【００３４】
また次に、残りのサンプルｘｋの１個を取り出し、既に定められたクラスタ中心ｚ１，ｚ２との距離Ｄ１ｋ，Ｄ２ｋを計算して、距離Ｄ１ｋ，Ｄ２ｋのいずれかが閾値Ｔｈより小さければ、今回取り出したサンプルｘｋはそのクラスタに属するものとし、そうでなければ、今回取り出したサンプルｘｋを新たなクラスタ中心ｚ３とする。
【００３５】
以上の操作を全てのサンプル｛ｘ１，ｘ２，・・・，ｘＭ｝に対して行うことによって、クラスタリングを終了する。ここで、閾値Ｔｈの値は、例えば実験的に決定する。
【００３６】
［ｓｔｅｐ２］
図示しない参照テーブル作成部は、次に、状態クラスタ間の遷移確率を算出する。状態クラスタ間の遷移確率の算出は、例えば、以下のように行う。
【００３７】
まず、状態クラスタ間の遷移確率を定義する。それぞれの状態クラスタに属する各状態は、トライフォンモデル上では他の状態に接続させている。例えば、図３に示すように、状態Ｓ1 は状態Ｓ2 に、状態Ｓ2 は状態Ｓ3 にそれぞれ接続されている。また、トライフォンモデルの終端状態Ｓ3 は、次に続き得るトライフォンモデルの始端状態Ｓ4 ，Ｓ5 ，Ｓ6 に接続されている。一般に、あるトライフォンモデルに対して、次に続き得るトライフォンモデルは複数存在するので、トライフォンモデルの終端状態は複数に接続されている。状態の接続関係には向き（図３では矢印）はあり、向きは一方の状態から他方の状態への遷移方向を表している。このときの遷移の起こりやすさとして、状態遷移確率が付与されている。また、各状態には自己ループ遷移を表す接続も存在する。このようなトライフォンモデル上での状態の遷移接続を、状態クラスタに属する各状態に対して適用する。そうすると、任意の状態クラスタ間に、構成要素の状態が作る遷移接続の束ができる。図４はこの様子を示した例である。図４において、状態クラスタ１に属する状態Ｓ1 は、状態クラスタ2 に属する状態Ｓ２に接続されており、トライフォンモデルにおいて、状態Ｓ1 から状態Ｓ2 への遷移接続（状態遷移確率ａ12）が存在することを意味する。図４では状態クラスタ１に属する状態から、他の状態クラスタに属する状態への遷移接続だけを示した（一部、状態クラスタ１の内部における遷移接続も示した）。状態クラスタ間で同一の遷移方向を持つ遷移接続を束ねたものが”遷移接続の束”である。
【００３８】
この遷移接続の束を用いて状態クラスタ間の遷移確率を、次の（１）式〜（３）式により定義する。
【００３９】
【数１】
0003644797.tif 000002
Ｐij：状態クラスタｈから状態クラスタｉへの遷移確率
Ｎ：状態クラスタの総数
Ｍ：状態の総数
ａuv：状態Ｓu から状態Ｓv への状態遷移確率
ａuu：状態Ｓu の自己ループ遷移確率
ｒi ：ともに状態クラスタｉに属する異なる状態間における遷移接続の個数（自己ループ遷移接続は対象外）
ｚi ：状態クラスタｉから他の状態クラスタへの”遷移接続の束”の個数
ｑu ：ある状態クラスタに属する状態Ｓu から他の状態クラスタに属する状態への遷移接続の個数
上式において、ｆij（ｉ≠ｊ）は、状態クラスタｉから状態クラスタｊへの遷移接続の束に対する状態遷移確率の総和を表している。ただし、遷移接続が存在しない状態クラスタ間においてはｆij＝０である。また、ｆiiは、状態クラスタｉの内部における遷移接続に対する状態遷移確率の総和を、状態クラスタｉから他の状態クラスタへの”遷移接続の束”の個数で割った値を表している。
【００４０】
以上、説明した定義式を用いて状態クラスタ間の遷移確率Ｐijを算出する。算出した状態クラスタ間の遷移確率Ｐｉｊは、対数化して重み係数（定数）Ｗを乗じる。重み係数Ｗについては、後述する参照ゆう度算出部１４の説明において説明する。このようにして得られた値Ｗ・ｌｏｇ  Ｐijに、トライフォンモデルの各状態がどの状態クラスタに属するかを示すヘッダ情報を付加して状態遷移制約情報Ｄ１５とする。
【００４１】
（Ａ−６）参照ゆう度算出部１４
参照ゆう度算出部１４では、下記の（４）式、（５）式に従って参照ゆう度Ｄ１６（＝ＬG ）を算出する。
【００４２】
【数２】
0003644797.tif 000003
ＬG ：参照ゆう度Ｄ１６
Ｔ：フレーム総数
Ｗ：状態遷移制約情報に対する重み係数
ｖ：任意の状態番号
Ｐij：状態クラスタｈから状態クラスタｉへの遷移確率
ｉ，ｊ：任意の状態クラスタ番号
Ｖt ：認識処理部１３において、フレーム番号ｔに出力確率分布計算を行う状態全体の集合
ｂv （Ｘt ）：状態ｖにおける音響特徴パラメータＸt の出力確率（密度）
Ｘt ：フレーム番号ｔにおける音響特徴パラメータ
ＩＮＨ：状態クラスタ間の遷移確率を対数化した値の下限値
この参照ゆう度Ｄ１６（＝ＬG ）の計算に必要なｌｏｇ  ｂv （Ｘt ）は認識処理部１３から参照ゆう度算出部１３に局所ゆう度Ｄ１４として与えられ、また、Ｗ・ｌｏｇ  ｃ（ｓ（ｔ−１），ｖ）は参照テーブル１５から参照ゆう度算出部１３に状態遷移制約情報Ｄ１５として与えられる。このような情報が与えられているため、参照ゆう度算出部１４で行う演算は、（４）式及び（５）式から明らかなように、加算と大小比較（（５）式における最大値探索の場合には大小比較を行う）のみである。
【００４３】
（４）式で求まる参照ゆう度ＬG は、任意の発話を表現するモデルに対する累積対数ゆう度を表している。また、参照ゆう度ＬG を決定する各要素Ｌg （ｔ）は、任意の発話内容を表現するモデルに対する各フレームにおける局所的な対数ゆう度を表している。
【００４４】
次に、Ｌg （ｔ）を定義する（５）式におけるｌｏｇ  ｃ（ｓ（ｔ−１），ｖ）の働きについて説明する。ｓ（ｔ−１）は、フレーム番号（ｔ−１）において、（５）式における最大値を与える状態番号である。ｌｏｇ  ｃ（ｓ（ｔ−１），ｖ）は、状態番号ｓ（ｔ−１）が何であるのかによって、次フレーム番号ｔにおいて、（５）式における最大値を与える状態番号ｓ（ｔ）の候補を制約する。すなわち、状態番号ｓ（ｔ−１）の状態から状態番号ｖの状態への遷移の起こりやすさを、制約として用いている。この状態遷移制約によって、トライフォンモデルが有する音声の時間構造を考慮した参照ゆう度の算出を可能にしている。
【００４５】
また、（５）式において状態遷移制約情報に対する重み係数Ｗは、ｌｏｇ  ｃ（ｓ（ｔ−１），ｖ）とｌｏｇ  ｂv （Ｘt ）のＬg （ｔ）に寄与する割合を調節するためのパラメータ（定数）であり、ｃ（ｓ（ｔ−１），ｖ）が０のときに、その対数値として置き換えられる定数ＩＮＨは、状態クラスタ間の遷移確率を対数化した値の下限値を設定するためのパラメータ（定数）である。これらの値はともに、例えば、実験的に決定される。定数ＩＮＨは、状態クラスタ別に異なる値を設定することも可能である。
【００４６】
（Ａ−７）リジェクト判定部１６
リジェクト判定部１６は、次の（６）式により、認識ゆう度ＬR と参照ゆう度ＬG との差をフレーム総数で正規化した値ＬM を求め、この値ＬM を閾値θと比較して入力音声データＤ１０のリジェクト判定を行う。なお、（６）式における認識ゆう度ＬR （＝Ｄ１３）は、認識処理部１３から与えられ、参照ゆう度ＬG （＝Ｄ１６）は、参照ゆう度算出部１４から与えられる。
【００４７】
【数３】
0003644797.tif 000004
ＬR ：認識ゆう度Ｄ１３
ＬG ：参照ゆう度Ｄ１６
Ｔ：フレーム総数
θ：リジェクト判定の閾値
（６）式において、リジェクト判定の閾値θは、例えば実験的に決定される。閾値θの値によって、入力が認識対象である場合の認識率と、認識対象外である場合のリジェクト率が変化する。一般に、両者にはトレードオフの関係にあるので、所望の性能に合わせて閾値θの値を決定する。
【００４８】
リジェクト判定部１６は、値ＬM が閾値θより大きければ、入力がリジェクトされたことを表す情報を認識結果Ｄ１７として出力し、一方、値ＬM が閾値θ以下であれば、認識処理部１３から与えられた認識結果候補Ｄ１２を認識結果Ｄ１７として出力する。
【００４９】
以上のように、第１の実施形態の音声認識方法及び装置によれば、入力発話のジェクト判定に用いる参照ゆう度Ｄ１６を、認識ゆう度Ｄ１３の算出過程で得られる局所ゆう度Ｄ１４と、あらかじめ作成した状態遷移制約情報Ｄ１５とに基づいて算出しているので、参照ゆう度Ｄ１６の算出に要する演算は加算と大小比較だけになり、リジェクト機能の付加による処理量の増加をきわめて小さくすることができる。
【００５０】
また、第１の実施形態の音声認識方法及び装置によれば、参照ゆう度Ｄ１６を、音響モデル１１が有する音声の時間構造を考慮しつつ、種々の音響的事象に対処可能な定式化を行って算出しているため、音素あるいは音節認識を用いる方法（従来法）と同等のリジェクト精度を得ることができる。
【００５１】
すなわち、認識対象外の発話（認識対象語以外の語、あるいは文法外の発話）が装置に入力された場合に、認識のための処理量をほとんど増加されることなく、効果的に入力を棄却することが可能になる。また、せき、くしゃみなどの非言語音、あるいはベルなどの環境音が入力された場合には、音素あるいは音節認識を用いる方法よりも高いリジェクト精度を期待することができる。
【００５２】
上述した効果の特徴を整理すると、以下の通りである。
【００５３】
（ａ）音響モデルとして、音素や音節などのサブワードに対するコンテキスト依存モデルを用いても、リジェクト機能の付加による処理量の増加はほどんどない。
【００５４】
（ｂ）音響モデルとして、いかなる言語的単位（音素、音節、単語、文節など）のモデルを用いても、リジェクト機能を付加することが可能である。
【００５５】
（ｃ）認識対象外発話の入力に対して音素あるいは音節認識を用いる方法（従来法）と同等のリジェクト精度を得ることができる。また、非言語音や環境音の入力に対しては従来法より高いリジェクト精度を得ることができる。
【００５６】
（Ｂ）第２の実施形態
次に、本発明による音声認識方法及び装置の第２の実施形態を図面を参照しながら詳述する。
【００５７】
ここで、この第２の実施形態の音声認識装置の全体構成をブロック図で示すと、第１の実施形態と同様に図１で表され、以下の説明においては、図１での符号を用いて行う。また、全体としての概略動作も、第１の実施形態と同様である。すなわち、音声分析部１０において、入力音声データＤ１０は音響特徴パラメータ時系列Ｄ１１に変換され、認識処理部１３に入力され、認識処理部１３において、音響モデル１１及び言語モデル１２を用いて、入力音声データＤ１０に対する認識結果候補Ｄ１２及び認識ゆう度Ｄ１３が求められ、リジェクト判定部１６に出力される。一方、参照ゆう度算出部１４において、認識処理部１３で算出された局所ゆう度Ｄ１４と、参照テーブル１５に格納されている状態遷移制約情報Ｄ１５とを用いて、参照ゆう度Ｄ１６が算出されてリジェクト判定部１６に与えられ、リジェクト判定部１６において、認識ゆう度Ｄ１３と参照ゆう度Ｄ１６を用いてリジェクト判定を行い、認識結果（場合によってはリジェクトという認識結果）Ｄ１７が出力される。
【００５８】
しかしながら、第２の実施形態においては、参照テーブル１５に格納されている状態遷移制約情報Ｄ１５が、第１の実施形態のものと異なっている。これに関連して、参照ゆう度算出部１４における参照ゆう度Ｄ１６の算出方法が、第１の実施形態とは異なっている。
【００５９】
そこで、第２の実施形態については、参照テーブル１５及び参照ゆう度算出部１４についてのみ、詳細な機能、動作説明を行い、第１の実施形態と同様な機能、動作を行う音声分析部１０、音響モデル（格納部）１１、言語モデル（格納部）１２、認識処理部１３及びリジェクト判定部１６については、詳細な機能、動作説明は省略する。
【００６０】
（Ｂ−１）参照テーブル１５
参照テーブル１５は、参照ゆう度算出部１４で用いる状態遷移制約情報Ｄ１５を格納しているテーブルであり、図示しない参照テーブル作成部が、あらかじめ音響モデル１１を用いて作成した状態遷移制約情報Ｄ１５を格納している点は、第１の実施形態と同様である。
【００６１】
しかし、図示しない参照テーブル作成部が行う状態遷移制約情報Ｄ１５の作成方法が、第１の実施形態と異なっており、以下、第２の実施形態における作成方法を説明する。
【００６２】
［ｓｔｅｐ１］
音響モデル１１を構成するすべてのトライフォンモデルを用いて、ＨＭＭの状態に対するクラスタリングを行う。このｓｔｅｐ１の処理は、第１の実施形態と同様である。
【００６３】
［ｓｔｅｐ２］
ＨＭＭネットワークの状態に対するクラスタリングが終了すると、状態クラスタ間の遷移確率を、以下のようにして算出する。クラスタリングによって得られた状態クラスタ間の遷移接続の様子は、上述した第１の実施形態の説明で用いた図４で表すことができる。しかし、後述する処理のイメージが理解しやすいように、ここでは、図５も併せて示しておく。
【００６４】
この第２の実施形態においては、図５及び図４に示すような状態クラスタ間の遷移接続に基づいて、次の（７）式〜（９）式に示す定義式に従い、状態クラスタ間の遷移確率を定義する。
【００６５】
【数４】
0003644797.tif 000005
Ｐ（ｉ，ｊ｜ｈ）：状態クラスタｈから状態クラスタｉへの遷移が起こったという条件の下で、状態クラスタｉから状態クラスタｊへの遷移が起こる条件付き確率
Ａ（ｈ）：状態クラスタｈに属する状態に対する遷移接続先の状態全体の集合
ａ（ｕ，ｖ）：状態Ｓu から状態Ｓv への状態遷移確率
ａ（ｕ，ｕ）：状態Ｓu の自己ループ遷移確率
ｑ（ｕ）：ある状態クラスタに属する状態Ｓu から、他の状態クラスタに属する状態への遷移接続の個数
ｅ（ｕ）：ある状態クラスタに属する状態Ｓu から、同一の状態クラスタに属する他の状態への遷移接続の個数
ｚ（ｉ）：状態クラスタｉに属する状態に対する遷移接続先の状態を要素とする状態クラスタの個数
Ｎ：状態クラスタの総数
Ｍ：状態の総数
ただし、ｉ≠ｈを満足する状態クラスタ番号ｈが存在しない場合には、（７）式における条件付き確率Ｐ（ｉ，ｊ｜ｈ）として、状態クラスタ間の遷移確率Ｐ（ｉ，ｊ）そのものを適用する。状態クラスタ間の遷移確率Ｐ（ｉ，ｊ）については、（１０）式〜（１２）式で定義する。
【００６６】
【数５】
0003644797.tif 000006
状態クラスタ間の条件付き遷移確率Ｐ（ｉ，ｊ｜ｈ）は、例えば、図５に示すように、状態クラスタｈから状態クラスタｉへの遷移が起こったという条件の下で、その後、状態クラスタｉから状態クラスタｊへの遷移が起こる条件付き確率を表している。ただし、状態クラスタｈから状態クラスタｉへの遷移と、状態クラスタｉから状態クラスタｊへの遷移は、必ずしも隣接するフレームで起こらなくてもよいものとして定式化している。
【００６７】
上式において、ｆ（ｉ、ｊ｜ｈ）（ｉ≠ｊ）は、状態クラスタｉから状態クラスタｊへの個々の遷移接続に対する状態遷移確率に、状態クラスタｈから状態クラスタｉへの遷移接続を考慮するための係数ｗ（ｕ）を乗じたものの総和を表している。係数ｗ（ｕ）の定数パラメータβは、Ｐ（ｉ，ｊ｜ｈ）に対する状態クラスタｈから状態クラスタｉへの遷移接続が与える影響を制御するためパラメータであり、値は例えば実験的に決定される。また、ｆ（ｉ，ｉ｜ｈ）は、状態クラスタｉの内部における遷移接続に対する状態遷移確率に係数ｗ（ｕ）を乗じたものの総和を、状態クラスタｉから他の状態クラスタへの”遷移接続の束”の個数で割った値を表している。ｆ（ｉ，ｋ｜ｈ）のｋについての総和に対するｆ（ｉ，ｊ｜ｈ）の割合として、状態クラスタ間の条件付き遷移確率Ｐ（ｉ，ｊ｜ｈ）を定義している。
【００６８】
以上、説明した定義式を用いて状態クラスタ間の条件付き遷移確率Ｐ（ｉ，ｊ｜ｈ）を算出する。算出した状態クラスタ間の条件付き遷移確率Ｐ（ｉ，ｊ｜ｈ）は、対数化して重み係数（定数）Ｗを乗じる。重み係数Ｗについては後述する参照ゆう度算出部１４の説明で説明する。
【００６９】
このようにして得られたＷ・ｌｏｇＰ（ｉ，ｊ｜ｈ）に、トライフォンモデルの各状態がどの状態クラスタに属するかを示すヘッダ情報を付加して状態遷移制約情報Ｄ１５として参照ゆう度算出部１４に与える。
【００７０】
（Ｂ−２）参照ゆう度算出部１４
参照ゆう度算出部１４では、次の（１３）式、（１４）式に従って、参照ゆう度Ｄ１６を算出する。上述したように、参照ゆう度Ｄ１６（＝ＬG ）の算出に必要なｌｏｇ  ｂV （Ｘt ）は認識処理部１３より局所ゆう度Ｄ１４として与えられ、また、Ｗ・ｌｏｇ  ｃ（ｕ，ｖ）は参照テーブル１５より状態遷移制約情報Ｄ１５として与えられる。
【００７１】
【数６】
0003644797.tif 000007
ＬG ：参照ゆう度Ｄ１６
Ｔ：フレーム総数
Ｗ：状態遷移制約情報に対する重み係数
ｕ：フレーム番号（ｔ−１）において、（１４）式の右辺の最大値を与える状態番号
ｖ：任意の状態番号
Ｖt ：認識処理部１３において、フレーム番号ｔに出力確率分布計算を行う状態全体の集合
ｈ：以下の条件（１）〜（３）を満足する状態クラスタ番号
条件（１）；フレーム番号ｔ* ＜（ｔ−２）において、（１４）式の右辺の最大値を与える状態が属する状態クラスタである
条件（２）；状態番号ｕの状態が属する状態クラスタｉ以外である
条件（３）；上記条件（１）及び（２）を満足する状態クラスタの内、最大のフレーム番号ｔ* に対する状態クラスタである
Ｐ（ｉ，ｊ｜ｈ）：状態クラスタｈから状態クラスタｉへの遷移が起こったという条件の下で、状態クラスタｉから状態クラスタｊへの遷移が起こる条件付き遷移確率
ｉ，ｊ：任意の状態クラスタ番号
ｂv （ＸT ）：状態ｖにおける音響特徴パラメータＸt の出力確率（密度）
Ｘt ：フレーム番号ｔにおける音響特徴パラメータ
ＩＮＨ：状態クラスタ間の遷移確率を対数化した値の下限値
（１３）式及び（１４）式から明らかなように、参照ゆう度算出部１４で行う参照ゆう度Ｄ１６の算出演算は、加算と大小比較のみである。また、この第２の実施形態においても、（１４）式において、状態遷移制約情報に対する重み係数Ｗは、ｌｏｇ  ｃ（ｕ，ｖ）とｌｏｇ  ｂv （Ｘt ）のＬg （ｔ）に寄与する割合を調節するためのパラメータ（定数）であり、定数ＩＮＨは状態クラスタ間の遷移確率を対数化した値の下限値を設定するためのパラメータ（定数）であり、ともに、その値は例えば実験的に決定される。定数ＩＮＨは状態クラスタ別に異なる値を設定することも可能である。
【００７２】
また、この第２の実施形態においても、参照ゆう度ＬG は、任意の発話を表現するモデルに対する累積対数ゆう度を表し、この構成要素である参照局所ゆう度Ｌg （ｔ）は、任意の発話内容を表現するモデルに対する各フレームにおける局所的な対数ゆう度を表す。
【００７３】
さらに、参照局所ゆう度Ｌg （ｔ）を定義する（１４）式におけるｌｏｇ  ｃ（ｕ，ｖ）の基本的な働きも、第１の実施形態とほぼ同様であるが、状態クラスタ間の遷移確率の定義式が異なるため、音声の時間構造をより精緻に考慮することを可能にしている。すなわち、フレーム番号（ｔ−１）において、（１４）式の右辺の最大値を与える状態番号をｕとすると、ｌｏｇ  ｃ（ｕ，ｖ）は状態番号ｕが何であるのかによって、さらに、フレーム番号（ｔ−１）以前に、（１４）式の右辺の最大値を与える状態番号の履歴によって、次フレーム番号ｔにおいて（１４）式の右辺の最大値を与えた状態番号の候補を制約する。状態番号ｕの状態から状態番号ｖの遷移の起こりやすさが、それ以前の履歴によって変化し、これが最大値選択における制約として働く。このような状態遷移制約によって、トライフォンモデルが有する音声の時間構造を、数フレーム間にわたる確率的構造として考慮した参照ゆう度ＬG （Ｄ１６）の算出を可能にしている。
【００７４】
以上のように、参照ゆう度ＬG （Ｄ１６）の算出方法は、第１の実施形態と僅かに異なっているが、この参照ゆう度Ｄ１６を用いたリジェクト判定の方法は、第１の実施形態と同様である。
【００７５】
この第２の実施形態によっても、入力発話のリジェクト判定に用いる参照ゆう度Ｄ１６を、認識ゆう度Ｄ１３の算出過程で得られる局所ゆう度Ｄ１４と、あらかじめ作成した状態遷移制約情報Ｄ１５に基づいて算出してリジェクト判定を行っているので、第１の実施形態とほぼ同様な効果を奏することができ、詳細には、以下の点が効果上異なっている。
【００７６】
ここで、第２の実施形態によれば、音響モデル１１が有する音声の時間構造を、数フレーム間にわたる確率的構造（過去の履歴に対する条件付き確率）として考慮しつつ、種々の音響的事象に対処可能な定式化を行って参照ゆう度Ｄ１６を算出しているため、認識対象外の発話に対して、より高いリジェクト精度を期待することができ、音素あるいは音節認識を用いる方法（従来法）と同等あるいはそれを越えるリジェクト精度を得ることができる。
【００７７】
（Ｃ）他の実施形態
上記各実施形態においては、リジェクト判定部１６からリジェクト判定の場合には、その旨の情報だけを認識結果として出力するものを示したが、認識処理部１３からの認識結果候補Ｄ１２も併せて出力するようなものであっても良い。また、リジェクト判定に用いる閾値も複数段階にし、リジェクト判定結果も複数の段階で特定するようにしても良い。さらに、リジェクト判定に用いる値に、認識ゆう度と参照ゆう度との比を適用するようにしても良い。
【００７８】
また、参照テーブル１５に格納する参照テーブル作成部は、同一の装置内に設けられていても良く、また、外部装置上に構成されているものであっても良い。なお、音響モデル１１を更新、変更できる音声認識装置であれば、参照テーブル作成部を内蔵することを要する。
【００７９】
【発明の効果】
以上のように、本発明の音声認識方法及び装置によれば、入力発話のリジェクト判定に用いる参照ゆう度を、認識ゆう度の算出過程でフレーム単位に得られる個々の状態に対する局所ゆう度と、先行フレームで選択された状態と現フレームの個々の状態との間の状態の遷移の起こりやすさを表すあらかじめ作成した状態遷移制約情報から抽出した状態遷移制約情報とに基づいて算出しているので、参照ゆう度の算出に要する演算は加算と大小比較だけになり、リジェクト機能の付加による処理量の増加をきわめて小さくすることができる。
【００８０】
また、本発明の音声認識方法及び装置によれば、参照ゆう度を、音響モデルが有する音声の時間構造を考慮しつつ、種々の音響的事象に対処可能な定式化を行って算出しているため、音素あるいは音節認識を用いる方法（従来法）と同等あるいはそれを越えるのリジェクト精度を得ることができる。
【図面の簡単な説明】
【図１】第１の実施形態の全体構成を示すブロック図である。
【図２】第１の実施形態の言語モデルの構成例を示す説明図である。
【図３】第１の実施形態の音響モデル（トライフォンモデル）の構成例を示す説明図である。
【図４】第１の実施形態の状態遷移制約情報の作成方法の説明に用いた状態クラスタ間の遷移接続を示す図面である。
【図５】第２の実施形態の状態遷移制約情報の作成方法の説明に用いた状態クラスタ間の遷移接続を示す図面である。
【符号の説明】
１０…音声分析部、１１…音響モデル、１２…言語モデル、１３…認識処理部、１４…参照ゆう度算出部、１５…参照テーブル（状態遷移制約情報格納手段）、リジェクト判定部。
【図１】
0003644797.tif 000008
【図２】
0003644797.tif 000009
【図３】
0003644797.tif 000010
【図４】
0003644797.tif 000011
【図５】
0003644797.tif 000012