(57)【要約】【課題】  仮に大きなＫを用いたとしても重み付有限状態トランスデユーサを作成することができるようにする。【解決手段】  音声認識装置に内蔵される認識部に入力される音声認識に必要な情報を生成する重み付有限状態トランスデユーサＷＦＳＴの変換情報Nは、    Ｎ＝ｏｐｔ（ｏｐｔＨＣ＊ｏｐｔ（Ｌ＊Ｇ））によって実現されること。状態番号系列から状態遷移過程を記述するに際し番号上記状態番号系列が同じ場合は一つの状態遷移過程を記述し、二つの状態遷移過程にて受理するカテゴリの一部に重複する音素列が存在する時はこの二つの状態遷移過程を接続して音素環境を除いた音素系列を得る工程を有すること。【選択図】  図１
2006084942.tif 000002
【特許請求の範囲】
【請求項１】
音声認識装置に内蔵される認識部に入力される音声認識に必要な情報を生成する重み付有限状態トランスデユーサの変換情報Nは、
Ｎ＝ｏｐｔ（ｏｐｔＨＣ＊ｏｐｔ（Ｌ＊Ｇ））
によって実現されることを特徴とする変換情報生成方法。ここで、＊は、重み付有限状態トランスデユーサの合成を意味し、ｏｐｔは、重み付有限状態トランスデユーサの決定化や最小化又はそれらの組合せ等、何らかの最適化を意味し、ＨＣは、重み付有限状態トランスデユーサによる状態番号系列から音素系列への変換、Ｌは、単語辞書の変換、Ｇは、言語モデルの変換を意味する。
【請求項２】
請求項１に記載の変換情報生成方法に必要な重み付有限状態トランスデユーサによる状態番号系列から音素系列への変換ＨＣにあたり音声認識装置に内蔵される音素環境依存ＨＭＭ生成部とこの生成部による状態番号系列にて音素系列を得る重み付有限状態トランスデユーサとにより音素系列を生成する方法において、
音素環境依存ＨＭＭ生成部では、ある音素に対して複数の状態を割り当て、この複数の状態のそれぞれに当該音素の前後の環境を加味したカテゴリを特定し、このカテゴリの類似するものをカテゴリグループとして括り、このカテゴリグループに連続した状態番号を付し、上記複数の状態のそれぞれに含まれるカテゴリのうち重複するものの状態番号を関連させて状態番号系列を得る工程を有し、
重み付有限状態トランスデユーサでは、上記状態番号系列から状態遷移過程を記述するに際し番号上記状態番号系列が同じ場合は一つの状態遷移過程を記述し、二つの状態遷移過程にて受理するカテゴリの一部に重複する音素列が存在する時はこの二つの状態遷移過程を接続して音素環境を除いた音素系列を得る工程を有することを特徴とする音素系列生成方法。
【請求項３】
音声認識装置に内蔵されて入力音声の特徴量抽出部による特徴量に対し、上記入力音声に最も適合する単語列を探す識別部での音声認識に必要な情報Ｎは、上記請求項１に記載の変換情報生成方法により得ることを特徴とする音声認識方法。
【請求項４】
音声認識装置に内蔵される認識部に入力される音声認識に必要な情報Ｎを生成する重み付有限状態トランスデユーサは、
Ｎ＝ｏｐｔ（ｏｐｔＨＣ＊ｏｐｔ（Ｌ＊Ｇ））
によって実現される機能を有することを特徴とする変換情報生成装置。ここで、＊は、重み付有限状態トランスデユーサの合成を意味し、ｏｐｔは、重み付有限状態トランスデユーサの決定化や最小化又はそれらの組合せ等、何らかの最適化を意味し、ＨＣは、重み付有限状態トランスデユーサによる状態番号系列から音素系列への変換、Ｌは、単語辞書の変換、Ｇは、言語モデルの変換を意味する。
【請求項５】
請求項４に記載の変換情報生成装置に必要な重み付有限状態トランスデユーサによる状態番号系列から音素系列への変換ＨＣにあたり音声認識装置に内蔵される音素環境依存ＨＭＭ生成部とこの生成部による状態番号系列にて音素系列を得る重み付有限状態トランスデユーサとにより音素系列を生成する装置において、
ある音素に対して複数の状態を割り当て、この複数の状態のそれぞれに当該音素の前後の環境を加味したカテゴリを特定し、このカテゴリの類似するものをカテゴリグループとして括り、このカテゴリグループに連続した状態番号を付し、上記複数の状態のそれぞれに含まれるカテゴリのうち重複するものの状態番号を関連させて状態番号系列を得る音素環境依存ＨＭＭ生成部を有し、
上記状態番号系列から状態遷移過程を記述するに際し番号上記状態番号系列が同じ場合は一つの状態遷移過程を記述し、二つの状態遷移過程にて受理するカテゴリの一部に重複する音素列が存在する時はこの二つの状態遷移過程を接続して音素環境を除いた音素系列を得る重み付有限状態トランスデユーサを有することを特徴とする音素系列生成装置。
【請求項６】
入力音声の特徴量を抽出する特徴量抽出部と、この特徴量に対し上記入力音声に最も適合する単語列を探す識別部と、この認識部での音声認識に必要な情報Ｎを得る上記請求項４に記載の変換情報生成装置と、を有することを特徴とする音声認識装置。
【請求項７】
請求項１乃至３のいずれかに記載の方法をコンピュータにて実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識において、認識部への変換情報の生成方法、音素系列を得るための生成方法、音声認識方法、並びにこれらの装置、及びプログラムに関する。
【背景技術】
【０００２】
従来、音声認識技術は、入力音声を認識して単語列を出力するものであり、このために単語とその発音を格納した単語辞書や単語の並び方を表す言語モデルを用いて音声認識が行われる。更に最近の従来技術では、単語辞書や言語情報の他、音素モデル（Hidden Markov Model（以下ＨＭＭともいう））を含め全ての情報に関して予め重み付有限状態トランスデユーサ（以下ＷＦＳＴともいう）を作成してから音声認識を行う手法が、非特許文献１にて提案されている。
図６は、先行する音声認識装置の概要を示すブロック図である。この図６に示すように波形としての音声が入力される入力部１０１、この入力された音声から音響的特徴を抽出する特徴抽出部１０２、この特徴抽出部２にて抽出された音響的特徴と音素環境依存音素モデルに基づく重み付有限状態トランスデユーサ（ＷＦＳＴ）による音声認識に必要な情報Ｎとを比較して、入力音声に最も適合する単語列を探す認識部１０３、及び出力部１０４とを有する。ここで認識部１０３の入力となるＷＦＳＴ１０５の出力Ｎを得るためには、音響環境依存ＨＭＭ１０６の処理に基づく重み付有限状態トランスデユーサＨ１０７、重み付有限状態トランスデユーサＣ１０８、音素列から対応する単語列に変換する単語辞書である重み付有限状態トランスデユーサＬ、単語同士の連接のしやすさを記述する言語モデルである重み付有限状態トランスデユーサＧ１１０それぞれの演算による。
【０００３】
ここで、最初に、音素モデルＨＭＭについて説明する。このＨＭＭは、音声の特徴パラメータの時間的変化パターンを確率モデルを用いて表現するものであり、音声認識でよく利用される音素環境依存型ＨＭＭは、音素の音響的な特徴は前後の音素の影響を強く受けるので、認識性能を向上させるため、対象の音素を前後の音素の環境によって違う音素（音素列；カテゴリ）であると仮定して作成された音素モデルのことをいう。
この場合、各音素につきカテゴリ分けを行うと判断対象となるカテゴリの組合せ数は莫大になる。例えば音素の数を３０とし、仮に対象音素の前後それぞれ二つまでの音素を考慮に入れるとき、対象となるカテゴリの組合せ数は３０の５乗＝２４３０００００となる。そして、このような膨大なカテゴリに対してＨＭＭを学習するのは実際上不可能である。
【０００４】
このため、音素環境依存型ＨＭＭでは、前後の音素の種類によっていくつかのカテゴリを一つのＨＭＭで表現してカテゴリの組合せ数を減少させる手法が採られる。例えば、音素kの一つ前の音素がａとｏであるカテゴリの組合せは一緒の音素環境依存ＨＭＭで学習するということを行う。
さらに、音素環境依存ＨＭＭでは、計算の一層の効率化のために、このようなカテゴリの共通化を音素レベルよりさらに踏み込んで、音素環境依存ＨＭＭを構成する状態レベルにて共通化している。図７に音素ａについてその共通化の様子を図示する。すなわち、音響的な特徴を表すパラメータ（例えばスペクトルの概ねの形）である状態i，状態ii，状態iiiに分け、音素ａの前半部分の音響的特徴である状態i、音素ａの中央部分の音響的特徴である状態ii、音素ａの後半部分の音響的特徴である状態iiiをそれぞれ割り当てる。そして、この各状態i、ii、iiiにおいて、音素の互いに類似するカテゴリを更に括り、図７のように類似した小さなグループ（カテゴリグループ）に分け、そのカテゴリグループに分類することによってカテゴリの組合せ数を更に減少させたものである。図７では、この類似にて括った固有の音響的特徴をカテゴリグループに割り当ててそのグループに番号を付し、状態番号とする。この状態番号は、音響的特徴のパラメータのインデックスともなる。
【０００５】
このカテゴリグループの分類を形成するに際しては、通常決定木が使われる。図８は、ある状態での類似グループの分類を音素決定木を用いて行っている様子を示す。この図８の決定木では、ａの音素一つの状態で、前後２つの音素を考慮した場合に、グループがどのように分類されるかを示している。ここでは、ａの音素を対象として左隣、二つ右隣を対象として類似グループを分類する様子を示す。図２のノード１（リーフノード）には、音素ａの一つ左隣が母音であり、かつ二つ右隣が母音であるというカテゴリグループが分類される。因みに、ノード２は、音素ａの一つ左隣が母音でありかつ二つ右隣が母音でないカテゴリの組合せ、ノード３は、音素ａの一つ左隣が母音でなくかつ二つ右隣が母音であるカテゴリの組合せ、ノード４は、音素ａの一つ左隣が母音でなくかつ二つ右隣が母音でないカテゴリの組合せを示している。
【０００６】
また、図７にて状態i、ii、iiiの状態番号は、系列を形成する。例えば、図７にて音素環境に依存した音素ｅ−ａ＋ｓｉｌ（前に音素ｅがあり、後ろに音素ｓｉｌがある音素ａのこと）が与えられた時、状態i、ii、iiiからｅ−ａ＋ｓｉｌの各音素が属するカテゴリを選択し、各状態i、ii、iiiについて類似のカテゴリの組合せであるカテゴリグループを括り、各状態i、ii、iiiについて例えばｅ−ａ＋ｓｉｌのカテゴリを有するカテゴリグループを選択して状態番号の系列を形成する。図７の例ではカテゴリグループｅ−ａ＋ｓｉｌを含む状態番号３，５，６が選択され、系列を形成することになる。
【０００７】
以上のようにしてカテゴリの類似グループをカテゴリグループによって分類することができ、カテゴリグループの状態番号の系列をピックアップする音素環境依存ＨＭＭを得ることができる。こうして音素列であるカテゴリから状態番号系列を得ることができる。
次いで、音声認識を行うに当たっては、図６に示すようにこの音素環境依存ＨＭＭ１０６を利用した重み付有限状態トランスデユーサ（ＷＦＳＴ）１０５による変換が利用される。重み付有限状態トランスデユーサ（ＷＦＳＴ）１０５による変換では、四つのトランスデユーサの出力を利用しており、この四つの重み付有限状態トランスデユーサ（ＷＦＳＴ）Ｈ、Ｃ、Ｌ、Ｇによる変換出力を利用する。すなわち、
重み付有限状態トランスデユーサ（ＷＦＳＴ）Ｈ１０７は、音素環境依存ＨＭＭ１０６の状態番号系列から音素環境依存音素系列への変換を行う変換器である。
重み付有限状態トランスデユーサ（ＷＦＳＴ）Ｃ１０８は、音素環境依存音素系列から音素系列への変換を行う変換器である。
重み付有限状態トランスデユーサ（ＷＦＳＴ）Ｌ１０９は、音素系列から単語系列への変換を行う変換器すなわち前述した単語辞書である。
重み付有限状態トランスデユーサ（ＷＦＳＴ）Ｇ１１０は、単語系列から単語系列への変換を行う変換器すなわち前述した言語モデルである。このＧの変換によって、言語の重みが付け加えられる。なおここで、記号Ｈ、Ｃ、Ｌ、Ｇは、トランスデユーサである変換器そのものを示すと共に場合によってはトランスデユーサによる変換機能をも示す。
【０００８】
ここで、一般的な重み付有限状態トランスデユーサ（ＷＦＳＴ）について若干述べる。
重み付有限状態トランスデユーサ（ Weighted Finite-State Transducer；ＷＦＳＴ）とは、記号列を別の記号列に変換するための規則を、状態と状態遷移の図に表現する方式を言う。重み付有限状態トランスデユーサＷＦＳＴは、状態と、状態から状態へと遷移できることを表す状態遷移、および、状態遷移において受理される入力記号と、その際に出力される出力記号、および、その状態遷移の重みの集合によって定義される。なお、ここでいう状態並びに状態遷移の「状態」は、前述の音素環境依存ＨＭＭにおける音響的な特徴を表すパラメータである状態i、ii、iii等を表すものではない。重み付有限状態トランスデユーサＷＦＳＴは、ある入力記号列が与えられたときに、初期状態からその入力記号列の記号を順に受理する状態遷移に従って出力記号を出力しながら状態遷移を繰り返し、終了状態に達すると終了するモデルである。形式的には重み付有限状態トランスデユーサＷＦＳＴは次の８つの組（Ｑ，Σ，Δ，ｉ，Ｆ，Ｅ，λ，ρ）によって定義される。
１．Ｑは有限の状態の集合。
２．Σは入力記号の有限の集合。
３．Δは出力記号の有限の集合。
４．ｉ∈Ｑは初期状態。
５．Ｆ∈Ｑは終了状態の集合。
６．Ｅ∈Ｑ×Σ×Δ×Ｑは、現状態から入力記号により、出力記号を出力して次状態に遷移する状態遷移の集合。
７．λは初期重み。
８．ρ（ｑ）は終了状態ｑの終了重み。ｑ∈Ｆ。
【０００９】
ここで、重み付有限状態トランスデユーサＷＦＳＴの一例を図９によって示す。図９において、１０はマル（“○”）で表された状態を示しており、そのマルの中の数字はその状態の番号を表している。１１は二重マル（“◎”）で表された終了状態を示しており、その二重マルの中の数字は、その終了状態の番号と状態遷移が終了して最後に累積される終了重みが“（状態の番号）／（終了重み）”のように表されている。以後、状態の番号を用いて状態を指し示す場合は、単に状態とその番号を用いて“状態０”や“状態３”のように称す。
【００１０】
１２は各状態を結ぶ矢印（“→”）で表された状態遷移を示しており、各々の状態遷移に付与された記号や数字は、その状態遷移に関連付けられた入力記号、出力記号、重みを“（入力記号）：（出力記号）／（重み）”のように表したものである。
図９の重み付有限状態トランスデユーサＷＦＳＴを表によって定義することもできる。図１０は、各行が一つの状態遷移を表し、その状態遷移における遷移元の状態の番号と遷移先の状態の番号、入力記号、出力記号、重みが各列に記されている。最終状態（図９では状態３）は、遷移先、入力記号、出力記号を空とし、状態遷移終了時に累積される重み（終了重み）を記入する書式となっている。一般に、重み付有限状態トランスデユーサＷＦＳＴの初期状態は状態０とされ、初期重みλも省略されることが多い。そのため、本発明でも初期状態は状態０とし、初期重みは省略して明記しないこととする。
【００１１】
ここで、一例として重み付有限状態トランスデユーサＷＦＳＴにて入力記号列ａ，ａ，ｂ，ｃを出力記号列ｄ，ｄ，ｃ，ｂに変換する過程を述べる。図９の重み付有限状態トランスデユーサＷＦＳＴは、例えば、入力記号列ａ，ａ，ｂ，ｃを出力記号列ｄ，ｄ，ｃ，ｂに変換することができ、その際の状態遷移過程は、状態番号の系列を用いて表すと０，０，１，３であり、重みの累積値（以下「累積重み」と称す）は、０．５＋０．５＋０．３＋１＋０．５＝２．８となる。しかし、図９の重み付有限状態トランスデユーサＷＦＳＴでは、ａ，ａ，ｂ，ｃという入力記号列に対しては、０，０，１，３と０，０，２，３の２通りの状態遷移過程が考えられる。一般に、ある入力記号列に対して複数の状態遷移の可能性がある場合（これを非決定性という）は、状態遷移過程における累積重みが最小になる状態遷移過程を選択し、その累積重み最小の状態遷移過程に対応する出力記号列を選択する。図１０の例においても、ａ，ａ，ｂ，ｃという入力記号列に対して累積重みが最も小さい状態遷移過程０，０，１，３を選んで、変換結果をｄ，ｄ，ｃ，ｂとする。このようにして重み付有限状態トランスデユーサＷＦＳＴは、入力記号列の記号を順に受理しつつ状態遷移を繰り返し、出力記号を出力して終了する。
【００１２】
この図９、図１０に示す一般的な重み付有限状態トランスデユーサＷＦＳＴを例えば図７に示す音素ａについての音素環境依存ＨＭＭの構造に適用させた場合、図１１に示す重み付有限状態トランスデユーサＨを得ることができる。すなわち、音素環境依存ＨＭＭによる状態番号系列から環境依存音素系列への変換では、初期状態０から終了状態２８に向かい状態１〜２７での状態遷移が行われ、図７のカテゴリグループである状態番号１、２、３（Ｓ１、Ｓ２、Ｓ３と表す）について状態が遷移され、更に状態番号４，５（Ｓ４、Ｓ５と表す）について状態が遷移され、次いで状態番号６，７，８（Ｓ６、Ｓ７、Ｓ８と表す）について状態が遷移され、終了状態２８に至る。具体的には例えば、図１１の状態１−２−３では、Ｓ１―Ｓ４―Ｓ７の状態番号によりｓｉｌ−ａ＋ａなるカテゴリである環境依存音素系列が得られる。このようにして重み付有限状態トランスデユーサＨでは、様様な状態番号系列に対応する音素環境に依存した音素記号の系列に変換できる。
【００１３】
ここでの状態番号の組合せは、音素環境に依存して様様なパターンを取り得るのであるが、図１２の状態遷移図に示す重み付有限状態トランスデユーサＣでは、音素環境依存音素系列から音素環境を除く処理をして音素列を得る。すなわち、図１２では、初期状態０から終了状態までにおいて，ａ、ｅの二つの音素のみにて前後の音素のみ（前後の音素を参酌する値Ｋ＝３）を対象として音素環境依存のカテゴリを音素環境に依存しない音素列に変換する。この場合、前後の音素が一致している場合のみ状態遷移が許されるをいう制約が課される。この結果、図１２にも示すように例えば、ｓｉｌ−ａ＋ｅ、ａ−ｅ＋ａ、ｅ−ａ＋ａ、ａ−ａ＋ｓｉｌからなる記号列をａ，ｅ，ａ，ａなる音素環境を除いた記号列に変換できる。なお、１２図中カテゴリと並ぶ：ａや：ｅは、音素環境に依存しない音素であるカテゴリの中央の音素を示す。
【００１４】
以上に述べた重み付有限状態トランスデユーサＨ、Ｃを含めた重み付有限状態トランスデユーサＨ、Ｃ、Ｌ、Ｇを別々に作成した場合、重み付有限状態トランスデユーサ（ＷＦＳＴ）１０５では、音声認識に必要な全ての情報Ｎを含んだ重み付有限状態トランスデユーサ（ＷＦＳＴ）として
Ｎ＝ｏｐｔ（Ｈ＊ｏｐｔ（Ｃ＊ｏｐｔ（Ｌ＊Ｇ）））
という演算を実現することができる。
ここで、以上の式中における記号の意味を次に示す。すなわち、
「Ａ＊Ｂ」の＊は、重み付有限状態トランスデユーサ（ＷＦＳＴ）の合成を意味する。
「ｏｐｔ（Ａ）」のｏｐｔは、ｄｅｔ（Ａ）又はｍｉｎ（Ａ）又はｍｉｎ（ｄｅｔ（Ａ））又はｆａｃｔ（Ａ）または他の何らかの最適化を意味する。  
この場合、「ｄｅｔ（Ａ）」のｄｅｔは、重み付有限状態トランスデユーサ（ＷＦＳＴ）の決定化を意味する。
「ｍｉｎ（Ａ）」のｍｉｎは、重み付有限状態トランスデユーサ（ＷＦＳＴ）の最小化を意味する。重み付有限状態トランスデユーサ（ＷＦＳＴ）の無駄を省いて最小化する操作をいう。
「ｆａｃｔ（Ａ）」のｆａｃｔは、重み付有限状態トランスデユーサ（ＷＦＳＴ）の分岐のないネットワークをまとめる操作を意味する。
【００１５】
図１３は、上述の式の主要部を図示したものであり、この図１３にて矢印の終端が至る○と×の合成記号は、合成「＊」と決定化「ｄｅｔ」を一つの記号にて表現するものである。すなわち図１３は、
ｄｅｔ（Ｈ＊ｄｅｔ（Ｃ＊ｄｅｔ（Ｌ＊Ｇ）））換言すれば
ｏｐｔ（Ｈ＊ｏｐｔ（Ｃ＊ｏｐｔ（Ｌ＊Ｇ）））の処理を図示する。
こうして音声認識装置の認識部では、Nで表現される重み付有限状態トランスデユーサ（ＷＦＳＴ）を使って入力音声とのマッチングが行われ、最も入力音声に近い重み付有限状態トランスデユーサの出力を認識結果とする。
【非特許文献１】M．Mohri，F. Pereirn，M．Riley,“Weighted Finite State Transducers in Speech Recognition”，ASR 2000，PP.97・106，Paris，France，2000.
【発明の開示】
【発明が解決しようとする課題】
【００１６】
上述の先行する技術では、音素環境依存HMMの状態番号系列から音素環境依存の音素系列へ変換する重み付有限状態トランスデユーサＨと音素環境依存の音素から音素系列への変換を行う重み付有限状態トランスデユーサＣの別々の重み付有限状態トランスデユーサ（ＷＦＳＴ）が必要である。ところが、図１１及び図１２に示すこの重み付有限状態トランスデユーサＨ及びＣを個別に作る場合は、必要となるあらゆる音素環境に依存した音素の記号を用意して記述する必要がある。ここで、音素の環境に依存する音素記号の種類数は膨大であり、このため重み付有限状態トランスデユーサＨやＣのサイズも膨大となり、前後の音素をどれだけ参酌するかの値Ｋが大きい場合には、その作成が困難になる。
【００１７】
一般に大きなＫを用いると、認識精度が高くなることが知られており、大きなＫに対しても重み付有限状態トランスデユーサ（ＷＦＳＴ）を作成できる手法が求められている。
本発明は、上述の問題に鑑み発明されたもので、仮に大きなＫを用いたとしても重み付有限状態トランスデユーサを作成することができる変換情報生成方法、音素系列生成方法、音声認識方法、ならびにこれらの装置、及びプログラムの提供を目的とする。
【課題を解決するための手段】
【００１８】
上述の目的を達成する本発明は、音声認識装置に内蔵される認識部に入力される音声認識に必要な情報を生成する重み付有限状態トランスデユーサの変換情報Nは、
Ｎ＝ｏｐｔ（ｏｐｔＨＣ＊ｏｐｔ（Ｌ＊Ｇ））
によって実現されることを特徴とする。ここで、＊は、重み付有限状態トランスデユーサの合成を意味し、ｏｐｔは、重み付有限状態トランスデユーサの決定化や最小化又はそれらの組合せ等、何らかの最適化を意味し、ＨＣは、重み付有限状態トランスデユーサによる状態番号系列から音素系列への変換、Ｌは、単語辞書の変換、、Ｇは、言語モデルの変換を意味する。
【発明の効果】
【００１９】
本発明によれば、重み付有限状態トランスデユーサの変換情報Nを得るに当たって、重み付有限状態トランスデユーサＨＣによる状態番号系列から音素系列への直接の変換が可能となり、このため従来のようにすべての環境依存音素を含む重み付有限状態トランスデユーサＨ及びＣを作成する必要はなく、よって仮に大きなＫを用いたとしても重み付有限状態トランスデユーサＨＣ引いては重み付有限状態トランスデユーサＷＦＳＴの作成が可能になる。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照して本発明の実施の形態を説明する。
図１は、本発明の概略ブロック構成であり、図６と同一部分には同符号を付す。図１において、波形としての音声が入力される入力部１０１、この入力された音声から音響的特徴を抽出する特徴抽出部１０２、この特徴抽出部２にて抽出された音響的特徴と音素環境依存音素モデルに基づく重み付有限状態トランスデユーサ（ＷＦＳＴ）による音声認識に必要な情報Ｎとを比較して、入力音声に最も適合する単語列を探す認識部１０３、及び出力部１０４とを有する。ここで認識部１０３の入力となる重み付有限状態トランスデユーサＷＦＳＴ１０５の変換情報Ｎを得るためには、音響環境依存ＨＭＭ１０６の処理に基づく重み付有限状態トランスデユーサＨＣ１１１、音素列から対応する単語列に変換する単語辞書である重み付有限状態トランスデユーサＬ１０９、単語同士の連接のしやすさを記述する言語モデルである重み付有限状態トランスデユーサＧ１１０それぞれの演算によることになる。なおここで、記号ＨＣは、トランスデユーサである変換器そのものを示すと共に場合によってはトランスデユーサによる変換機能をも示す。
【００２１】
ここにおいて、音素環境依存ＨＭＭ１０６は、前述の図７に示す構造を有し、例えば音素ａについて状態i、ii、iiiそれぞれにてカテゴリグループを形成する音素環境依存ＨＭＭ生成部である。
重み付有限状態トランスデユーサＨＣ１１１は、音素環境依存ＨＭＭでの状態番号系列から音素系列に直接変換する変換（生成）器である。図２は、重み付有限状態トランスデユーサＨＣの一例を示す構成であり、初期状態０から終了状態２９までの状態遷移図を示す。すなわちここでは、音素環境依存ＨＭＭにて構成された状態番号に基づき、例えば図２に示す状態１−２−３−４にて図７に示すカテゴリｓｉｌ−ａ＋ａの状態番号系列をＳ１−Ｓ４―Ｓ７にて受理し、次いでこのカテゴリを例えば状態１３―１４―１５―１６にてａ−ａ＋ａ、又はｅ―ａ＋ａの状態番号系列をＳ２―Ｓ５―Ｓ７受理することにより、これらカテゴリの二つの音素ａ＋ａを共通化してつなぐことができ、また状態２１―２２―２３―２４にてａ―ａ＋ｓｉｌを状態番号Ｓ３―Ｓ４―Ｓ６にて受理することで、音素ａを得ることができ、結局状態番号系列から音素列を直接得ることができる。すなわち、音素環境依存ＨＭＭで得られた状態番号系列の共通部分をつなげていくことにより、音素系列を得ることができる。そしてこの状態遷移の構造は、音素環境依存ＨＭＭの構造に基づいて形成されることになる。
【００２２】
このことは、音素環境依存ＨＭＭにて音素環境がカテゴリに分類してある場合は、異なる音素環境であっても同じ状態番号系列で対応することが多々あるという現象が生じ、このため、このような状態番号系列が同一のものは唯一つの状態遷移過程として重み付有限状態トランスデユーサＨＣにて記述するものである。すなわち、図２にて、前述のようにａ―ａ＋ａとｅ―ａ＋ａとの状態番号系列は、共にＳ２―Ｓ５―Ｓ７で同じであり、この場合の状態遷移過程はただ一つにのみである。また、従来の重み付有限状態トランスデユーサCで表されていた音素環境の接続に関する制約も同時に組み込み、この重み付有限状態トランスデユーサＨＣの例では、ａ―ａ＋ａとｅ―ａ＋ａとを受理したＳ２―Ｓ５―Ｓ７（状態１６）の後の接続は．ａ―ａ＋？（？は何でも良い）のようなカテゴリを含むグループに対応する状態であれば良い。この図２では，Ｓ２―Ｓ５―Ｓ７を受理する系列（状態１３）、Ｓ２―Ｓ５―Ｓ８を受理する系列（状態１７），およびＳ３―Ｓ４―Ｓ６を受理する系列（状態２１）に接続される。
【００２３】
次いで、以上の重み付有限状態トランスデユーサＨＣを音素環境依存ＨＭＭの状態i、ii、iiiにおける音素の決定木から直接作成する方法について述べる。
１．各々の状態で図８に示す決定木のリーフノードにどのような環境の音素が分類されているのかを調べる。これは音素環境依存ＨＭＭの状態番号系列を全て列挙し、音素環境のカテゴリグループの重複を状態ごとにチェックしてこの状態番号系列から音素に変換する重み付有限状態トランスデユーサＨＣの状態遷移をつくり、状態番号系列の間に接続が可能かをチェックして、状態番号系列間にて状態遷移を作るためである。
【００２４】
状態番号を表す各ノードでそのノードに属する音素環境依存ＨＭＭの情報を音素環境の集合としてビットマップ形式にて図３のように記述する。この図３では左隣列は２番、二つ右隣列は５番という番号をふった。この図３では、中央列に音素のａがある時左隣の２番の列には母音のみがあり、右２列目の５番の列にも母音のみがあり、左１番および右４番の列は母音も子音もあり得るというリーフを１と０で表現している。この図３のビットマップの作成によりここに属するカテゴリの種類が容易に判明し、コンピュータの演算がＡＮＤ演算となって簡単になる。
【００２５】
２．各状態番号であるリーフノードに関して図３のようなものを作り、状態番号の系列を作る。状態iの任意の状態番号と状態iiの任意の状態番号において、２つの状態番号がつなげられるのは、両方の図３のＡＮＤをとり、カテゴリグループの重複を系列として形成する。こうして異なる状態番号の組を全て列挙して相互に接続する。
３．次いで、重み付有限状態トランスデユーサＨＣを構成するに当たり、列挙された状態番号系列を相互に接続し、つまり状態番号系列をネットワークでつなぎ、入力として状態番号、出力にεを出すような重み付有限状態トランスデユーサＨＣを構成していく。ここで、記号εは、入力記号側では入力記号なしで状態遷移ができ、出力記号側ではその状態遷移にて何も出力しないことを意味する。
【００２６】
４．各音素での全ての状態番号系列が作成できたので、今度は音素の間をつなげていく。すなわち、個々の状態番号系列についてカテゴリグループが接続可能かどうかは、カテゴリグループ間の音素環境に整合性を調べる。この操作を次のように行う。まず、ある音素の状態番号系列を選び、その次につなげる音素の状態番号系列を選ぶ。このとき図３において前の状態番号系列を一つ左にシフトし、二つの状態番号系列同士のＡＮＤをとる。ここで一致点が見出せれば言い換えればカテゴリの一部に重複部分があれば、この二つの状態番号系列は接続を作る。この操作を全ての状態番号系列について行う。
【００２７】
以上のような処理を行うことにより、重み付有限状態トランスデユーサＨＣが実現できる。音声認識装置の認識部にて利用する最終的な重み付有限状態トランスデユーサとしては
Ｎ＝ｏｐｔ（ｏｐｔＨＣ＊ｏｐｔ（Ｌ＊Ｇ））
の演算により求め、更に具体的には
Ｎ＝ｆａｃｔ（ｍｉｎ（ｄｅｔ（ｄｅｔＨＣ＊ｄｅｔ（Ｌ＊Ｇ））））
の演算により求める。なお、この式で「ｏｐｔ」は、重み付有限状態トランスデユーサの決定化や最小化又はそれらの組合せ等、何らかの最適化を意味し、「Ａ＊Ｂ」の＊は、重み付有限状態トランスデユーサ（ＷＦＳＴ）の合成を意味し、「ｄｅｔ（Ａ）」のｄｅｔは、重み付有限状態トランスデユーサ（ＷＦＳＴ）の決定化を意味し、「ｍｉｎ（Ａ）」のｍｉｎは、重み付有限状態トランスデユーサ（ＷＦＳＴ）の最小化を意味する。重み付有限状態トランスデユーサ（ＷＦＳＴ）の無駄を省いて最小化する操作をいう。また、「ｆａｃｔ（Ａ）」のｆａｃｔは、重み付有限状態トランスデユーサ（ＷＦＳＴ）の分岐のないネットワークをまとめる操作を意味する。
【００２８】
なおこれまでの説明は重み付有限状態トランスデユーサの作成について述べてきたが、音声認識に利用できるネットワークとしては、重み付の有限状態オートマトンであればどんなネットワークでもかまわない。
本発明では、上述の方法や機能をコンピュータに実行させるためのプログラムを備えることもでき、また、コンピュータに方法や機能を実行させるためのプログラムを記録したコンピュータに読み取り可能な記録媒体に備えることもできる。
次に実際の評価を行った場合について説明する。日本語の音声認識データべ−ス（ＣＳＪデータべ−ス）を利用して講演音声の評価を行った。学習データに使った音声は、男性話者の講演スピーチの一部（１６４ｋ発声、１８８時間）である。語彙サイズは３０ｋとした。また、言語モデルとしてｔｒｉｇｒａｍを利用した。評価にはＣＳＪで標準テスト１といわれるデータの一部を用いた。音声分析には標準の３９次元のＭＦＣＣを使った。用いたＨＭＭは全ての状態で混合ガウス分布数が１６である。音素環境依存ＨＭＭである「ｔｒｉｐｈｏｎｅ」（文脈数Ｋ＝３）とｑｕｉｎｔｐｈｏｎｅ（文脈数Ｋ＝５）を用いたときの、従来法と本発明方法とで作成した有限状態トランスデユーサ（ＷＦＳＴ）Ｎを用いて、有限状態トランスデユーサ（ＷＦＳＴ）のサイズ、認識率、およびリアルタイムファクタ（認識に実時間の何倍時間が掛かったかを示す指標）によって比較を行った。結果を図５に示す。結果としてできる最終的なｔｒｉｐｈｏｎｅ有限状態トランスデユーサ（ＷＦＳＴ）は、アークの数が従来法の１／４であり、認識も早くかつ精度がよかった。ｑｕｉｎｔｐｈｏｎｅに関しては、従来法を用いた実験では、重み付有限状態トランスデユーサ（ＷＦＳＴ）作成する途中で、Cを生成するのに時間とメモリを大幅に費やしたため、全体の重み付有限状態トランスデユーサを作ることができなかった。本発明方法では、ｔｒｉｐｈｏｎｅの場合より若干多くの状態を使用するものの、ｔｒｉｐｈｏｎｅの場合の１／３程度増えただけで、重み付有限状態トランスデユーサ（ＷＦＳＴ）を構成することができた。結果としてできたネットワークは従来法のｔｒｉｐｈｏｎｅで使用するネットワークよりは小さかった。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施形態を示す音声認識装置の概略ブロック図である。
【図２】重み付有限状態トランスデユーサＨＣを構成する状態遷移図である。
【図３】対象音素ａの環境依存音素カテゴリのビットマップデータ図である。
【図４】簡略処理ブロック図である。
【図５】実験結果を示す関係図である。
【図６】従来の音声認識装置の概略ブロック図である。
【図７】音素ａに対する音素環境依存ＨＭＭの構造図である。
【図８】音素決定木の説明図である。
【図９】重み付有限状態トランスデユーサの一般的説明図である。
【図１０】重み付有限状態トランスデユーサを別に表現した関係図である。
【図１１】重み付有限状態トランスデユーサＨの状態遷移図である。
【図１２】重み付有限状態トランスデユーサＣの状態遷移図である。
【図１３】従来の簡略処理ブロック図である。
【図１】
2006084942.tif 000003
【図２】
2006084942.tif 000004
【図３】
2006084942.tif 000005
【図４】
2006084942.tif 000006
【図５】
2006084942.tif 000007
【図６】
2006084942.tif 000008
【図７】
2006084942.tif 000009
【図８】
2006084942.tif 000010
【図９】
2006084942.tif 000011
【図１０】
2006084942.tif 000012
【図１１】
2006084942.tif 000013
【図１２】
2006084942.tif 000014
【図１３】
2006084942.tif 000015