1(57)【特許請求の範囲】【請求項１】 話者適応前後の隠れマルコフモデルの特徴ベクトルの関係を示す移動ベクトルを用いて、話者適
応用学習データに基づいて初期話者モデルを話者適応して学習することにより音声認識のための隠れマルコフモ
デルの話者モデルを計算するための話者適応化装置において、
上記話者適応用学習データが存在して話者適応用学習データに基づいて話者適応された後の隠れマルコフモデルの第１の特徴ベクトルを、当該第１の特徴ベクトルと、 10
その近傍にある話者適応された後の隠れマルコフモデルの複数の第２の特徴ベクトルとを用いて平滑化処理を実行する平滑化手段を備え、上記平滑化手段は、上記第１の特徴ベクトルと、上記複数の第２の特徴ベクトルとの間の近傍状態と、上記第１2と第２の特徴ベクトルを含む隠れマルコフモデルの前後の隠れマルコフモデルの特徴ベクトルの近傍状態に基づいて、上記第１の特徴ベクトルの近傍にないか、又は近傍にあっても前後の隠れマルコフモデルを構成する特徴
ベクトルが近傍にない上記第２の特徴ベクトルを除外した後、上記平滑化処理を実行することを特徴とする話者
適応化装置。
【請求項２】 上記平滑化手段は、上記第１の特徴ベク
トルと、上記各第２の特徴ベクトルとの間の距離及び上記第１と第２の特徴ベクトルを含む隠れマルコフモデルの前後の隠れマルコフモデルを構成する特徴ベクトル間の距離を計算し、これらの距離が所定のしきい値未満の
上記第２の特徴ベクトル以外の第２の特徴ベクトルを除外することを特徴とする請求項１記載の話者適応化装
置。

(2)
3
【請求項３】 上記平滑化手段は、上記第１の特徴ベク
トルと、上記各第２の特徴ベクトルとの間の距離及び上記第１と第２の特徴ベクトルを含む隠れマルコフモデルの前後の隠れマルコフモデルを構成する特徴ベクトル間の距離を計算し、より距離が短い所定数の上記第２の特徴ベクトル以外の第２の特徴ベクトルを除外することを特徴とする請求項１記載の話者適応化装置。
【請求項４】 請求項１乃至３のうちの１つに記載の話
者適応化装置と、入力された発声音声文の音声信号に基づいて、上記話者
適応化装置によって話者適応された隠れマルコフモデルの話者モデルを用いて音声認識して音声認識結果を出力する音声認識手段とを備えたことを特徴とする音声認識装置。
【発明の詳細な説明】【０００１】【産業上の利用分野】本発明は、初期話者モデルを話者
適応用学習データを用いて話者適応化を行って隠れマル
コフモデル（以下、ＨＭＭという。）を作成する話者適応化装置、及びそれを用いた音声認識装置に関する。
【０００２】【従来の技術】従来、ＨＭＭを用いた音声認識装置に対して少量の学習資料によって話者適応を行なう場合、安定した適応効果を得るにはその情報不足を補うことが不可欠である。このため、不特定話者モデル等の初期話者モデルに含まれる情報を事前知識として使用する話者適応法が種々研究されている（例えば、大倉計美ほか，
混合連続分布ＨＭＭを用いた移動ベクトル場平滑化話者適応方式 ，音響学会講演論文集，２−Ｑ−１７，ｐｐ．１９１−１９２，１９９２年３月（以下、文献１という。）参照。）。
【０００３】例えば、文献１に開示されている従来例の移動ベクトル場平滑化話者適応方式では、各モデル・パラメータに対して話者適応用学習データを用いた推定値と初期値の差分を移動ベクトルと定義している。そして、各移動ベクトルを音響的に近傍にある移動ベクトルの情報を用いて平滑化することにより推定誤差を低減したり、対応する学習データがないことによる未学習モデ
ル・パラメータの補間を行なって話者適応化を行っている。
【０００４】【発明が解決しようとする課題】しかしながら、従来例における話者適応化法は、話者適応の効果は比較的高い
ものの、対策が困難と予想された複数の音素にわたる誤認識への対応には、いまだ不十分である。また、少数データから確実に適応させるために、学習データに存在する状態から求められた移動ベクトルを、学習データにはない近傍状態にも適応している。しかしながら、コンテ
キスト環境を考慮しないで近傍状態に適応すると、学習
データにおけるコンテキスト特有の発声変形が、異なる

10

20

30

40

50

特許２８７５１７９
4
コンテキスト環境を持つ状態にも適応されるため、認識率が低下してしまう場合があるという問題点があった。
【０００５】本発明の目的は以上の問題点を解決し、適応データが少ない場合であっても誤った適応化学習を防止することができ、しかも複数の音素にわたる音声認識
における誤認識を防止して、従来例に比較してより高い
音声認識率で音声認識することができるように話者モデルを適応化することができる話者適応化装置、及びそれを用いた音声認識装置を提供することにある。
【０００６】【課題を解決するための手段】本発明に係る請求項１記
載の話者適応化装置は、話者適応前後の隠れマルコフモ
デルの特徴ベクトルの関係を示す移動ベクトルを用いて、話者適応用学習データに基づいて初期話者モデルを話者適応して学習することにより音声認識のための隠れマルコフモデルの話者モデルを計算するための話者適応化装置において、上記話者適応用学習データが存在して話者適応用学習データに基づいて話者適応された後の隠れマルコフモデルの第１の特徴ベクトルを、当該第１の特徴ベクトルと、その近傍にある話者適応された後の隠れマルコフモデルの複数の第２の特徴ベクトルとを用いて平滑化処理を実行する平滑化手段を備え、上記平滑化
手段は、上記第１の特徴ベクトルと、上記複数の第２の特徴ベクトルとの間の近傍状態と、上記第１と第２の特徴ベクトルを含む隠れマルコフモデルの前後の隠れマル
コフモデルの特徴ベクトルの近傍状態に基づいて、上記
第１の特徴ベクトルの近傍にないか、又は近傍にあっても前後の隠れマルコフモデルを構成する特徴ベクトルが近傍にない上記第２の特徴ベクトルを除外した後、上記平滑化処理を実行する。
【０００７】また、請求項２記載の話者適応化装置は、
請求項１記載の話者適応化装置において、上記平滑化手段は、上記第１の特徴ベクトルと、上記各第２の特徴ベクトルとの間の距離及び上記第１と第２の特徴ベクトルを含む隠れマルコフモデルの前後の隠れマルコフモデルを構成する特徴ベクトル間の距離を計算し、これらの距離が所定のしきい値未満の上記第２の特徴ベクトル以外の第２の特徴ベクトルを除外することを特徴とする。
【０００８】さらに、請求項３記載の話者適応化装置
は、請求項１記載の話者適応化装置において、上記平滑化手段は、上記第１の特徴ベクトルと、上記各第２の特徴ベクトルとの間の距離及び上記第１と第２の特徴ベクトルを含む隠れマルコフモデルの前後の隠れマルコフモ
デルを構成する特徴ベクトル間の距離を計算し、より距離が短い所定数の上記第２の特徴ベクトル以外の第２の特徴ベクトルを除外することを特徴とする。
【０００９】また、本発明に係る請求項４記載の音声認
識装置は、請求項１乃至３のうちの１つに記載の話者適応化装置と、入力された発声音声文の音声信号に基づいて、上記話者適応化装置によって話者適応された隠れマ

(3)5ルコフモデルの話者モデルを用いて音声認識して音声認識結果を出力する音声認識手段とを備えたことを特徴とする。
【００１０】【作用】請求項１記載の話者適応化装置においては、上記平滑化手段は、上記話者適応用学習データが存在して話者適応用学習データに基づいて話者適応された後の隠れマルコフモデルの第１の特徴ベクトルを、当該第１の特徴ベクトルと、その近傍にある話者適応された後の隠れマルコフモデルの複数の第２の特徴ベクトルとを用いて平滑化処理を実行するが、上記平滑化手段は、上記第１の特徴ベクトルと、上記複数の第２の特徴ベクトルとの間の近傍状態と、上記第１と第２の特徴ベクトルを含む隠れマルコフモデルの前後の隠れマルコフモデルの特徴ベクトルの近傍状態に基づいて、上記第１の特徴ベク
トルの近傍にないか、又は近傍にあっても前後の隠れマ
ルコフモデルを構成する特徴ベクトルが近傍にない上記第２の特徴ベクトルを除外した後、上記平滑化処理を実行する。これにより、従来例に比較して適応効果を向上
させることができ、特に、複数の音素にわたる誤認識を防止することができ、従って、平滑化後の移動ベクトルを用いて話者適応された話者モデルを用いて音声認識することにより、従来に比較して高い音声認識率を得ることができる。
【００１１】また、請求項２記載の話者適応化装置においては、上記平滑化手段は、好ましくは、上記第１の特徴ベクトルと、上記各第２の特徴ベクトルとの間の距離
及び上記第１と第２の特徴ベクトルを含む隠れマルコフ
モデルの前後の隠れマルコフモデルを構成する特徴ベク
トル間の距離を計算し、これらの距離が所定のしきい値
未満の上記第２の特徴ベクトル以外の第２の特徴ベクト
ルを除外する。これにより、より適切に近傍でない第２の特徴ベクトルを除外することができ、複数の音素にわたる誤認識を防止することができる。
【００１２】さらに、請求項３記載の話者適応化装置においては、上記平滑化手段は、好ましくは、上記第１の特徴ベクトルと、上記各第２の特徴ベクトルとの間の距
離及び上記第１と第２の特徴ベクトルを含む隠れマルコフモデルの前後の隠れマルコフモデルを構成する特徴ベクトル間の距離を計算し、より距離が短い所定数の上記第２の特徴ベクトル以外の第２の特徴ベクトルを除外する。これにより、より適切に近傍でない第２の特徴ベク
トルを除外することができ、複数の音素にわたる誤認識を防止することができる。
【００１３】また、請求項４記載の音声認識装置においては、請求項１乃至３のうちの１つに記載の話者適応化装置によって話者適応された隠れマルコフモデルの話者モデルが計算される。そして、上記音声認識手段は、入力された発声音声文の音声信号に基づいて、上記話者適応化装置によって話者適応された隠れマルコフモデルの

10

20

30

40

50

特許２８７５１７９6話者モデルを用いて音声認識して音声認識結果を出力する。これにより、従来に比較して高い音声認識率で音声認識することができる。
【００１４】【実施例】以下、図面を参照して本発明に係る実施例について説明する。図１は、本発明に係る一実施例である
音声認識装置のブロック図である。本実施例の音声認識装置は、初期話者モデルメモリ３０に格納された話者ク
ラスタモデルを含む初期話者モデルを、例えば文発話テ
キストデータであって話者適応用学習データメモリ３２に格納された話者適応用学習データを用いて、適応化学
習して音素ＨＭＭの不特定話者音素モデルに変換して音素隠れマルコフモデルメモリ（以下、音素ＨＭＭメモリという。）１１に格納する話者適応化制御部３１を備え、当該音素ＨＭＭメモリ１１に格納された音素ＨＭＭに基づいて音声認識を行うことを特徴とする。特に、上記話者適応化制御部３１は、図２に示すように、移動ベクトルの計算処理（ステップＳ１）と、移動ベクトルの補間処理（ステップＳ２）と、音素列候補の近傍状態を検出して近傍でない移動ベクトルを除外する処理（ステップＳ３）と、移動ベクトルの平滑化処理（ステップＳ４）と、処理後の移動ベクトルを用いて話者適応化する
学習処理（ステップＳ５）とを順次実行することを特徴とする。
【００１５】本実施例において、音素照合部４に接続される音素ＨＭＭメモリ１１内の音素ＨＭＭは、各状態を含んで表され、各状態はそれぞれ以下の情報を有する。
（ａ）状態番号（ｂ）受理可能なコンテキストクラス（ｃ）先行状態、及び後続状態のリスト（ｄ）出力確率密度分布のパラメータ（ｅ）自己遷移確率及び後続状態への遷移確率
なお、本実施例において用いる音素ＨＭＭは、各分布がどの話者に由来するかを特定する必要があるため、所定の話者混合ＨＭＭを変換して作成する。ここで、出力確率密度関数は３４次元の対角共分散行列をもつ混合ガウス分布（以下、ガウス分布という。）であり、各分布
は、初期話者モデルメモリ３０に格納された初期話者モデルを用いて話者適応化制御部３１によって学習される。
【００１６】一般に連続分布型ＨＭＭによるモデルに対して少量の適応データにより話者適応を行なう場合、ガ
ウス分布の平均値の適応は他のパラメータの適応に比べて効果が大きいことが知られている（例えば、文献１参
照。）。本実施例においては、各ガウス分布の平均値のみの適応を行ない、分散値、状態遷移確率及び、混合ガ
ウス分布の重み係数の適応は行なわない。
【００１７】話者適応化制御部３１における具体的な話
者適応化処理を、図２及び図３を参照して以下に説明する。この話者適応化処理では、まず、初期話者モデルメ

(4)7
モリ３０に格納された初期音素ＨＭＭである初期話者モデルを、話者適応用学習データメモリ３２に格納された
例えば文発話テキストデータを含む話者適応用学習デー
タ（以下、学習データという。）を用いて学習する。ここでは、文発話テキストデータに対応する音素ラベル系
列に従って音素ＨＭＭを連結して文ＨＭＭを作成し、この文ＨＭＭを上記話者適応用学習データである文発話データを用いて学習した後、再び音素ＨＭＭの単位に切り離すことにより、音素ＨＭＭの学習を行う。
【００１８】すなわち、この話者適応化処理では、未知話者の音声に含まれる音素に関して、標準話者の音素ＨＭＭの平均値を再学習する。まず、標準話者の音素ＨＭ
Ｍを未知話者の音素ＨＭＭの初期話者モデルとする。そして、未知話者の入力音声の音素系列に対応するように未知話者のＨＭＭを連結し、ＨＭＭの遷移確率、出現確率の平均と分散、及び分岐確率のうち平均のみを連結学習する。具体的には、連結学習前後のＨＭＭの平均ベク
トルの差分を移動ベクトルとみなし、学習されなかった
ＨＭＭの平均ベクトルの移動ベクトルを補間し平均ベクトルを移動するものである。
【００１９】まず、ステップＳ１において、以下のように移動ベクトルの計算を行う。初期話者モデル内の未知
話者の全音素ＨＭＭのガウス分布の平均ベクトルの組
I
II（Ｃ ＝ｃ1 ，…，ｃK ），ここで、Ｋは全てのガウス分布の個数である。）のうち学習されたｋ番目の平均ベI
クトルｃk （ｋ∈Ｋ1 ，Ｋ1 ：学習音声中に存在した音素のＨＭＭの平均ベクトルの番号の集合）と、話者適応用
学習データ内の標準話者のガウス分布の平均ベクトルのＲ
R
組Ｃ 中で対応するｃk より、平均ベクトルの差分ベク
トルｖｋ を計算し、これを話者空間の移動ベクトルとする。
IR【数１】ｖk ＝ｃ k −ｃ k ，ｋ∈Ｋ1【００２０】ここで、Ｋ1 は各ガウス分布のうち学習データの存在したものの集合である。これを図示すると図３のようになる。図３に示すように、適応学習前の初期話者モデルの音響空間ＡＳ１において例えば３個のガウス分布が存在する一方、適応学習後の話者モデルの音響
空間ＡＳ２において例えば３個のガウス分布が存在する
Rとき、適応学習前のガウス分布の平均ベクトルｃk が適I
応学習後のガウス分布の平均ベクトルｃk に適応化学習
されることになる。
【００２１】次いで、図２のステップＳ２においては、
以下の通り、移動ベクトルの補間処理を実行する。すな
わち、未知話者の全音素ＨＭＭのガウス分布の平均ベク
I
トルの組Ｃ のうち、話者適応用学習データが存在しな
かった音素に対する未学習のＨＭＭに属するガウス分布
Iの平均ベクトルｃn （ここで、ｎ∈Ｋ2 であり、Ｋ2 は各ガウス分布のうち話者適応用学習データの存在しなかったものの集合である。）を、学習されたｋ番目（ｋ∈ＫR1 ）の移動ベクトルｖk と、平均ベクトルｃn と平均ベク

特許２８７５１７９8kトルｃn 間のファジイ級関数μn ,k から求めた移動ベク
Iトルｖn を用いてｃn に移動する。
【００２２】
【数２】

【数３】
10
【数４】

R

20

30

40

50

【００２３】ここで、ｄn ,k は、平均ベクトルｃn と平R均ベクトルｃk の距離を表す。上記の移動ベクトルの計
算処理と補間処理を図４を用いて説明する。図４（ａ）
及び（ｂ）は、すべてのＨＭＭに含まれるガウス分布の合計が４個である場合について示してある。連結学習に
R
R
R
より平均ベクトルｃ1 ，ｃ2 ，ｃ3 がそれぞれ、平均ベ
I
I
I
クトルｃ1 ，ｃ2 ，ｃ3 にそれぞれ移動し、平均ベクトR
ルｃn は学習されなかった場合を示している。この場合
I
R
R
Rの平均ベクトルｃn は、ｃ1 ，ｃ2 ，ｃ3 と移動ベクト
ルｖ1 ，ｖ2 ，ｖ3 及びファジイ級関数μn ,1 ，μn ,2 ，
μn ,3 を用いて計算される。
【００２４】図４の（ａ）に示すように、話者適応用学
習データが存在しなかった未学習のガウス分布の平均ベ
RRR
クトルｃn の近傍に３個の平均ベクトルｃ1 ，ｃ2 ，ｃR
3 が存在する。そして、図４の（ｂ）に示すように、これらの移動ベクトルｖn （ｎ＝１，２，３）に基づいRて、数３を用いて平均ベクトルｃn の移動ベクトルｖnを求めて、移動ベクトルの補間処理を行い、未学習のガ
I
ウス分布の平均ベクトルｃn を求めている。
【００２５】上述のステップで得られたモデルは、十分な適応語数が得られていない場合に推定誤差を含んでいる。このような推定誤差を含むものから求められた移動ベクトルの方向は、非連続的な動きをしていると考えられる。そこで、話者空間を移動するための移動ベクトルに連続性の拘束条件を入れ、移動ベクトルの方向性を揃える、すなわち平滑化を行うことにより推定誤差の吸収を行う。
【００２６】本実施例においては、平滑化処理の前に、
図２のステップＳ３において、音素列候補の近傍状態を検出して音素列候補のコンテキストを考慮して近傍でない移動ベクトルを除外する処理を実行する。ここでは、
R
R
R
平均ベクトルｃk の近傍にある平均ベクトルｃm とｃkとの間のファジイ級関数μk ,m （ｋ≠ｍ）を計算する。
そして、コンテキスト環境を考慮して上記距離ｄn ,k が所定のしきい値未満の音素列候補以外の音素列候補を除外する。

9【００２７】このステップＳ３の処理の一例を表１の音
素列候補を用いて説明する。表１の各音素列候補のうち真ん中の音素がいま適応すべき音素であるとし、初期話者モデルの音素列をＡ１とする。
【００２８】【表１】
学習データ中の音素列候補─────────────
Ａ１：ｏ／ａ／ｏ
Ａ２：ｉ／ａ／ｉ
Ａ３：ｏ／ｅ／ｏ
Ａ４：ｉ／ｅ／ｉ─────────────
【００２９】ここで、音素ａを構成する特徴ベクトルのR中でｎ番目の特徴ベクトルｃ （／ａ／，ｎ）と、音素ｅを構成する特徴ベクトルの中でｍ番目の特徴ベクトルRｃ （／ｅ／，ｍ）との間の距離は比較的短く近傍に存R在するが、音素ｏを構成するすべての特徴ベクトルｃ（／ｏ／）と、音素ｉを構成するすべての特徴ベクトルRｃ （／ｉ／）との距離は、どの１対１の組み合わせをとっても近傍にないと仮定する。ここで、ベクトル間のR
距離は、例えば特徴ベクトルｃ （／ａ／，ｎ）と特徴R
ベクトルｃ （／ｅ／，ｍ）との距離は、次の数５で表されて計算することができる。
【００３０】【数５】RR
ｄ＝│ｃ （／ａ／，ｎ）−ｃ （／ｅ／，ｍ）│【００３１】まず、適応すべき音素について処理する
Rと、音素ａのｎ番目の特徴ベクトルｃ （／ａ／，ｎ）
Rと音素ｅのｍ番目の特徴ベクトルｃ （／ｅ／，ｍ）とは近傍にあるので、従来例の方法では、４つの音素列を構成する遷移状態系列が、平滑化の対象となる。本実施例においては、適応すべき音素の前後の音素がそれぞれ対応する学習データのコンテキスト、すなわち対応する
前後の音素と近傍であるか否かが判断される。この例では、音素ｏと音素ｉのすべての特徴ベクトルが近傍にないので、音素列候補Ａ２とＡ４とが除外される。すなわ
ち、ステップＳ３の処理では、適応すべき音素が学習データの遷移状態系列の候補の対応する状態と同一又は近傍の状態であっても、適応すべき状態の前後の状態が、学習データの状態系列の候補の対応する前後の状態と近傍でない状態である場合は学習データの移動ベクトルから除外する。言い換えれば、コンテキストに基づいて近傍でない移動ベクトルを除外することになる。
【００３２】本実施例においては、コンテキスト環境を考慮して上記距離ｄn ,k が所定のしきい値未満の状態系
列以外の状態系列を、近傍にないとして除外しているが、本発明はこれに限らず、適応すべき状態の前後の状態が、その近傍にある所定数の近傍の状態に含まれない
ときに、近傍にないと判断して、学習データの移動ベク(5)

特許２８７５１７９1010
トルから除外してもよい。また、これらの近傍状態を例
えばファジイ級関数を用いて重み付けしてもよい。
【００３３】さらに、ステップＳ４の平滑化処理においIては、平均ベクトルｃk とその近傍にあるｍ番目の平均
I
R
ベクトルｃm とｃm の差分ベクトルｖm を求める。次に、ファジイ級関数μk ，m を用いて、差分ベクトルｖmに平滑化処理を行い、次の数６を用いて平滑化移動ベク
sトルｖk を求める。
【００３４】
【数６】

R

20

30

40

50

【００３５】ここで、Ｎ（ｋ）は平均ベクトルｃk の近傍にある平均ベクトルの番号であり、αm はｖm の信頼度を与える定数であり、ｋ＝ｍの場合、μk ,m ＝１とする。
【００３６】最後に、ステップＳ５においては、処理後SRの移動ベクトルｖk と平均ベクトルｃk を用いて、次のR
数７に示すように、平均ベクトルｃk を初期話者モデルの未知話者へ話者適応する。すなわち計算された移動ベS
クトルｖk を用いて、メモリ３０に格納された初期話者
モデルを話者適応することにより学習し、これによって、音素ＨＭＭの話者モデルを計算してメモリ１１に格納する。
【００３７】kR
S【数７】ｃS ＝ｃk ＋ｖk
k【００３８】ここで、ｃS は、平滑化を行って得られた
話者適応後の音素ＨＭＭのガウス分布の平均ベクトルである。本実施例においては、αm ＝１（ｍ∈Ｋ1 ）、αm＝０（ｍ∈Ｋ2 ）とした。また、ファジイ級関数μk ,m ：R（ｋ≠ｍ）は、ｍ∈Ｋ１ である平均ベクトルｃm 全てを用いて求めた。
【００３９】上記の処理を図５を用いて説明する。図５
は、全てのＨＭＭに含まれるガウス分布の合計が４個である場合について示してある。ステップＳ３乃至Ｓ５に
R
R
R
R
よる処理により、平均ベクトルｃ1 ，ｃ2 ，ｃ3 ，ｃkI
IIIがｃ1 ，ｃ2 ，ｃ3 ，ｃk にそれぞれ移動したとする。
I
いま、ｃk に対応する移動ベクトルｖk を考える。移動ベクトルｖｋ は、ｖ1 ，ｖ2 ，ｖ3 ，ｖk とそれぞれに対応するファジイ級関数と各移動ベクトルに対する信頼性のS
重みαｍ により平滑化されｖk が計算される。
【００４０】ただし、図５において、ステップＳ３の処理については図示していないが、上記ステップＳ３における処理を要約すると、以下の通りである。ステップＳ
４において、話者適応用学習データが存在して話者適応
用学習データに基づいて話者適応された後のＨＭＭのガ
ウス分布の平均ベクトル（以下、第１の平均ベクトルという。）を、当該平均ベクトルと、その近傍にある話者
適応された後のＨＭＭのガウス分布の複数の平均ベクト
ル（以下、第２の平均ベクトルという。）とを用いて平(6)11滑化処理を実行するが、この前に、上記平均ベクトルの遷移状態系列と、上記複数の第２の平均ベクトルの遷移状態系列との間の近傍状態に基づいて、上記第１の平均ベクトルの遷移状態系列の近傍にない上記第２の平均ベクトルを除外する。
【００４１】本実施例においては、音声認識のための統計的音素モデルセットとして音素ＨＭＭを使用している。当該音素ＨＭＭは効率的に表現された音素環境依存モデルである。この音素ＨＭＭは逐次状態分割法（Succ
essive State Splitting:以下、ＳＳＳという。）を用
いて自動作成される。上記ＳＳＳでは音素ＨＭＭのトポ
ロジーの決定、異音クラスの決定、各々の状態におけるガウス分布のパラメータの推定を同時に行なう。
【００４２】次いで、上述の本実施例の音声認識方法を用いた、ＳＳＳ−ＬＲ（left‑to‑right rightmost型）
不特定話者連続音声認識装置について説明する。この装置は、メモリ１１に格納された音素環境依存型の効率のよいＨＭＭの表現形式を用いている。また、上記ＳＳＳにおいては、音素の特徴空間上に割り当てられた確率的定常信号源（状態）の間の確率的な遷移により音声パラ
メータの時間的な推移を表現した確率モデルに対して、
尤度最大化の基準に基づいて個々の状態をコンテキスト
方向又は時間方向へ分割するという操作を繰り返すこと
によって、モデルの精密化を逐次的に実行する。
【００４３】図１において、話者適応制御部３１は、初期話者モデルメモリ３０に格納された話者クラスモデル
を含む初期話者モデルを、例えば文発話テキストデータ
であって話者適応用学習データメモリ３２に格納された話者適応用学習データを用いて図２に示す話者適応化処理により移動ベクトルを計算し、計算した移動ベクトルを用いて適応化学習してＨＭＭの不特定話者音素モデルに変換して音素ＨＭＭメモリ１１に格納する。一方、話者の発声音声はマイクロホン１に入力されて音声信号に変換された後、特徴抽出部２に入力される。特徴抽出部
２は、入力された音声信号をＡ／Ｄ変換した後、例えばＬＰＣ分析を実行し、対数パワー、１６次ケプストラム
係数、Δ対数パワー及び１６次Δケプストラム係数を含む３４次元の特徴パラメータを抽出する。抽出された特徴パラメータの時系列はバッファメモリ３を介して音素
照合部４に入力される。
【００４４】音素照合部４は、音素コンテキスト依存型
ＬＲパーザ５からの音素照合要求に応じて音素照合処理を実行する。そして、音素ＨＭＭメモリ１１に格納された音素ＨＭＭの話者モデルを用いて音素照合区間内のデータに対する尤度が計算され、この尤度の値が音素照合
スコアとしてＬＲパーザ５に返される。このとき、前向きパスアルゴリズムを使用する。
【００４５】一方、文脈自由文法データベースメモリ２０内の所定の文脈自由文法（ＣＦＧ）を公知の通り自動的に変換してＬＲテーブルを作成してＬＲテーブルメモ

10

20

30

40

50

特許２８７５１７９12
リ１３に格納される。ＬＲパーザ５は、上記ＬＲテーブ
ルメモリ１３内のＬＲテーブルを参照して、入力された
音素予測データについて左から右方向に、後戻りなしに処理する。構文的にあいまいさがある場合は、スタックを分割してすべての候補の解析が平行して処理される。
ＬＲパーザ５は、ＬＲテーブルメモリ１３内のＬＲテーブルから次にくる音素を予測して音素予測データを音素
照合部４に出力する。これに応答して、音素照合部４は、その音素に対応する音素ＨＭＭメモリ１１内の情報を参照して照合し、その尤度を音声認識スコアとしてＬ
Ｒパーザ５に戻し、順次音素を連接していくことにより、連続音声の認識を行う。上記連続音声の認識において、複数の音素が予測された場合は、これらすべての存
在をチェックし、ビームサーチの方法により、部分的な音声認識の尤度の高い部分木を残すという枝刈りを行って高速処理を実現する。
【００４６】本発明者は、本実施例の音声認識装置の評価を行うために、以下のようにシミュレーションを行った。このシミュレーションには２００状態のＨＭ網を使用した。このＨＭ網は、モデルパラメータを効果的に共有したコンテキスト依存型の音素ＨＭＭモデルのネット
ワークである。このシミュレーションにおいては、コン
テキスト特有の適応を考えることで、より正確な適応を行なえることを確認するため、学習データにより求められた移動ベクトルを、コンテキスト環境が同じ近傍状態に対してのみ適応した場合の適応効果を調べてみた。従来例のＶＦＳ法の利点を生かしながら、コンテキスト環
境を考慮するために、一度従来例のＶＦＳ法にて話者適応を行なったＨＭＭに対して、さらに次の２つの話者適応を行ない、適応効果を比較した。
（１）コンテキスト環境を考慮せず、再度従来例のＶＦ
Ｓ法で話者適応処理を行なった場合（従来例）。
（２）上述のごとく、コンテキスト環境が同じ近傍状態に対してのみ移動ベクトルを応用して、話者適応を行なった場合（本実施例）。
このシミュレーション結果を表２に示す。ここで、テキストクローズドとは、初期話者モデルに学習データを含む場合であり、テキストオープンとは、初期話者モデルに学習データを含まない場合である。
【００４７】【表２】【００４８】表２に示すシミュレーションの認識結果から明らかなように、クローズデータ、オープンデータともに、コンテキストを考慮したときの本実施例の認識率

(7)13は、コンテキスト環境を考慮しない場合の従来例に比較して向上しており、特に、オープンデータの向上率は高い。これは、オープンデータが、異なる環境のコンテキストを多く含んでいるからであると思われる。
【００４９】以上説明したように、コンテキスト環境を考慮して移動ベクトルを適応することにより、コンテキ
スト環境を考慮しない従来例の場合に比べて適応効果は向上し、特に、複数音素にわたる誤認識に対して効果があり、従来例に比較して高い音声認識率を得ることができる。
【００５０】なお、話者適応制御部３１と、音素照合部
４と、ＬＲパーザ５は、例えばディジタル計算機により構成される。
【００５１】以上の実施例においては、適応すべき音素の前後の１つずつの音素について図２のステップＳ３の処理を行っているが、本発明はこれに限らず、適応すべ
き音素の前後の複数の音素について処理を行ってもよい。以上の実施例においては、ＨＭＭのガウス分布の平均ベクトルの移動ベクトルを用いて話者適応した後平滑化処理しているが、ガウス分布の平均ベクトル以外の、
例えばＶＱコードブックなどの特徴ベクトルを用いてもよい。
【００５２】【発明の効果】以上詳述したように本発明に係る請求項
１記載の話者適応化装置によれば、話者適応前後の隠れマルコフモデルの特徴ベクトルの関係を示す移動ベクトルを用いて、話者適応用学習データに基づいて初期話者
モデルを話者適応して学習することにより音声認識のための隠れマルコフモデルの話者モデルを計算するための話者適応化装置において、上記話者適応用学習データが存在して話者適応用学習データに基づいて話者適応された後の隠れマルコフモデルの第１の特徴ベクトルを、当該第１の特徴ベクトルと、その近傍にある話者適応された後の隠れマルコフモデルの複数の第２の特徴ベクトルとを用いて平滑化処理を実行する平滑化手段を備え、上記平滑化手段は、上記第１の特徴ベクトルと、上記複数の第２の特徴ベクトルとの間の近傍状態と、上記第１と第２の特徴ベクトルを含む隠れマルコフモデルの前後の隠れマルコフモデルの特徴ベクトルの近傍状態に基づいて、上記第１の特徴ベクトルの近傍にないか、又は近傍にあっても前後の隠れマルコフモデルを構成する特徴ベクトルが近傍にない上記第２の特徴ベクトルを除外した
後、上記平滑化処理を実行する。これにより、従来例に比較して適応効果を向上させることができ、特に、複数の音素にわたる誤認識を防止することができ、従って、平滑化後の移動ベクトルを用いて話者適応された話者モ
デルを用いて音声認識することにより、従来に比較して高い音声認識率を得ることができる。
【００５３】また、請求項２記載の話者適応化装置においては、上記平滑化手段は、好ましくは、上記第１の特

10

20

30

40

50

特許２８７５１７９14
徴ベクトルと、上記各第２の特徴ベクトルとの間の距離
及び上記第１と第２の特徴ベクトルを含む隠れマルコフ
モデルの前後の隠れマルコフモデルを構成する特徴ベク
トル間の距離を計算し、これらの距離が所定のしきい値
未満の上記第２の特徴ベクトル以外の第２の特徴ベクト
ルを除外する。これにより、より適切に近傍でない第２の特徴ベクトルを除外することができ、複数の音素にわたる誤認識を防止することができる。
【００５４】さらに、請求項３記載の話者適応化装置においては、上記平滑化手段は、好ましくは、上記第１の特徴ベクトルと、上記各第２の特徴ベクトルとの間の距
離及び上記第１と第２の特徴ベクトルを含む隠れマルコフモデルの前後の隠れマルコフモデルを構成する特徴ベクトル間の距離を計算し、より距離が短い所定数の上記第２の特徴ベクトル以外の第２の特徴ベクトルを除外する。これにより、より適切に近傍でない第２の特徴ベク
トルを除外することができ、複数の音素にわたる誤認識を防止することができる。
【００５５】また、請求項４記載の音声認識装置においては、請求項１乃至３のうちの１つに記載の話者適応化装置によって話者適応された隠れマルコフモデルの話者モデルが計算される。そして、上記音声認識手段は、入力された発声音声文の音声信号に基づいて、上記話者適応化装置によって話者適応された隠れマルコフモデルの話者モデルを用いて音声認識して音声認識結果を出力する。これにより、従来に比較して高い音声認識率で音声認識することができる。
【図面の簡単な説明】【図１】 本発明に係る一実施例である音声認識装置のブロック図である。
【図２】 図１の話者適応制御部３１によって実行される話者適応化処理を示すフローチャートである。
【図３】 移動ベクトルを用いて図２の話者適応化処理を実行する場合における、適応学習前の初期話者モデルの音響空間ＡＳ１から適応学習後の話者モデルの音響空
間ＡＳ２への変換を示す概念図である。
【図４】 （ａ）は、図２のステップＳ２で実行される
移動ベクトルの計算処理を示す概念図であり、（ｂ）
は、図２のステップＳ３で実行される移動ベクトルの補間処理を示す概念図である。
【図５】 図３のステップＳ４で実行される移動ベクトルの平滑化処理を示す概念図である。
【符号の説明】
１…マイクロホン、
２…特徴抽出部、
３…バッファメモリ、
４…音素照合部、
５…ＬＲパーザ、
１１…音素ＨＭＭメモリ、
１３…ＬＲテーブルメモリ、(8)15２０…文脈自由文法データベースメモリ、
３０…初期話者モデルメモリ、
３１…話者適応化制御部、
３２…話者適応用学習データメモリ、
Ｓ１…移動ベクトルの計算処理、
Ｓ２…移動ベクトルの補間処理、

特許２８７５１７９

16＊ Ｓ３…音素列候補の近傍状態を検出して音素列候補のコ
ンテキストを考慮して近傍でない移動ベクトルを除外す
る処理、
Ｓ４…移動ベクトルの平滑化処理、
Ｓ５…処理後の移動ベクトルを用いて話者適応化する処
＊
理。
【図１】

【図５】

【図２】

(9)

特許２８７５１７９

【図３】

【図４】

─────────────────────────────────────────────────────
フロントページの続き(72)発明者

匂坂 芳典
京都府相楽郡精華町大字乾谷小字三平谷
５番地 株式会社エイ・ティ・アール音声翻訳通信研究所内(56)参考文献

特開 平６−60048（ＪＰ，Ａ)
日本音響学会講演論文集（平成７年３月）２−５−７，ｐ．43〜44
電子情報通信学会技術研究報告「音声」ＳＰ95−30，ｐ．41〜476(58)調査した分野(Int.Cl. ，ＤＢ名)
G10L 3/00
531
G10L 3/00
535
G10L 3/00
521
ＪＩＣＳＴファイル（ＪＯＩＳ)