(57)【特許請求の範囲】
【請求項１】
入力音声について特徴量を検出する特徴量検出手段と、
前記入力音声について発話速度を検出する発話速度検出手段と、
この発話速度検出手段によって検出された発話速度に反比例するように、前記特徴量検出手段によって検出された特徴量の時間軸方向の変化量を調整する特徴量調整手段と、
この特徴量調整手段によって調整された変化量を含む特徴量を用いて、隠れマルコフモデルに基づく確率計算を行うことにより前記入力音声を認識する認識手段と、
を備えることを特徴とする音声認識装置。
【請求項２】
前記発話速度検出手段は、前記特徴量の時間軸方向の変化量の平均を求めることにより発話速度を検出することを特徴とする請求項１記載の音声認識装置。
【請求項３】
入力音声について特徴量を検出する特徴量検出工程と、
前記入力音声について発話速度を検出する発話速度検出工程と、
この発話速度検出工程において検出された発話速度に反比例するように、前記特徴量検出工程において検出された特徴量の時間軸方向の変化量を調整する特徴量調整工程と、
この特徴量調整工程において調整された変化量を含む特徴量を用いて、隠れマルコフモデルに基づく確率計算を行うことにより前記入力音声を認識する認識工程と、
を備えることを特徴とする音声認識方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声認識装置、及び音声認識方法に係り、詳細には不特定話者の音声認識に好適な音声認識装置、及び音声認識方法に関する。
【０００２】
【従来の技術】
近年、音声認識の研究が盛んに行われ、部分的には実用されている。その基本的手法はＨＭＭ（Hidden Markov Model；隠れマルコフモデル）を利用した統計手法によるものである。図６を参照してＨＭＭによる音声認識の一般的な手法を説明する。まず、マイクから入力された音声はＡ／Ｄ変換部１０１で量子化された後、フレーム化部１０２によってフレーム（例えばフレーム周波数１０ｍｓ程度の所定処理単位長のタイムスライス）に区切られ、このフレームを処理単位として特徴量検出部１０３によって特徴量が計算される。この特徴量は多くの場合、ＭＦＣＣ（Mel-Frequency Cepstrum Coefficients；メル周波数ケプストラム係数）と呼ばれる３０次程度のベクトルが使用される。
【０００３】
一方、単語毎にＨＭＭモデル１０５１〜１０５ｎがトレーニング等によって予め与えられている。ＨＭＭモデルとは各単語を音素程度の比較的少ない複数の状態で表し、単語毎に状態の遷移確率と、各状態から入力されたベクトル（特徴量）を出力する確率と、をパラメータとして与えたものである。単語ＨＭＭモデル１０５１〜１０５ｎは音素毎にトレーニングされたＨＭＭモデルをその単語を音素に分解するときの順に結合することによっても得ることができる。
【０００４】
単語ＨＭＭモデル１０５１〜１０５ｎと、入力された音声から計算された特徴量である特徴ベクトル列とが比較部１０４に入力される。比較部１０４ではどのＨＭＭモデルが最も高い確率で与えられた特徴ベクトル列を出力するかを確率計算によって求める。例えば“やま”のＨＭＭモデルHMM（yama）で、入力音声の特徴ベクトル列ｘ（ｉ）を評価する場合は、「モデルHMM（yama）からその特徴ベクトル列ｘ（ｉ）が出力される確率；シンボル（特徴ベクトル）発生確率」を計算する。比較部１０４は各単語ＨＭＭモデルについてシンボル（特徴ベクトル）発生確率を計算し、その確率を最大とするＨＭＭモデルに対応する単語を音声認識結果として出力する。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述のＨＭＭモデルは多くの発話者に多くの語を発話させて求めているため、平均的な発話速度でトレーニングされている。そのため、平均よりも若干早口の発話者の音声や若干遅く話す発話者の音声を認識する際も同一のＨＭＭモデルを使用することは、必ずしも最適なＨＭＭモデルを用いた音声認識を行っているとは言えず、認識率が低下する原因となっていた。また、発話速度に応じたＨＭＭモデルを別個に用意することは困難である。
【０００６】
本発明の課題は、発話速度に適応したモデルを特別に用意しなくとも話者の発話速度に適応した音声認識を可能とする音声認識装置、及び音声認識方法を提供することである。
【０００７】
【課題を解決するための手段】
以上の課題を解決するため、請求項１記載の発明の音声認識装置は、
入力音声について特徴量を検出する特徴量検出手段（例えば、図１に示す特徴量検出部１３）と、
前記入力音声について発話速度を検出する発話速度検出手段（例えば、図１に示す平均微分量検出部３）と、
この発話速度検出手段によって検出された発話速度に反比例するように、前記特徴量検出手段によって検出された特徴量の時間軸方向の変化量を調整する特徴量調整手段（例えば、図１に示す特徴量調整部４）と、
この特徴量調整手段によって調整された変化量を含む特徴量を用いて、隠れマルコフモデル（例えば、図１に示すＨＭＭモデル１５１〜１５ｎ）に基づく確率計算を行うことにより前記入力音声を認識する認識手段（例えば、図１に示す比較部１４）と、
を備えることを特徴としている。
【０００８】
また、請求項３記載の発明の音声認識方法は、
入力音声について特徴量を検出する特徴量検出工程と、
前記入力音声について発話速度を検出する発話速度検出工程と、
この発話速度検出工程において検出された発話速度に反比例するように、前記特徴量検出工程において検出された特徴量の時間軸方向の変化量を調整する特徴量調整工程と、
この特徴量調整工程において調整された変化量を含む特徴量を用いて、隠れマルコフモデルに基づく確率計算を行うことにより前記入力音声を認識する認識工程と、
を備えることを特徴としている。
【０００９】
この請求項１または３記載の発明によれば、入力音声の発話速度に反比例するように、入力音声についての特徴量の時間軸方向の変化量を調整し、この調整された変化量を含む前記特徴量を用いて、隠れマルコフモデルに基づく確率計算を行うことにより前記入力音声を認識するので、発話速度を加味した隠れマルコフモデルを特別に用意しなくとも話者の発話速度に適応した音声認識を行うことが可能となり、音声認識率を向上することができる。
【００１０】
また請求項２記載の発明のように、請求項１記載の音声認識装置において、
前記発話速度検出手段は、前記特徴量の時間軸方向の変化量の平均を求めることにより発話速度を検出することが有効である。
【００１１】
この請求項２記載の発明によれば、前記特徴量の時間軸方向の変化量の平均を求めることにより発話速度を検出するので、任意の話者の発話速度を特定することができ、様々な発話速度に適応した音声認識を行うことができる。
【００１２】
【発明の実施の形態】
以下、図１〜図５を参照して本発明に係る音声認識装置１の実施の形態を詳細に説明する。
【００１３】
まず構成を説明する。
図１は音声認識装置１の構成を示すブロック図である。
図１に示すように、音声認識装置１は、Ａ／Ｄ変換部１１、フレーム化部１２、特徴量検出部１３（特徴量検出手段）、比較部１４（認識手段）、複数の単語ＨＭＭモデル１５１，１５２，・・・１５ｎを備える他、微分特徴量検出部２、平均微分量検出部３（発話速度検出手段）、及び特徴量調整部４（特徴量調整手段）を備える。
【００１４】
Ａ／Ｄ変換部１１は、マイクから入力されたアナログ音声信号をＡ／Ｄ変換し、量子化音声信号としてフレーム化部１２に出力する。
フレーム化部１２は、Ａ／Ｄ変換部１１から入力された量子化音声信号を例えば８〜１６ｍｓ程度のシフト間隔（フレーム周波数）で所定の処理単位長（フレーム長；例えば、２０〜４０ｍｓ）に区切る。この区切られた各音声区間をフレームと呼ぶ。フレームは一部重複させるようにして切り出すのが望ましい。
特徴量検出部１３はフレーム毎に特徴量を検出する。特徴量は、例えばＭＦＣＣ（Mel-Frequency Cepstrum Coefficients；メル周波数ケプストラム係数）と呼ばれる３０次程度の特徴ベクトル列を用いる。
【００１５】
ここで、図２を参照してＭＦＣＣの検出工程を説明する。
まず入力された音声信号について平均値を計算し、エンファシス（高域強調）を施してスペクトルの傾斜を平坦化する。そして、フレーム化部１２においてフレームを切り出す際、元の音声信号に時間窓を乗じて重み付けする。例えば、時間窓としてハミング窓を乗じることによってフレームの両端に急激な変化が起こらないようにしている。その後、特徴量検出部１３は人間の聴覚特性に適した特徴量を抽出するため、音の周波数の高さに対して、対数的な特性（メル尺度）を示すような重みがかかるように、まずＦＦＴ（高速フーリエ変換；Fast Fourier Transform）を計算して周波数軸に変換し（ステップＳ１）、メル尺度に変換する（ステップＳ２）。更に、対数変換して（ステップＳ３）、重み付けし（ステップＳ４）、ＦＦＴ（ＣＯＳ変換）した後（ステップＳ５）、正規化する（ステップＳ６）。正規化処理では、各特徴量の平均値はおよそ０になるように正規化される。
【００１６】
以上の過程で求められたＭＦＣＣの出力ディメンションはエネルギー（≧０）の対数である。これはＭＦＣＣに限らず、ほぼ全ての特徴量に共通といえる。以下、特徴量検出部１３から出力される特徴量のディメンションはエネルギーの対数であるとして説明する。なお、特徴量はＭＦＣＣに限定されるものではなくその他のものでもよい。また、特徴ベクトル列の次元も任意である。ここではｎ次元とする。
【００１７】
微分特徴量検出部２は、特徴量検出部１３で検出された特徴量から、特徴量の時間軸方向の変化量である微分特徴量を検出する。微分特徴量は隣り合うフレームの特徴量の差分から求められ、１回微分（特徴量の変化量）または２回微分（特徴量の変化量の変化量）を含む。一般に、特徴量検出部１３において求められた特徴量と微分特徴量検出部２において求められた微分特徴量とを含む特徴量を用いて、後述する比較部１４における確率計算が行われる。
【００１８】
平均微分量検出部３は、微分量検出部２において検出された微分特徴量の絶対値平均等を計算することにより平均微分量を求め、この平均微分量を現在認識対象とされている話者についての平均的な発話速度を表すパラメータとする。なお、平均微分量検出部３において検出される平均微分量は一つの単語毎に変動させるものではなく、話者の平均的な発話速度が認識できるように、所定の音声区間、例えば１０単語以上の音声区間における各フレームの特徴量の差分（微分特徴量）の平均をとるようにする。また発話速度の大きな変動は望ましくないので、極端に速い場合や遅い場合を平均微分量の計算から外すようにリミッタを設けてもよい。
【００１９】
ここで、ＨＭＭモデル１５１〜１５ｎ及びＨＭＭモデル１５１〜１５ｎを用いた音声認識について図３〜図５を参照して説明する。図３は音声“ｙａｍａ”の状態遷移の様子を模式的に示す図であり、図４は図３の一部を示す図である。また、図５は、シンボル（特徴ベクトル）発生確率分布を表すグラフである。
【００２０】
図３に示すように、音声“ｙａｍａ”には１２個の状態があると仮定する。図中の円はそれぞれ状態を示し、矢印は状態が遷移する方向を示している。そして図４に示すように、各状態Ａ，Ｂ，Ｃにおいて、状態Ａ→状態Ａ、状態Ｂ→状態Ｂ、状態Ｃ→状態Ｃのように現在の状態を維持する（状態内遷移）確率をそれぞれｐ（ａ）、ｐ（ｂ）、ｐ（ｃ）とし、状態Ａ→状態Ｂ、状態Ｂ→状態Ｃ、状態Ｃ→状態Ｘのように異なる状態へ遷移する（状態間遷移）確率をそれぞれｑ（ａ）、ｑ（ｂ）、ｑ（ｃ）とする。ここで、
ｑ（ａ）＝１−ｐ（ａ）
ｑ（ｂ）＝１−ｐ（ｂ）
ｑ（ｃ）＝１−ｐ（ｃ）
であり、ｐ（ａ）、ｐ（ｂ）、ｐ（ｃ）、ｑ（ａ）、ｑ（ｂ）、ｑ（ｃ）はトレーニングによって与えられている。
【００２１】
また、各状態Ａ，Ｂ，Ｃから特徴ベクトルＸを発生する確率はprob(ａ，Ｘ)、prob(ｂ，Ｘ)、prob(ｃ，Ｘ)で表され、それぞれトレーニングによって与えられている。ここでは、確率prob(ａ，Ｘ)は状態内遷移（状態Ａ→状態Ａ）と状態間遷移（状態Ａ→状態Ｂ）とで同一であるとする。prob(ｂ，Ｘ)、prob(ｃ，Ｘ)についても同様とする。
【００２２】
各状態Ａ，Ｂ，Ｃで、特徴ベクトルＸを発生する確率、すなわちシンボル発生確率の分布は図５に示すように混合ガウス分布で表される。図５では簡単のためにベクトルを２次元としている。また、各次元は実際は複数のガウス分布の混合であるが、図５では次式（１）に示す１個のガウス分布を表すこととする。
【００２３】
prob(v0，v1)＝1/（2π*|V｜1/2）*exp｛−(v0，v1)V-1(v0，v1)Vt｝・・・(1)
V：共分散行列
【００２４】
一般に、ある状態から与えられた特徴ベクトルが発生する確率はprob(状態，特徴ベクトル)で表される。ここで、probは状態毎に与えられたｎ次元混合分布の確率密度である。
【００２５】
ＨＭＭモデルに基づいて音声認識を行う場合は、与えられている各ＨＭＭモデルについて、その各状態から入力音声の特徴ベクトルがいくつ発生するかを確率（シンボル（特徴ベクトル）発生確率）計算によって求められる。シンボル（特徴ベクトル）発生確率を求めるためには、例えば、入力音声の特徴ベクトルがＶ１〜Ｖ２０の２０個のベクトルである場合は、「２０個のベクトルがどの状態でいくつ発生するか」を求めればよい。一例を挙げると、図４において、「Ｖ１、Ｖ２は状態Ａで発生して、Ｖ３は状態Ａから状態Ｂへの遷移中に発生し、Ｖ４〜Ｖ１０は状態Ｂで発生して、Ｖ１１は状態Ｂから状態Ｃへの遷移中に発生し、Ｖ１２〜Ｖ２０は状態Ｃで発生する」とした場合に求められる確率Ｐ１は、次式（２）で表すことができる。
【００２６】
P1=prob(a,V1)*prob(a,V2)*prob(a,V3)*prob(b,V4)*・・・*prob(b,V11)*prob(c,V12)*・・・*prob(c,V20)*(p(a)^2)*(1-p(a))*(p(b)^7)*(1-p(b))*(p(c)^9)  ・・・  (2)
【００２７】
同様に２０個のベクトルがどの状態でいくつ発生するかの全ての場合について確率Ｐ１，Ｐ２，・・・，Ｐｍを計算する。それらの和ΣＰｍが「ＨＭＭモデルが与えられた（入力された）特徴ベクトル列を発生する確率」となる。以上の確率計算は後述する比較部１４において行われる。
【００２８】
次に、ＨＭＭモデルと発話速度の関係を説明する。
特徴ベクトルの要素には隣接するフレームの特徴ベクトルとの差分（または更にその差分）である微分特徴量が含まれる。それらの微分特徴量は発話速度が速い人は大きく、発話速度が遅い人は小さくなる。一方、ＨＭＭモデル１５１〜１５ｎは多くの発話者による発話音声でトレーニングされているため、平均的な発話速度となっている。この平均的な発話速度でトレーニングされたＨＭＭモデル１５１〜１５ｎを利用して、発話速度の遅い音声を正しく認識させるためには、微分特徴量を大きくして、平均的な発話速度での微分特徴量に近づけて、確率計算に用いるようにすればよい。逆に、発話速度の速い音声の場合は、微分特徴量を小さくして、平均的な発話速度での微分特徴量に近づけて、確率計算に用いるようにすればよい。
【００２９】
そこで、本実施の形態の音声認識装置１は、微分特徴量検出部２で求められた各フレームの微分特徴量を、平均微分量検出部３で求めた平均微分量（発話速度）に応じて特徴量調整部４により調整し、検出されている微分特徴量を調整した微分特徴量に置き換える。そして、調整後の微分特徴量を用いてその後の処理（比較部１４におけるＨＭＭモデル１５１〜１５ｎに基づいた音声認識）を行う。ここで、各フレームの微分特徴量は、平均微分量検出部３において検出した平均微分量に反比例するように調整される。すなわち、「（微分特徴量）×（平均微分量）＝（定数）」となるように各フレームの微分特徴量が調整される。このように微分特徴量を調整することにより、発話速度が速い場合、すなわち平均微分量が大きい場合は、微分特徴量が小さくなるように調整され、逆に発話速度が遅い場合、すなわち平均微分量が小さい場合は、微分特徴量が大きくなるように調整される。
【００３０】
比較部１４は特徴量調整部４において微分特徴量が調整された特徴ベクトルを用いて、平均的な発話速度でトレーニングされた各ＨＭＭモデル１５１〜１５ｎからのシンボル（特徴ベクトル）発生確率を計算し、その確率が最も大きいＨＭＭモデルを音声認識結果として出力する。
【００３１】
次に動作を説明する。
マイクから入力されたアナログ音声信号はＡ／Ｄ変換部１１において量子化音声信号に変換され、フレーム化部１２において時間軸方向に複数のフレームに区切られる。各フレームの音声信号は特徴量検出部１３に入力されて、ＭＦＣＣ等の特徴量（特徴ベクトル列）が検出される。次に、微分特徴量検出部２においてこの特徴量の時間軸方向の変化量、または変化量の変化量である微分特徴量が計算される。微分特徴量は平均微分量検出部３に出力されるとともに、特徴量調整部４に出力される。平均微分量検出部３では例えば、１０単語以上の音声区間にある複数のフレームの各微分特徴量からその平均値である平均微分量、すなわち発話速度を求める。求められた平均微分量は特徴量調整部４に入力される。
【００３２】
特徴量調整部４は、平均微分量検出部３において求められた平均微分量に基づいて、「（微分特徴量）×（平均微分量）＝（定数）」となるように微分特徴量検出部２から入力された各フレームの微分特徴量を調整する。そして、検出されている微分特徴量を調整された微分特徴量で置き換え、その後、比較部１４では微分特徴量が調整された特徴ベクトルにて、通常の平均的な速度でトレーニングされているＨＭＭモデル１５１〜１５ｎからのシンボル（特徴ベクトル）発生確率を求め、その確率が最大となるＨＭＭモデルに対応する単語を音声認識結果として出力する。
【００３３】
以上説明したように、本実施の形態の音声認識装置１は話者の発話速度を平均微分量として求め、発話速度に反比例するように微分特徴量を調整し、微分特徴量が調整された特徴ベクトルを用いて各ＨＭＭモデル１５１〜１５ｎについてシンボル（特徴ベクトル）発生確率を計算し、その確率が最大となるＨＭＭモデルに対応する単語を音声認識結果とする。
【００３４】
従って、発話速度が速い場合、すなわち平均微分量が大きい場合は、微分特徴量が小さくなるように調整され、逆に発話速度が遅い場合、すなわち平均微分量が小さい場合は、微分特徴量が大きくなるように調整されるので、平均的な速さのＨＭＭモデルに適合した微分特徴量に調整することができ、発話速度に対応したＨＭＭモデルを特別に用意しなくとも、発話速度に適応した音声認識を行うことが可能となり、音声認識率を向上することができる。
【００３５】
なお、本実施の形態において、所定の音声区間における複数のフレームの微分特徴量から平均微分量を求め、この平均微分量に反比例するように適切な微分特徴量を計算により調整する例を示したが、特徴量の調整の仕方はこれに限定されるものではなく、例えば、テーブルによって話者の発話速度に応じた微分特徴量を決定するようにしてもよい。この場合においても、テーブルに設定される微分特徴量は、上述のＨＭＭモデルと発話速度の関係を利用し、平均微分量に反比例するように設定されているものとする。
【００３６】
【発明の効果】
請求項１及び請求項３記載の発明によれば、入力音声の発話速度に反比例するように、入力音声についての特徴量の時間軸方向の変化量を調整し、この調整された変化量を含む前記特徴量を用いて、隠れマルコフモデルに基づく確率計算を行うことにより前記入力音声を認識するので、発話速度を加味した隠れマルコフモデルを特別に用意しなくとも話者の発話速度に適応した音声認識を行うことが可能となり、音声認識率を向上することができる。
【００３７】
請求項２記載の発明によれば、前記特徴量の時間軸方向の変化量の平均を求めることにより発話速度を検出するので、任意の話者の発話速度を特定することができ、様々な発話速度に適応した音声認識を行うことができる。
【図面の簡単な説明】
【図１】音声認識装置１の構成を示すブロック図である。
【図２】特徴量（ＭＦＣＣ）の検出工程を示す図である。
【図３】音声“ｙａｍａ”の状態遷移の様子を模式的に示す図である。
【図４】図３の一部を示す図である。
【図５】特徴ベクトルの発生確率分布を示すグラフである。
【図６】ＨＭＭによる音声認識の従来の手法を説明する図である。
【符号の説明】
１    音声認識装置
２    微分特徴量検出部
３    平均微分量検出部
４    特徴量調整部
１１    Ａ／Ｄ変換部
１２    フレーム化部
１３    特徴量検出部
１４    比較部
１５１〜１５ｎ    単語ＨＭＭ
【図１】
0004517457.tif 000002
【図２】
0004517457.tif 000003
【図３】
0004517457.tif 000004
【図４】
0004517457.tif 000005
【図５】
0004517457.tif 000006
【図６】
0004517457.tif 000007