【手続補正書】
【提出日】平成16年7月14日(2004.7.14)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】  明細書
【発明の名称】  音声認識装置及び音声認識方法
【特許請求の範囲】
【請求項１】  音声を入力として時間に対する電気信号の波形を出力する音声入力部と、前記音声入力部の出力を入力として前記波形の特徴量を出力する信号処理部と、最小単位の認識モデルを保持して出力する学習データ保持部と、前記信号処理部の出力と前記学習データ保持部の出力とを入力として前記波形の特徴量に最も類似する前記最小単位の認識モデルの時系列を出力する無制約類似度計算部と、前記学習データ保持部の出力を入力として認識単語のモデルを構成して出力する認識単語生成部と、前記信号処理部の出力と前記認識単語生成部の出力とを入力として、前記波形の特徴量に最も類似する前記認識単語のモデルについて前記最小単位の認識モデルの時系列を出力する制約類似度計算部と、前記無制約類似度計算部の出力と前記制約類似度計算部の出力とを入力として前記認識単語の妥当性を評価して認識結果を出力する妥当性評価部によって構成される音声認識装置。
【請求項２】  学習データ保持部が保持する認識モデルの最小単位が音節または音素に対応することを特徴とする請求項１記載の音声認識装置。
【請求項３】  無制約類似度計算部は、波形の特徴量に最も類似する最小単位の認識モデルの時系列を、前記音節又は音素と前記音節又は音素の開始時刻とを対として出力することを特徴とする請求項２記載の音声認識装置。
【請求項４】  制約類似度計算部は、波形の特徴量に最も類似する最小単位の認識モデルの時系列を、前記音節又は音素と前記音節又は音素の開始時刻とを対として出力することを特徴とする請求項２記載の音声認識装置。
【請求項５】  妥当性評価部は、無制約類似度計算部が出力する音節又は音素と前記音節又は音素の開始時刻との対の列と、制約類似度計算部が出力する前記音節又は音素と前記音節又は音素の開始時刻との対の列とから、時間軸上における前記音節又は音素の対応を求め、かつ対応する前記対の数の組を出力する時間軸対応計算部と、前記時間軸対応計算部の出力を入力としてすべての前記組に対して評価値を与える対応組評価部と、前記対応組評価部が出力する前記評価値に基づいて認識単語の妥当性を評価する対応組集合評価部とによって構成されることを特徴とする請求項２記載の音声認識装置。
【請求項６】  時間軸対応計算部は、音節又は音素と前記音節又は音素の開始時刻との対によって構成される２つの列について、前記列を構成する連続する部分列の中で前記部分列の中の先頭の対の開始時刻と前記部分列の中の最後の対の次の対の開始時刻とが共に、前記２つの列について定数の範囲内にある最小の前記部分列で時間軸上の対応付けを行うことを特徴とする請求項５記載の音声認識装置。
【請求項７】  対応組評価部は、組の要素がすべて１である前記組の評価値を１として、前記組の要素の値の増加に対して減少する関数を用いて評価値を与えることを特徴とする請求項５記載の音声認識装置。
【請求項８】  対応組集合評価部は、対応組評価部が出力する組の評価値の総和を、認識単語を構成する最小単位の認識モデルの数で割った値を計算し、前記値の大きさによって前記認識単語の妥当性を決定することを特徴とする請求項５記載の音声認識装置。
【請求項９】    音声を入力として時間に対する電気信号の波形を出力する音声入力ステップと、  前記電気信号の波形を入力として特徴量を出力する信号処理ステップと、
前記特徴量を入力としてあらかじめ用意されている最小単位の認識モデルから前記特徴量に最も類似する前記認識モデルの時系列を出力する無制約類似度計算ステップと、
前記特徴量を入力として前記最小単位の認識モデルから構成した認識単語のモデルの中で最も類似する前記認識単語のモデルについて前記最小単位の認識モデルの時系列を出力する制約類似度計算ステップと、
前記無制約類似度計算ステップと前記制約類似度計算ステップとの出力から前記認識単語の妥当性を評価する妥当性評価ステップとを有する音声認識方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、人間が発する音声を認識する装置及び方法に関するものである。
【０００２】
【従来の技術】
不特定話者で大語彙かつ高精度な音声認識装置を実現するために、これまで様々な手法が考案されてきた。しかし、いずれの手法も、あらかじめ学習されているモデルを組み合わせて、入力音声に最も類似するモデルを認識結果として出力するという類似度計算の考え方に基づいている。したがって、装置が予期していない発声や雑音が入力されても、学習されているモデルのいずれかが認識結果として出力され、リジェクション能力が乏しいという問題があった。
【０００３】
このようなリジェクション能力を強化する方法として、認識候補間の類似度の差を利用するものがある（例えば、特開昭６１−７３２００号公報）。この方法では、第一候補と第二候補の類似度の差が、あらかじめ設定されている閾値よりも大きければ第一候補を受理し、そうでなければ棄却することにより、リジェクション能力を向上させている。
【０００４】
【発明が解決しようとする課題】
前述の方法では、利用者の声質や発声内容に応じて閾値を調整しなければならないという問題がある。例えば、学習モデルによく類似する声質を持つ利用者が発声する場合は、第一候補と第二候補の類似度の差は一般に大きくなるが、あまり類似しない声質であればその差は小さくなる。また、一般に学習モデルにはＨＭＭ（隠れマルコフモデル）がよく用いられるが、算出される類似度は発声時間に反比例するので、時間的に長い発声であれば類似度の差が小さくなり、短い発声であれば類似度の差が大きくなる。したがって、受理するか棄却するかの閾値を、利用者が音声認識を行いながら綿密に設定する必要がある。
【０００５】
本発明は、このような従来の装置の課題を考慮し、利用者が閾値の設定をする必要がないリジェクション能力を備えた音声認識を目的とする。
【０００６】
【課題を解決するための手段】
本発明は、音声を入力として時間に対する電気信号の波形を出力する音声入力部と、前記音声入力部の出力を入力として前記波形の特徴量を出力する信号処理部と、最小単位の認識モデルを保持して出力する学習データ保持部と、前記信号処理部の出力と前記学習データ保持部の出力とを入力として前記波形の特徴量に最も類似する前記最小単位の認識モデルの時系列を出力する無制約類似度計算部と、前記学習データ保持部の出力を入力として認識単語のモデルを構成して出力する認識単語生成部と、前記信号処理部の出力と前記認識単語生成部の出力とを入力として、前記波形の特徴量に最も類似する前記認識単語のモデルについて前記最小単位の認識モデルの時系列を出力する制約類似度計算部と、前記無制約類似度計算部の出力と前記制約類似度計算部の出力とを入力として前記認識単語の妥当性を評価して認識結果を出力する妥当性評価部によって構成される音声認識装置である。
【０００７】
【発明の実施の形態】
本発明の実施の形態は、音声を入力として時間に対する電気信号の波形を出力する音声入力部と、前記音声入力部の出力を入力として前記波形の特徴量を出力する信号処理部と、最小単位の認識モデルを保持して出力する学習データ保持部と、前記信号処理部の出力と前記学習データ保持部の出力とを入力として前記波形の特徴量に最も類似する前記最小単位の認識モデルの時系列を出力する無制約類似度計算部と、前記学習データ保持部の出力を入力として認識単語のモデルを構成して出力する認識単語生成部と、前記信号処理部の出力と前記認識単語生成部の出力とを入力として、前記波形の特徴量に最も類似する前記認識単語のモデルについて前記最小単位の認識モデルの時系列を出力する制約類似度計算部と、前記無制約類似度計算部の出力と前記制約類似度計算部の出力とを入力として前記認識単語の妥当性を評価して認識結果を出力する妥当性評価部によって構成される音声認識装置である。
好ましくは、学習データ保持部が、認識モデルの最小単位が音節または音素に対応する音声認識装置である。
【０００８】
好ましくは、無制約類似度計算部は、波形の特徴量に最も類似する最小単位の認識モデルの時系列を、前記音節又は音素と前記音節又は音素の開始時刻とを対として出力する音声認識装置である。
【０００９】
好ましくは、制約類似度計算部は、波形の特徴量に最も類似する最小単位の認識モデルの時系列を、前記音節又は音素と前記音節又は音素の開始時刻とを対として出力する音声認識装置である。
【００１０】
好ましくは、妥当性評価部は、無制約類似度計算部が出力する音節又は音素と前記音節又は音素の開始時刻との対の列と、制約類似度計算部が出力する前記音節又は音素と前記音節又は音素の開始時刻との対の列とから、時間軸上における前記音節又は音素の対応を求め、かつ対応する前記対の数の組を出力する時間軸対応計算部と、前記時間軸対応計算部の出力を入力としてすべての前記組に対して評価値を与える対応組評価部と、前記対応組評価部が出力する前記評価値に基づいて認識単語の妥当性を評価する対応組集合評価部とによって構成
される音声認識装置である。
【００１１】
より好ましくは、時間軸対応計算部は、音節又は音素と前記音節又は音素の開始時刻との対によって構成される２つの列について、前記列を構成する連続する部分列の中で前記部分列の中の先頭の対の開始時刻と前記部分列の中の最後の対の次の対の開始時刻とが共に、前記２つの列について定数の範囲内にある最小の前記部分列で時間軸上の対応付けを行う音声認識装置である。
【００１２】
また、対応組評価部は、組の要素がすべて１である前記組の評価値を１として、前記組の要素の値の増加に対して減少する関数を用いて評価値を与える音声認識装置である。
【００１３】
また、対応組集合評価部は、対応組評価部が出力する組の評価値の総和を、認識単語を構成する最小単位の認識モデルの数で割った値を計算し、前記値の大きさによって前記認識単語の妥当性を決定する音声認識装置である。
本実施形態において、音声入力部、信号処理部、学習データ保持部、無制約類似度計算部、認識単語生成部、制約類似度計算部、妥当性評価部、時間軸対応計算部、対応組評価部、対応組集合評価部は、音声入力装置、信号処理装置、学習データ保持装置、無制約類似度計算装置、認識単語生成装置、制約類似度計算装置、妥当性評価装置、時間軸対応計算装置、対応組評価装置、対応組集合評価装置に対応する。
【００１４】
本発明の一実施の形態の音声認識装置全体の構成を表すブロック図を図１に示す。利用者が発声した音声は音声入力装置１０１に入力され、信号処理装置１０２に入力されて、特徴量の時系列に変換される。学習データ保持装置１０３は、音節あるいは音素などの単位で学習したモデルを保持する。無制約類似度計算装置１０４は、学習データ保持装置１０３が保持するモデルを組み合わせて、信号処理装置１０２が出力する特徴量の時系列に最も類似するモデルの時系列を出力する。認識単語生成装置１０５は、学習データ保持装置１０３のモデルを認識単語に応じて組み合わせる。制約類似度計算装置１０６は信号処理装置１０２が出力する特徴量の時系列に最も類似する認識単語について、その単語を構成するモデルの時系列を出力する。妥当性評価装置１０７は、無制約類似度計算装置１０４と制約類似度計算装置１０６の出力から認識単語の妥当性を評価して認識結果として出力する。
【００１５】
次に本実施の形態の動作を説明する。音声入力装置１０１に入力された利用者の音声は、信号処理装置１０２によって特徴量が抽出される。特徴量としては、一般によく用いられるメルケプストラム係数、デルタメルケプストラム係数、デルタパワー係数などを組み合せて用いる。学習データ保持装置１０３には、音節の単位でＨＭＭを用意し、学習用の音声データから抽出した特徴量をあらかじめ学習させておく。音節は、例えばローマ字に対応させて、
a, i, u, e, o, ka, ki, ku, ke, ko, sa, shi, su, se, so, ta, ...のように設定する。
【００１６】
無制約類似度計算装置１０４は、O(n)DPアルゴリズムなどを用いて、信号処理装置１０２が出力する特徴量の時系列の発生確率が最も高くなる音節の時系列を求める。以上述べた方法は、多くの音声認識装置で使用されているものであり、一般に多くの挿入誤り、脱落誤り、置換誤りが発生する。例えば、利用者が「ビデオテープ」と発声したときに、１００個の特徴量の時系列が得られたとする。最初の特徴量の時刻を０、最後の特徴量の時刻を９９とすると、無制約類似度計算装置１０４の出力は音節と開始時刻を対として、以下のような列
(pi 0) (te 20) (e 25) (o 40) (u 50) (te 70) (i 80) (pu 83) (fu 90)になる。
【００１７】
認識単語生成装置１０５は、学習データ保持装置１０３が保持するモデルを認識単語に応じて組み合わせる。例えば、２つの単語「ビデオテープ」「ＦＭ」については、
ビデオテープ    bi de o te e pu
ＦＭ            e fu e muのように音節を組み合わせる。制約類似度計算装置１０６は、Viterbiアルゴリズムなどを用いて信号処理装置１０２が出力する特徴量の時系列を最も高い確率で発生する認識単語を選択し、それを構成する音節の時系列を出力する。例えば、前記の例で、認識単語「ビデオテープ」が最も高い確率で信号処理装置１０２が出力する時系列を発生するとき、
(bi 0) (de 21) (o 38) (te 73) (e 79) (pu 80)という時系列を出力する。
【００１８】
妥当性評価装置１０７は、無制約類似度計算装置１０４の出力に基づき、制約類似度計算装置１０６の出力の妥当性を評価する。
【００１９】
妥当性評価装置１０７の詳細な構成を表すブロック図を図２に示す。音節と開始時刻の対の列は、時間軸対応計算装置２０１に入力され、時間軸上における各対の対応が計算され、対応する対の数の組を出力する。対の対応の計算は、対の列から、連続する部分列で開始時刻と最後の対の次の対の開始時刻が、すべての列について定数の範囲内にある最小の部分列を求めることに帰着される。例えば、定数を３とすれば、前記の例の２つの列は、
無制約類似度計算装置１０４の出力列    制約類似度計算装置１０６の出力列
[(pi 0)]                                [(bi 0)]
[(te 20) (e 25)]                        [(de 21)]
[(o 40) (u 50)]                         [(o 38)]
[(te 70)]                               [(te 73)]
[(i 80)]                                [(e 79)]
[(pu 83) (fu 90)]                       [(pu 80)]と対応が計算され、その出力としてその対の数の組、
(1 1) (2 1) (2 1) (1 1) (1 1) (2 1)が出力される。
【００２０】
対応組評価装置２０２は時間軸対応計算装置２０１が出力する組に対して評価値を与える。具体的には、組の要素がすべて１である組の評価値を１とし、要素の値の増加に対して減少する関数を用いて評価値を与える。例えば関数を、
・(1 1)の評価値は 1
・(2 1)の評価値は0.5
・(1 2)の評価値は0.5
・それ以外の組の評価値は0と定義すれば、前記の組の評価値の列は、
1 0.5 0.5 1 1 0.5となる。
【００２１】
対応組集合評価装置２０３は、対応組評価装置２０３が各組に与えた評価値から、認識単語の妥当性を計算する。まず、組の評価値の総和を、認識単語を構成する音節の数で割った値を認識単語の評価値として計算する。この値は対応組評価装置２０２で用いる関数の性質によって１を越えないことが保証されている。前記の例では、認識単語「ビデオテープ」を構成する音節の数は６であるので、認識単語の評価値は、
(1 + 0.5 + 0.5 + 1 + 1+ 0.5) / 6 = 0.75となる。認識単語を受理するかしないかの閾値は、使用するＨＭＭの構成や精度に依存するので、受理誤りと拒否誤りが最小になるように実験的に決定する。この閾値は類似度の大きさや差には無関係であるので、一度設定すれば利用者の声質や発声内容に応じて再設定する必要がない。
【００２２】
もう一つの例として、例えば前記の例で認識単語生成装置１０５に認識単語「ビデオテープ」が用意されておらず、認識単語「ＦＭ」が制約類似度計算装置１０６によって最も入力音声に類似していると計算され、その出力が、
(e 0) (fu 40) (e 72) (mu 81)となったとする。無制約類似度計算装置１０４の出力は、認識単語に依存しないので同じ音節の時系列である。時間軸対応計算装置２０１は、音節の時系列を以下のように対応させ、
無制約類似度計算装置１０４の出力列    制約類似度計算装置１０６の出力列
[(pi 0) (te 20) (e 25)]                 [(e 0)]
[(o 40) (u 50)]                         [(fu 40)]
[(te 70)]                               [(e 72)]
[(i 80) (pu 83) (fu 90)]                [(mu 81)]
その結果として、
(3 1) (2 1) (1 1) (3 1)を出力する。したがって、対応組評価装置２０２は、上記の列に評価値を与え、
0 0.5 1 0を出力する。対応組集合評価装置２０３は、認識単語「ＦＭ」を構成する音節数が４であるので、認識単語の評価値として、
(0 + 0.5 + 1 + 0) / 4  = 0.375を出力する。この例では閾値を０．５に設定すれば、認識単語「ＦＭ」は学習モデルに対する類似度の大きさに無関係に拒否される。また、認識単語「ビデオテープ」も同様に類似度の大きさに関わらず正しく受理され、認識結果として出力される。
【００２３】
なお、本発明は対応組評価装置２０３が出力する評価値の列の中で、特に値の大きい部分列に着目すれば、認識単語の中で部分的に発声されている可能性が高い音声区間を認識することも可能である。
【００２４】
【発明の効果】
以上述べたところから明らかなように、本発明は、認識結果の妥当性を類似度の大きさや差から判断しないので、認識時に利用者の声質や発声内容に応じて閾値を再設定する必要がないという長所を有する。
【図面の簡単な説明】
【図１】
本発明の一実施の形態の音声装置の全体の構成を表すブロック図
【図２】
同実施の形態の動作を説明するための妥当性評価装置の詳細な構成を表すブロック図
【符号の説明】
１０１  音声入力装置
１０２  信号処理装置
１０３  学習データ保持装置
１０４  無制約類似度計算装置
１０５  認識単語生成装置
１０６  制約類似度計算装置
１０７  妥当性評価装置
２０１  時間軸対応計算装置
２０２  対応組評価装置
２０３  対応組集合評価装置