(57)【要約】【課題】高精度に子音部の音声認識を行なう。【解決手段】入力された音声の音声波形信号から所定時間間隔で複数の音声区間の特徴量を抽出し、音節別状態遷移モデルと抽出した特徴量とを用いて、入力された音声の段を判定し、段別状態遷移モデルと判定された段とを用いて、判定された段に対応する段別状態遷移モデルの前半部分の状態に割り当てられた音声区間に対し、子音認識に最適な分析条件で子音部分の特徴量を抽出し、音節別子音状態遷移モデルと抽出した子音部分の特徴量とを用いて子音部を判定することにより、音節音声を判定する。【選択図】        図１
2006030899.tif 000002
【特許請求の範囲】
【請求項１】
入力された音声の音声波形信号から所定時間間隔で複数の音声区間の特徴量を抽出する特徴量抽出手段と、
複数の状態が音節別に予め学習された音節別状態遷移モデルと前記複数の音声区間の特徴量とを用いて、入力された音声の音節区間及び５０音発音表における段を判定する段判定手段と、
複数の状態が前記５０音発音表における段別に予め学習された段別状態遷移モデルと前記段判定手段で判定された段とを用いて、前記段判定手段で判定された段に対応する段別状態遷移モデルの前半部分の状態に割り当てられた音声区間に対し、子音認識に最適な分析条件で特徴量を抽出する子音部特徴抽出手段と、
複数の状態が子音別に予め学習された音節別子音状態遷移モデルと前記子音部特徴抽出手段で抽出された特徴量とを用いて子音部を判定することにより、音節区間の音声を判定する子音部判定手段と、
を含む音声認識装置。
【請求項２】
前記状態遷移モデルは、状態遷移確率を持つ隠れマルコフモデルであって、該状態遷移確率を尤度計算に用いることを特徴とする請求項１記載の音声認識装置。
【請求項３】
前記子音部特徴抽出手段は、前記音声波形信号の広帯域部分を対象とし、かつ前記所定時間間隔より短い時間間隔を子音認識に最適な分析条件として、特徴量を抽出する請求項１または請求項２記載の音声認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識装置に係り、特に、状態遷移モデルを用いて高精度に子音を認識することができる音声認識装置に関する。
【背景技術】
【０００２】
従来より、時間遅れ神経回路網（ＴＤＮＮ）を用いて、子音及び母音を階層的に認識する方法が知られている（非特許文献１）。この方法では、母音グループ、摩擦音グループ、破裂音グループ等のカテゴリーを設け、最初に入力音声がどのカテゴリに属するかを特定した後、特定されたカテゴリ内で更に１つの音素／音節に絞り込むものである。
【０００３】
また、入力音声の母音部のみを検出・認識して仮説数を絞り、その後子音部分を認識することで得られたスコアを用いて１つの仮設に絞り込む音声認識方式が知られている（特許文献１）。
【０００４】
そして、パワーディップ等を用いて音素の区切れを検出し、区切った音素の周波数スペクトルの特徴と予め用意されたテンプレートとのマッチングを行なうことにより音素を分類する辞典検索システムも提案されている（非特許文献２）。
【非特許文献１】”連続音声認識のための時間遅れ神経回路網を用いた音韻／音節スポッティング”（沢井他、電子情報通信学会論文誌，Ｄ−ＩＩ  Ｖｏｌ．Ｊ７２−Ｄ−ＩＩ  Ｎｏ．８  ｐｐ．１１５１−１１５８，１９８９）
【非特許文献２】”単音節認識を用いた大語彙辞典検索システムの検討”（小池他  日本音響学会議演論文集，平成７年９月）
【特許文献１】特開平６−２６６３８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１の技術及び特許文献１の技術では、音声分析は一貫して同じ手法を用い、子音に最適な特徴抽出を行なっていないので、精度良く子音の分析ができない、という問題がある。
【０００６】
さらに特許文献１の技術では、最初に母音を特定し言語的制約で仮説を絞り込んだ後、子音で１つの仮説に特定するものであるため、未知語の認識をすることができない、という問題がある。
【０００７】
また、非特許文献２の技術は、音素を分類する際、パワーディプ等の特徴で音素単位に音声が区切れていることを前提にしているが、一般的には音素の区切れを検出することは困難であり、精度良く音素を分類することがでない、という問題がある。
【０００８】
本発明は、上記問題点を解消すべく成されたもので、音節単位で用意された音節別状態遷移モデル、段別状態遷移モデル、及び音節別子音状態遷移モデルの各状態に割り当てられた音声区間に関して認識を行なうことにより、高精度に子音部の音声認識を行なうことができる音声認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために本発明は、入力された音声の音声波形信号から所定時間間隔で複数の音声区間の特徴量を抽出する特徴量抽出手段と、複数の状態が音節別に予め学習された音節別状態遷移モデルと前記複数の音声区間の特徴量とを用いて、入力された音声の音節区間及び５０音発音表における段を判定する段判定手段と、複数の状態が前記５０音発音表における段別に予め学習された段別状態遷移モデルと前記段判定手段で判定された段とを用いて、前記段判定手段で判定された段に対応する段別状態遷移モデルの前半部分の状態に割り当てられた音声区間に対し、子音認識に最適な分析条件で特徴量を抽出する子音部特徴抽出手段と、複数の状態が子音別に予め学習された音節別子音状態遷移モデルと前記子音部特徴抽出手段で抽出された特徴量とを用いて子音部を判定することにより、音節区間の音声を判定する子音部判定手段と、を含んで構成したものである。
【００１０】
本発明によれば、入力された音声の音声波形信号から所定時間間隔で複数の音声区間の特徴量が抽出され、音節別状態遷移モデルと複数の音声区間の特徴量とを用いて、入力された音声の音節区間及び５０音発音表における段が判定される。次に、段別状態遷移モデルと段判定手段で判定された段とを用いて、判定された段に対応する段別状態遷移モデルの前半部分の状態に割り当てられた音声区間に対し、子音認識に最適な分析条件で特徴量が抽出される。そして、音節別子音状態遷移モデルと子音部特徴抽出手段で抽出された特徴量とを用いて子音部を判定することにより、音節区間の音声、すなわり音節を判定する。
【００１１】
状態遷移モデルは、状態遷移確率を持つ隠れマルコフモデルを用い、該状態遷移確率を尤度計算に用いることができる。
【００１２】
また、子音部特徴抽出手段は、音声波形信号の広帯域部分を対象とし、かつ所定時間間隔より短い時間間隔を子音認識に最適な分析条件として、特徴量を抽出することができ、これにより子音部の認識を高精度に行なうことができる。
【発明の効果】
【００１３】
以上説明したように本発明によれば、音節単位で用意された音節別状態遷移モデル、段別状態遷移モデル、及び音節別子音状態遷移モデルを用い、段を判定し、判定された段の子音部に対して子音認識に最適な分析条件で子音部を認識しているので、高精度に子音部の音声認識を行なうことができる、という効果が得られる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１５】
図１に示すように、本実施の形態には、ユーザが単語を音節に区切って発声した音声を検出するマイクロホン１０、マイクロホン１０で検出された音声を分析して音声のパワー情報を備えた音声波形信号を出力する音声分析器１２、及び状態遷移モデルを用いて音声を認識するＣＰＵ，ＲＯＭ，及びＲＡＭを含むコンピュータで構成された音声認識装置１４が設けられている。このＲＯＭには、後述する処理ルーチンのプログラムが記憶されている。
【００１６】
また、音声認識装置１４には、母音を特定するための音節別状態遷移モデルを記憶した記憶装置１６、段別状態遷移モデルを記憶した記憶装置１８、及び音節別子音部状態遷移モデルを記憶した記憶装置２０が接続されると共に、認識結果を表示するＬＣＤ等で構成された表示装置２０が接続されている。
【００１７】
本実施の形態では、音節別状態遷移モデル、段別状態遷移モデル、及び音節別子音部状態遷移モデルの３種類の状態遷移モデルを用いているが、これらの状態遷移モデルは、複数の音声区間の各々に対して割り当てられた複数の状態を有する状態遷移モデルが使用されている。各状態には、図５に示すように、対応する音声区間の特徴を表すパラメータ（１つの代表特徴ベクトル、複数の代表特徴ベクトルと各代表特徴ベクトルに対応する出力確率、確率密度関数、または線形多項式等）が保持されている。また、状態遷移時に考慮されるパラメータとしては、状態遷移確率または状態継続長分布等があるが、状態遷移時のパラメータは考慮しなくてもよい。また、状態に保持されているパラメータと状態遷移時のパラメータとは、複数の組合せを考えることができる。本実施の形態では、図３に示すように、６つの音声区間に対して割り当てられた６つの状態ｓ１〜ｓ６を各々有する状態遷移モデルを使用した。
【００１８】
音節別状態遷移モデルは、「あ」、「い」、「う」、「え」、「か」、・・・「きゃ」、「きゅ」、「きょ」、・・・「ぴゃ」、「ぴゅ」、「ぴょ」、「ん」の５０音発音表に表された５０個、濁音、半濁音、拗音を含む計約１００個の日本語の基本的な単音節の６つの音声区間の各々に割り当てられた状態を記憶した音響モデルが用いられる。
【００１９】
段別状態遷移モデルは、「あ」段、「い」段、「う」段、「え」段、「お」段、「ん」段、「や」段、「ゆ」段、「よ」段の９種類の各段に対して６つの音声区間の各々に割り当てられた状態を記憶した音響モデルが用いられる。
【００２０】
なお、例えば、「みゃ」、「にゃ」、「きゃ」、「りゃ」、「ぴゃ」等の促音「や」が付く音節に関しては、「や」段に分類されている。
【００２１】
音節別子音部状態遷移モデルは、「あ」、「い」、「う」、「え」、「か」、・・・「きゃ」、「きゅ」、「きょ」、・・・「ぴゃ」、「ぴゅ」、「ぴょ」、「ん」の五十音図に表された５０個、濁音、半濁音、拗音を含む計約１００個の日本語の基本的な単音節の子音部の６つの音声区間の各々に割り当てられた状態を記憶した音響モデルが用いられる。
【００２２】
音節別子音部状態遷移モデルの音声区間、すなわちウインド幅は、音節別状態遷移モデルの音声区間と同じ幅であるが、後述するようにウインドのシフト量を小さくする、すなわち特徴量を抽出する時間間隔を短くされている。また、子音部に対して広域分析を行なうことにより、高精度子音分析を可能としている。
【００２３】
これらの状態遷移モデルは、多数の音節に対する音節音声データを用いて予め学習される。まず、音節別状態遷移モデルについては、図２に示すように、音節音声データに対して、時間軸方向にシフトされる矩形のウインドウＷを適用し、ウインドウ幅で６状態の各々に割り当てられた音声区間に対応する波形部分を切出し、各波形部分の特徴量（波形部分のパワーの平均及び分散）を抽出し、この特徴量を各状態に記憶することにより図３に示すように状態遷移モデルの学習を行なう。
【００２４】
段別状態遷移モデルは、段毎に、音節別状態遷移モデルと同様に状態遷移モデルを学習する。例えば、「あ」段の場合は、「あ」、「か」、「さ」、「た」、「な」、・・・「わ」の各音節に相当する全ての音節音声データを用いて、「あ」段に対応する特徴量を抽出し、この特徴量を６つの状態の各々に記憶することにより図３に示すように状態遷移モデルの学習を行なう。
【００２５】
音節別子音部状態遷移モデルについては、上記のようにして学習した段別状態遷移モデルを用いて、時間方向の伸縮を考慮したモデルとのマッチング手法（例えば、各状態に代表特徴ベクトルが保持されている場合は、動的計画法）により音節音声データと段別状態遷移モデルの各状態との対応付けを行ない、段別状態遷移モデルの前半のＮ状態に割り当てられた音声区間に対し、子音認識に最適な高精度の分析条件（例えば、広帯域分析で、かつ分析の時間間隔を短くした条件）で音節音声データから特徴量を抽出し、抽出した特徴量６つの状態に記憶することにより音節毎に状態遷移モデルを学習する。例えば、図２に示すように、段別状態遷移モデルが６状態ｌｅｆｔ−ｔｏ−ｒｉｇｈｔ型状態遷移モデルであれば、段別状態遷移モデルの前半の３状態に割り当てられた音声区間の音節音声データに対し、高精度の分析条件で音節別子音部状態遷移モデルの６状態に割り当てられた音声区間に対する特徴量を抽出し、抽出した特徴量を各状態に記憶することにより音節毎に状態遷移モデルを学習する。
【００２６】
上記のように、子音認識として広帯域分析を行なうのは、母音が低帯域に集中しているため、子音を高精度に分析するために広帯域分析を行なうものである。
【００２７】
次に、上記のようにして学習された状態遷移モデルを用いて音声認識を行なう、本実施の形態の音声認識の処理ルーチンについて図４を参照して説明する。ステップ１００において、マイクロホン１０から入力された音声波形信号に対して、時間軸方向にシフトされる学習時に用いた矩形のウインドウを適用し、ウインドウ幅で６状態の各々に割り当てられた音声区間に対応する波形部分を切出し、各波形部分の特徴量（波形部分のパワーの平均及び分散）を抽出する。
【００２８】
次のステップ１０２では、上記のようにして学習された音節別状態遷移モデルの６状態の各々に記憶されている特徴量と、上記のように抽出した６状態の各々に割り当てられた音声区間の特徴量とを比較することにより音声認識を行って、音節区間を判定すると共に、母音、すなわち５０音発音表における段を判定する。例えば、音声認識により入力された音節が「か」と判定された場合には、母音が「あ」であるので、「あ」段と判定される。
【００２９】
次のステップ１０４では、段別状態遷移モデルのステップ１０２で判定された段に対応する段の状態遷移モデル、例えば、ステップ１０２で「あ」段と判定された場合には「あ」段状態遷移モデルを用いて、モデルと音声データのマッチングを行い、段別状態遷移モデルの前半のＮ状態に割り当てられた音声区間（本実施の形態では、最初の３状態に割り当てられた音声区間）を子音部として判定し、次のステップ１０６において判定された子音部にに対して、子音部の特徴量の抽出を行なう。
【００３０】
すなわち、単音節に対して６状態の音声区間を割り当てた場合、最初の２状態に割り当てられた音声区間は単音節の始めの部分であり、中間の２状態に割り当てられた音声区間は単音節の途中部分であり、最後の２状態に割り当てられた音声区間は単音節が終わる部分である。このため、本実施の形態では、単音節に対する６状態の音声区間を２等分し、前半の３状態に割り当てられた音声区間を子音部として、以下のように子音部の特徴量を抽出している。すなわち、一般的には、音節を２分した前半部分の状態に割り当てられた音声区間を子音部とすることができる。
【００３１】
子音部の特徴量を抽出するにあたっては、学習したときと同一の条件、すなわち子音認識に最適な高精度の分析条件（例えば、広帯域分析で、かつ分析の時間間隔を短くした条件）で、マイクロホン１０から入力された音声波形信号に対して、時間軸方向にシフトされる学習時に用いた矩形のウインドウを適用し、６状態に割り当てられた音声区間各々の特徴量を抽出する。すなわち、ウインドウのシフト量をステップ１００の特徴量抽出の場合より小さくして、例えば、シフト量を１／２にすることにより時間間隔を短くして高精度の分析を行ない、６状態に割り当てられた音声区間各々の特徴量を抽出する。
【００３２】
次のステップ１０８では、上記のようにして学習された音節別子音部状態遷移モデルの６状態の各々に記憶されている特徴量と、上記のように抽出した子音部の６状態に対応する特徴量とを比較することにより音声認識を行って、音節区間を判定すると共に、子音を判定する。例えば、ステップ１０２で「あ」段と判定されていれば、「あ」段に対応する「あ」、「か」、「さ」、「た」、「な」、・・・「わ」の音節別子音部状態遷移モデルを用いて音声認識を行い、音節を判定する。
【００３３】
なお、状態遷移モデルにおいて状態遷移確率を持つものを特に隠れマルコフモデル（ＨＭＭ）と呼び、本実施の形態ではこのＨＭＭを状態遷移モデルとして用いて音声認識を行なうことができる。ＨＭＭを用いた場合の子音部判定の際のマッチング手法としては、ビタビ（Ｖｉｔｅｒｂｉ）アルゴリズムを用いることができる。
【００３４】
上記で説明したように本実施の形態によれば、音節別状態遷移モデルを用いて５０音発音表における段を判定し、段別状態遷移モデルを用いて音声波形信号の前半部における特徴量を高精度に抽出し、音節別子音状態遷移モデルを用いて子音を判定することにより音節を認識しているので、子音部の認識が高精度の音声認識をおこなうことができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施の形態を示すブロック図である。
【図２】音節の前半部を切出す状態を説明するための図である。
【図３】状態遷移モデルの学習を説明するための図である。
【図４】本実施の形態の音声認識処理ルーチンを示す流れ図である。
【図５】状態遷移モデルの範囲を説明するための図である。
【符号の説明】
【００３６】
１０    マイク
１２    音声分析装置
１４    音節認識器
１６、１８、２０  記憶装置
【図１】
2006030899.tif 000003
【図３】
2006030899.tif 000004
【図４】
2006030899.tif 000005
【図５】
2006030899.tif 000006
【図２】
2006030899.tif 000007