(57)【要約】【課題】単音節に区切って音声認識する場合に、ユーザが誤って音節を区切らないで発声した場合においても高精度に音声を認識する。【解決手段】音声分析器１２でユーザーから発声された音声を分析して音声波形信号を出力し、音節切出器１４で音声波形信号から音節部分を切出し、融合化判定器１６で切出された音節部分を単音節部分と単音節が融合した融合化音節部分とに分離し、単音節部分を単音節認識器１８で認識し、融合化音節部分を融合化音節認識器２２で認識する。【選択図】        図１
2005189293.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーから発声された音声を分析して音声波形信号を出力する音声分析手段と、
前記音声波形信号から音節部分を切出す音節切出手段と、
切出された音節部分を単音節部分と該単音節部分以外の音節部分とに分離する分離手段と、
前記単音節部分と前記単音節部分以外の音節部分とで異なる音響モデルを用いて各音節部分の音声認識を行なう認識手段と、
を含む音声認識装置。
【請求項２】
前記分離手段は、単音節の音声が複数個融合した融合化音節部分を前記単音節部分以外の音節部分として分離し、
前記認識手段は、前記単音節部分を単音節の音響モデルを用いて認識し、前記単音節部分以外の音節部分を単音節の音声が複数個融合した融合化音節の音響モデルを用いて認識する請求項１記載の音声認識装置。
【請求項３】
前記分離手段は、単音節の音声が複数個融合した融合化音節部分を前記単音節部分以外の音節部分として分離し、
該融合化音節部分から先頭の単音節部分を分割する分割手段を更に備え、
前記認識手段は、前記分割手段で分割された先頭の単音節部分を単音節の音響モデルを用いて認識し、前記先頭の単音節部分が分割された融合化音節部分の残りの部分を母音の音響モデル及び撥音の音響モデルを用いて認識する請求項１記載の音声認識装置。
【請求項４】
前記分離手段は、単音節の音声が複数個融合した融合化音節部分及び小声の音節部分を前記単音節部分以外の音節部分として分離し、
該融合化音節部分から先頭の単音節部分を分割する分割手段を更に備え、
前記認識手段は、前記分割手段で分割された先頭の単音節部分を単音節の音響モデルを用いて認識し、前記先頭の単音節部分が分割された融合化音節部分の残りの部分及び前記小声の音節部分を母音の音響モデル及び撥音の音響モデルを用いて認識する請求項１記載の音声認識装置。
【請求項５】
前記認識手段の認識結果の前記融合化音節部分の残りの部分に対応する位置に、あいうえおのいずれか１つの段の文字を当てはめた文字列と認識辞書とのマッチングを行って文字列を認識するマッチング手段を更に設けた請求項３または４記載の音声認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識装置に係り、特に、単音節に区切り発声された音声波形に基づいて音声認識する音声認識装置に関する。
【背景技術】
【０００２】
従来より、単語を音節に区切って発声された音声と、同じ単語を連続的に発声された音声との両方の音声を用いて高精度に音声を認識する音声認識装置が知られている（例えば、特許文献１参照）。この音声認識装置では、音節に区切って発声された音声は、融合化していないことを前提にして音声認識しているため、ユーザが誤って音節に区切らないで融合化して発声した場合には、音節数を誤って判断し、正確に音声認識ができない、という問題がある。
【０００３】
また、上記問題を解決してユーザに音節を区切って発声させるために、タイミング信号をユーザに報知したり、発声毎にユーザにスイッチで音節の区切りを入力させる装置が提案されている（例えば、特許文献２参照）。
【特許文献１】特開平１０−３４００９６号公報
【特許文献２】特開平１１−２１９１９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献２の装置では、ユーザが音声認識装置の報知やスイッチの操作にタイミングを合わせて発声する必要があるため、ユーザへの負荷が大きくなり、またユーザが発声やスイッチの操作のタイミングを間違え易い、という問題がある。
【０００５】
本発明は、上記問題を解決すべく成されたもので、ユーザにタイミング合わせやスイッチ等の操作をさせることなく、ユーザが誤って音節を区切らないで発声した場合においても高精度に音声を認識することができる音声認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために本発明は、ユーザーから発話された音声を分析して音声波形信号を出力する音声分析手段と、前記音声波形信号から音節部分を切出す音節切出手段と、切出された音節部分を単音節部分と該単音節部分以外の音節部分とに分離する分離手段と、前記単音節部分と前記単音節部分以外の音節部分とで異なる音響モデルを用いて各音節部分の音声認識を行なう認識手段と、を含んで構成したものである。
【０００７】
本発明の音節切出手段は、ユーザーから発声（発話）された音声を分析して音声分析手段から出力された音声波形信号から音節部分を切出し、分離手段は、切出された音節部分を単音節部分と単音節部分以外の音節部分とに分離する。そして、認識手段は、単音節部分と単音節部分以外の音節部分とで異なる音響モデルを用いて各音節部分の音声認識を行なう。
【０００８】
本発明によれば、単音節部分と単音節部分以外の音節部分とで異なる音響モデルを用いて各音節部分の音声認識を行なうようにしたので、各々の音節部分に最適な音響モデルを用いて音声認識することができ、これによってユーザが誤って音節を区切らないで発声した場合においても高精度に音声認識することができる。
【０００９】
分離手段は、単音節の音声が複数個融合した融合化音節部分を単音節部分以外の音節部分として分離することができる。この場合には、認識手段は、単音節部分を単音節の音響モデルを用いて認識し、単音節部分以外の音節部分（融合化音節部分）を単音節の音声が複数個融合した融合化音節の音響モデルを用いて認識する。
【００１０】
このように、単音設部分と融合化音節部分とを分離し、各々の音節部分に適した音響モデルを用いて音声認識することにより、単音節部分及び融合化音節部分を高精度に音声認識することができる。
【００１１】
また、分離手段が、単音節の音声が複数個融合した融合化音節部分を単音節部分以外の音節部分として分離した場合には、該融合化音節部分から先頭の単音節部分を分割する分割手段を更に設け、認識手段によって、分割手段で分割された先頭の単音節部分を単音節の音響モデルを用いて認識し、先頭の単音節部分が分割された融合化音節部分の残りの部分を母音の音響モデル及び撥音の音響モデルを用いて認識することができる。
【００１２】
さらに、分離手段は、単音節の音声が複数個融合した融合化音節部分及び小声の音節部分を前記単音節部分以外の音節部分として分離し、融合化音節から先頭の単音節部分を分割する分割手段を更に設け、認識手段によって、分割手段で分割された先頭の単音節部分
を単音節の音響モデルを用いて認識し、先頭の単音節部分が分割された融合化音節部分の残りの部分及び小声の音節部分を母音の音響モデル及び撥音の音響モデルを用いて認識することができる。
【００１３】
母音の音響モデルは「あいうえお」の音響モデルを使用することができ、撥音の音響モデルは「ん」の音響モデルを使用することができる。
【００１４】
融合化音節から先頭の単音節部分を分割して認識した場合には、認識結果の先頭の単音節部分が分割された融合化音節部分の残りの部分に対応する位置に、あいうえおのいずれか１つの段の文字を当てはめた文字列と、認識辞書とのマッチングを行うことにより、文字列を認識することができる。
【００１５】
このように、融合化音節部分及び小声の音節部分を分離することにより、単音節部分、融合化音節部分及び小声の音節部分を高精度に音声認識することができる。
【発明の効果】
【００１６】
以上説明したように本発明によれば、単音節部分と単音節部分以外の音節部分とで異なる音響モデルを用いて各音節部分の音声認識を行なうようにしたので、各々の音節部分に最適な音響モデルを用いて音声認識することができ、これによってユーザが誤って音節を区切らないで発声した場合においても高精度に音声認識することができる、という効果が得られる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１８】
第１の実施の形態は、ユーザの発声から得られた音声波形信号から音節部分を切出し、切出された音節部分を単音節部分と単音節の音声が複数個融合した融合化音節部分とに分離し、単音節部分を単音節の音響モデルを用いて音声認識し、融合化音節部分を融合化音節の音響モデルを用いて音声認識するようにしたものである。
【００１９】
図１に示すように、第１の実施の形態には、ユーザが発声した音声を検出するマイクロホン１０、及びマイクロホン１０で検出された音声を分析して音声のパワー情報を備えた音声波形信号を出力する音声分析器１２が設けられている。
【００２０】
音声分析器１２には、入力された音声波形信号から音声区間（単音節部分及び融合化音節部分）を切出して音節列信号を出力する音節切出器１４が接続されている。
【００２１】
音節切出器１４には、融合化判定器１６が接続されている。融合化判定器１６は、音節切出器１４から入力された音節列信号と後述する単音節認識器から入力される所定音節長の音節区間が単音節であるか否かの確からしさを示す信頼度とに基づいて、各音節区間が単音節部分か、または単音節が複数個融合化した融合化音節部分かを推定し、推定結果に基づいて音節列信号を単音節部分と融合化音節部分とに分離する。
【００２２】
融合化判定器１６には、記憶装置２０が接続された単音節認識器１８、及び記憶装置２４が接続された融合化認識器２２が接続されている。
【００２３】
記憶装置２０には、「ａ」、「ｉ」、「ｕ」、「ｅ」、「ｏ」、「ｋａ」、「ｋｉ」、「ｋｕ」、「ｋｅ」、「ｋｏ」、「ｓａ」、・・・等の五十音図に表された５０個、「ｇａ」、「ｇｉ」、「ｇｕ」、・・・等の濁音、「ｐａ」、「ｐｉ」、「ｐｕ」、・・・等の半濁音、「ｋｙａ」、「ｋｙｕ」、「ｋｙｏ」、・・・等の拗音を含む計１１０個の日本語の基本的な単音節の音響モデル（孤立音節モデル）が記憶されている。
【００２４】
また、記憶装置２４には、上記の単音節の音響モデル、２音節の音響モデル（融合し易い２音節列の音響モデル）、３音節の音響モデル（融合し易い３音節列の音響モデル）、・・・、及びＮ音節の音響モデル（融合し易いＮ音節列の音響モデル）が融合化音節の音響モデルとして記憶されている。
【００２５】
２音節の音響モデルとしては、「ａｙａ」、「ａｙｕ」、「ａｙｏ」、「ａａ」、「ａｉ」、「ａｕ」・・・等が用意されており、３音節の音響モデルとしては、「ａＮａ」、「ａＮｉ」、「ａＮｕ」、「ａＮｅ」、「ａＮｏ」、「ａＮｙａ」、・・・等（ただし、Ｎは撥音としての「ん」である）が用意されている。
【００２６】
単音節認識器１８及び融合化音節認識器２２には、単音節認識器１８から入力された信頼度と融合化音節認識器２２から入力された信頼度とを比較し、単音節認識器１８及び融合化音節認識器２２から入力された信頼度が高い方の認識結果を選択して出力する結果出力器２６が接続されている。
【００２７】
次に、本実施の形態の音声認識装置の動作について説明する。ユーザが発声した音声は、マイクロホン１０で検出され、マイクロホン１０で検出された音声は音声分析器１２に入力され、音声分析器１２は、ユーザが音節に区切って発声した単音節発声、及びユーザが連続発声して融合化してしまった融合化音節列発声を音声分析し、音声のパワー情報等の特徴量を抽出して図２に示す音声波形信号Ｗを出力する。図２は、「お（おる）（どす）ぱげてぃふぁくと（りい）」（括弧内の「おる」、「どす」、「りい」は融合化音節列を示す）と発声した場合の音声波形信号を示すものである。
【００２８】
音声分析器１２から出力された音声波形信号は音節切出器１４に入力される。音節切出器１４は、入力された音声波形信号とパワーの閾値とを比較することにより、パワーが閾値より大きい部分を音声区間として切出し、図２に示す音節列信号Ｓを出力する。音節と音節との間では、音声波形信号のパワー（振幅）が小さくなるので、このパワーが小さくなった部分より大きな閾値を設定することにより、音声区間を切出すことができる。
【００２９】
融合化判定器１６は、音節切出器１４から入力された音節列信号の各音節区間の長さ（音節長）を推定し、推定した音節長と単音節認識器１８から入力された音節長に対応する信頼度とに基づいて、各音節区間が単音節部分か、または単音節が複数個融合化した融合化音節部分かを推定する。すなわち、単音節認識器１８から音節長に応じて単音節であることの確からしさを示す信頼度の情報が入力されるので、信頼度が高い音節長と同じ音節長の音節区間を単音節として推定し、信頼度が低い音節長の音節区間及び信頼度の情報が無い音節区間を融合化音節部分と推定し、単音節部分と融合化音節部分とに分離する。
【００３０】
そして、融合化判定器１６で単音節部分と判断された音節区間はその区間の音節長を示す情報と共に単音節認識器１８に入力され、融合化判定器１６で融合化音節部分と判断された音節区間はその区間の音節長を示す情報と共に融合化音節認識器２２に入力される。
【００３１】
単音節認識器１８は、記憶装置２０に記憶された単音節の音響モデルを用いて、入力された各音節区間の音声認識を行うと共に、音声認識結果の確からしさを示す信頼度を音声認識が終了した各音節区間毎に演算し、音節数とそれに対応する信頼度とを１組のデータとして音声認識した音節区間分のデータを融合化判定器１６に入力し、音声認識の結果と信頼度とを１組のデータとして音声認識した音節区間分のデータを結果出力器２６に入力する。
【００３２】
一方、融合化音節認識器２２は、記憶装置２４に記憶されている融合化音節の音響モデルから、各音節区間毎に推定された音節数に対応する音節の音響モデルを選択して、入力された各音節区間の音声認識を行う。例えば、音声認識すべき音声区間の音節数が２音節の場合には、２音節の音響モデルを全て選択し、音声認識すべき音声区間の音節数が３音節の場合には、３音節の音響モデルを全て選択して音声認識を行なう。
【００３３】
また、融合化音節認識器２２は、単音節認識器１８と同様に、音声認識結果の確からしさを示す信頼度を音声認識した各音節区間毎に演算し、音声認識の結果と信頼度とを１組のデータとして音声認識した音節区間分のデータを結果出力器２６に入力する。
【００３４】
なお、融合化判定器１６で音節数を推定した際に、音節数の確からしさを示す信頼度を同時に演算し、推定された音節数の信頼度が低い場合には、融合化音節認識器２２において、対応する音節の音響モデルの他、音節数±ｎ（ｎは１または２）の音節の音響モデルも選択して音声認識を行なうようにしてもよい。
【００３５】
結果出力器２６では、単音節認識器１８から入力された認識結果と融合化音節認識器２２から入力された認識結果とのいずれかの認識結果を出力するが、同じ認識結果に対して単音節認識器１８から入力された信頼度と融合化音節認識器２２から入力された信頼度との両方が存在する場合には、これらの信頼度を比較し、信頼度が高い方の認識結果を選択して出力する。
【００３６】
なお、上記では、単音節認識器と融合化音節認識器との両方を用いる例について説明したが、１つの音節認識器と単音節の音響モデル及び融合化音節の音響モデル（または融合化音節の音響モデル）を記憶した記憶装置とを用いて、上記で説明したように単音節認識及び融合化音節認識の両方を行なうようにしてもよい。
【００３７】
また、上記では信頼度を用いて単音節部分と融合化音節部分とに分離する例について説明したが、各音節区間の長さと単音節の平均的な音節長とを比較し、音節区間の時間長さが平均的な音節長以下の場合には単音節部分と判断し、音節区間の時間長さが平均的な音節長より長い場合には融合化音節部分と判断するようにしてもよい。
【００３８】
本実施の形態では、融合し易い音節の組（例えば、有声音が連続するような音節の組で、「うん」（ｕＮ）、「とよ」（ｔｏｙｏ）、「あお」（ａｏ）等）の音響モデルを予め準備しているので、融合化が起こった場合においても融合化されて音節部分（音節列）の認識を精度良く行なうことができる。
【００３９】
次に、本発明の第２の実施の形態を説明する。第２の実施の形態は、ユーザの発声から得られた音声波形信号から音節部分を切出し、切出された音節部分を単音節部分、単音節の音声が複数個融合した融合化音節部分、及び小声の音節部分に分離し、融合化音節部分の先頭の単音節部分を分割し、単音節部分及び融合化音節部分の先頭の単音節部分を単音節の音響モデルを用い、融合化音節部分の先頭の単音節部分が分割された残りの部分及び小声の音節部分を「あいうえお」及び「ん」の音響モデルを用いて音声認識するようにしたものである。
【００４０】
本実施の形態の音声認識装置には、第１の実施の形態と同様のマイクロホン１０、音声分析器１２、及び音節切出器１４が設けられている。音節切出器１４には、音節切出器１４から入力された音節列信号に基づいて、第１の実施の形態と同様に単音節部分と融合化音節部分とを分離すると共に、音声のパワー情報を判定して発声が不明瞭である小声の音節部分を分離する融合化・小声判定器３０が接続されている。
【００４１】
融合化・小声判定器３０は、融合化音節部分から先頭の単音節部分を分割する融合化音節分割器３２を介して音節認識器３４に接続されると共に、単音節部分及び小声の音節部分を入力するように直接音節認識器３４に接続されている。
【００４２】
音節認識器３４には、上記と同様の単音節の音響モデルを記憶した記憶装置３６、及び母音の音響モデルとしての「あいうえお」の音響モデル、及び撥音の音響モデルとしての「ん」の音響モデルを記憶した記憶装置３８が接続されている。本実施の形態では、「あいうえお」及び「ん」の音響モデルを、「＊ａ」、「＊ｉ」、「＊ｕ」、「＊ｅ」、「＊ｏ」、「Ｎ」と表す。なお、＊印は、子音に対応するマークである。
【００４３】
音節認識器３４には、認識用辞書が記憶された記憶装置４２が接続されると共に、認識用辞書との文字列のマッチングを行なう文字列マッチング器４０が接続されている。認識用辞書としては、五十音の文字列が使用されている。このマッチング器４０は、音節認識器の認識結果と認識用辞書とのマッチングを行なって認識候補の文字列を出力する。
【００４４】
以下、第２の実施の形態の音声認識装置の動作について説明する。融合化・小声判定器３０は、第１の実施の形態で説明したように、音節列信号から各音節区間の長さ（音節長）と単音節の平均的な音節長とを比較し、音節区間の長さが平均的な音節長以下の場合には単音節部分と判断し、音節区間の長さが平均的な音節長より長い場合には融合化音節部分と判断し、単音節部分と融合化音節部分とを分離する。また、融合化・小声判定器３０では、音声波形信号のパワーが低い音声区間を小声の音節部分として分離する。
【００４５】
融合化音節部分と判断された音節区間は、融合化音節分割器３２に入力され、融合化音節分割器３２において音節区間の先頭から単音節分の時間長の部位で分割することにより、先頭の単音節部分が分割される。なお、分割する際に時間長を用いることなく音節区間内の音声波形信号のパワーが最初に最小になる部位で分割して、先頭の単音節部分を分割してもよい。
【００４６】
音節認識器３４では、単音節部分の音節区間、及び融合化音節部分の分割された先頭の単音節部分を単音節の音響モデルを用いて音声認識する。また、音節認識器３４では、融合化音節部分の分割された残りの音節部分、及び小声の音節部分を「あいうえお」及び「ん」の音響モデルを用いて音声認識する。図２の例において、融合化音節分割器３２により融合化音節部分「おる」、「どす」、「りい」から先頭の単音節部分「お」、「ど」、「り」が分割されるため、全て正しく認識された場合には、「おお＊ｕど＊ｕぱげてぃふぁくとり＊ｉ」となる。
【００４７】
文字列マッチング器４０では、単語等の文字列からなる認識用辞書を用い、融合化音節部分の分割された残りの音節部分に位置する文字について、認識された母音に対応する各々の段（上記の例では、「う」段（＊ｕ）と「い」段（＊ｉ）の文字を当てはめた文字列とのマッチングを行い、認識候補の文字を出力する。すなわち、＊ｕの位置に「う段」の各文字（う、く、す、つ、ぬ、・・・）が１つずつ当てはめた文字列と認識辞書とのマッチングが行なわれる。このとき、孤立発声された単音節「ん」は「う」と誤認識され易いので、「ん」は「う」段としてマッチングしてもよい。
【００４８】
なお、母音の認識も難しい場合（例えば、極めて小さな音声の場合）には、段ではなく五十音の全ての文字を当てはめた文字列とマッチングしてもよい。
【００４９】
以上説明したように本実施の形態によれば、融合化音節の先頭の単音節部分は単音節の音響モデルを用いて認識し、融合化音節の２つ目以降の音節部分及び小声の音節部分のように子音認識の難しい部分については子音認識を行なわずに、「あいうえお」及び「ん」の音響モデルを用いた認識のみを行って母音を認識し、認識用辞書と「あ」段、「い」段、「う」段、「え」段、及び「お」段のいずれかの段の文字を当てはめた文字列とのマッチングを行なうことにより認識候補を出力しているため、融合化が発生した場合においても音声認識を行なうことができる。
【図面の簡単な説明】
【００５０】
【図１】本発明の第１の実施の形態を示すブロック図である。
【図２】融合化音節部分を含む音声波形信号、及び音声波形信号を音節部分毎に切出したときに音節列信号を示す波形図である。
【図３】本発明の第１の実施の形態を示すブロック図である。
【符号の説明】
【００５１】
１０    マイク
１２    音声分析器
１４    音節切出器
１６    融合化判定器
１８    単音節認識器
２２    融合化音節認識器
【図１】
2005189293.tif 000003
【図２】
2005189293.tif 000004
【図３】
2005189293.tif 000005