(57)【要約】【課題】  従来技術では、事前に認識ネットワークに挿入した付帯語と使用者が発話する付帯語が一致しない場合、演算量・メモリ量の増加、音声認識性能の低下という悪影響が生じる、という問題があった。本発明はかかる課題を、適切な付帯語を選択して動的に付帯語ネットワークを生成して認識ネットワークに挿入することにより解決する。【解決手段】  認識対象語彙の音素系列である認識ネットワークを記憶する認識ネットワーク記憶部１０１と、認識対象語の前後で発声される付帯語とそれに付随する情報を記憶する付帯語記憶部１０２と、付帯語記憶部に記憶されている付帯語及び付随情報から生成される付帯語ネットワークを認識ネットワークに挿入する付帯語挿入部１０４と、付帯語ネットワークが挿入された認識ネットワークを使用して入力音声を認識する照合部１０５を備える。【選択図】        図１
2007226117.tif 000002
【特許請求の範囲】
【請求項１】
認識対象語彙の音素系列である認識ネットワークを記憶する認識ネットワーク記憶部と、認識対象語の前後で発声される付帯語とそれに付随する情報を付随情報として記憶する付帯語記憶部と、上記付帯語記憶部に記憶されている上記付帯語及び上記付随情報から生成される付帯語ネットワークを上記認識ネットワークに挿入する付帯語挿入部と、上記付帯語ネットワークが挿入された上記認識ネットワークを使用して入力音声を認識する照合部とを備えたことを特徴とする音声認識装置。
【請求項２】
音声認識の使用回数を記憶する使用回数記憶部とを備え、上記付帯語挿入部は上記使用回数記憶部が記憶する上記使用回数に応じて、挿入する付帯語の数や種類を変更することを特徴とする請求項１に記載の音声認識装置。
【請求項３】
認識スコアを記憶する認識スコア記憶部と、上記認識スコア記憶部が記憶する上記認識スコアから平均認識スコアを算出する平均認識スコア算出部とを備え、上記付帯語挿入部は上記平均認識スコアに応じて、挿入する付帯語の数や種類を変更することを特徴とする請求項１に記載の音声認識装置。
【請求項４】
音声認識結果に応じて音声応答するシステムが使用者に発話を促してから、使用者が発話を開始するまでの時間を算出する発話タイミング算出部を備え、上記付帯語挿入部は発話タイミングに応じて挿入する付帯語の数や種類を変更することを特徴とする請求項１に記載の音声認識装置。
【請求項５】
音声認識の使用回数を記憶する使用回数記憶部と、付帯語が認識された頻度を記憶する付帯語認識頻度記憶部と、認識結果から付帯語が認識された頻度を算出し上記付帯語認識頻度記憶部に記憶する付帯語認識頻度算出部を備え、上記付帯語挿入部は上記付帯語認識頻度記憶部に記憶されている付帯語の認識頻度と上記使用回数記憶部が記憶する使用回数に応じて、挿入する付帯語の数や種類を変更することを特徴とする請求項１または請求項２に記載の音声認識装置。
【請求項６】
複数の認識ネットワークを切り替えるモード切替部と、切り替えられた認識ネットワークにおいて認識された付帯語の種類と頻度を記憶する付帯語発話内容記憶部とを備え、上記付帯語挿入部は切り替えられた認識ネットワークを用いた場合の付帯語発話内容に応じて、挿入する付帯語の数や種類を変更することを特徴とする請求項１に記載の音声認識装置。
【請求項７】
使用者が音声認識の使用方法を学習することを目的とした練習モード用の認識ネットワークを記憶する練習モード用認識ネットワーク記憶部と、認識ネットワークと上記練習モード用認識ネットワークを切り替える上記モード切替部と、練習モードにおいて認識された付帯語の種類と頻度を記憶する上記付帯語発話内容記憶部を備え、上記付帯語挿入部は練習モードにおける付帯語発話内容に応じて、挿入する付帯語の数や種類を変更することを特徴とする請求項６に記載の音声認識装置。
【請求項８】
付帯語の発声頻度及び認識のし易さを指定するペナルティ値を記憶する付帯語発声頻度記憶部を備え、上記照合部は付帯語発声頻度が低い付帯語にペナルティ値を加えた上で照合処理を行うことを特徴とする請求項１から請求項６のいずれかに記載の音声認識装置。
【請求項９】
コンピュータを、認識対象語彙の音素系列である認識ネットワークを記憶する認識ネットワーク記憶手段と、認識対象語の前後で発声される付帯語とそれに付随する情報を付随情報として記憶する付帯語記憶手段と、上記付帯語記憶手段に記憶されている上記付帯語及び上記付随情報から生成される付帯語ネットワークを上記認識ネットワークに挿入する付帯語挿入手段と、上記付帯語ネットワークが挿入された上記認識ネットワークを使用して入力音声を認識する照合手段、として機能させるためのプログラム。
【請求項１０】
認識対象語彙の音素系列である認識ネットワークを記憶し、また、認識対象語の前後で発声される付帯語とそれに付随する情報を付随情報として記憶して、上記付帯語及び上記付随情報から付帯語ネットワークを生成して上記認識ネットワークに挿入した後、上記付帯語ネットワークが挿入された上記認識ネットワークを使用して入力音声を認識することを特徴とする音声認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音声認識装置、音声認識プログラム、及び音声認識方法に係るものであり、特に認識対象語彙の音素系列を表す認識ネットワークに対し、付帯語（「えーと」「あのー」等の不要語）の音素系列を表す付帯語ネットワークを挿入して音声認識を行なう技術に関する。
【背景技術】
【０００２】
音声認識は、入力音声から音声特徴量の時系列を抽出し、この音声特徴量の時系列と認識対象語彙の音素系列を表す認識ネットワークとの照合によって、候補語を算出することによって行われる。
【０００３】
しかし現実の使用環境では、話者が認識対象語彙だけでなく、「えーと」「あのー」等の不要な単語である付帯語を前後に含んだ形で発声をする場合があるため、音声認識の精度が劣化する。このような場合には、付帯語の音素系列を含めて照合させる方法が採用される。この場合、付帯語が繰り返されて長い入力音声が発声されても認識可能なようにもすることもできる。
【０００４】
このような付帯語による音声認識精度の劣化という課題を解決する技術として、使用者が発話すると考えられる付帯語の音素系列を表す付帯語ネットワークを、事前に認識ネットワークの前後に挿入した上で照合する方法が知られている（例えば、特許文献１）。
【０００５】
【特許文献１】特開２０００−３２２０８５号公報（第６頁  第１１図、第７頁−第８頁  第１図−第１２図）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来技術では、事前に認識ネットワークに挿入した付帯語と使用者が発話する付帯語が一致している場合には良好に動作するが、これらが一致しない場合、特に使用者が発話しない多くの付帯語を認識ネットワークに挿入した場合には、演算量・メモリ量の増加、音声認識性能の低下という悪影響が生じる、という問題があった。本発明はかかる課題を、適切な付帯語を選択して動的に付帯語ネットワークを生成して認識ネットワークに挿入することにより解決することを目的としている。
【課題を解決するための手段】
【０００７】
このような問題を解決するため、この発明に係る音声認識装置では、認識対象語彙の音素系列である認識ネットワークを記憶する認識ネットワーク記憶部と、認識対象語の前後で発声される付帯語とそれに付随する情報を記憶する付帯語記憶部と、付帯語記憶部に記憶されている付帯語及び付随情報から生成される付帯語ネットワークを認識ネットワークに挿入する付帯語挿入部と、付帯語ネットワークが挿入された認識ネットワークを使用して入力音声を認識する照合部と、を備えることとした。
【発明の効果】
【０００８】
この発明によれば、付帯語ネットワークを挿入した認識ネットワークと入力音声から抽出した音声特徴量とを照合することとしたので、適切な付帯語を選択することで、使用話者に適した音素系列と入力音声とを照合することが可能となり、演算量・メモリ量の増加を抑制しながら、結果として音声認識精度を向上させることができる。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
一般に、使用者が音声認識装置に慣れていない場合には付帯語を発話し、慣れるに従い付帯語を発話しなくなる傾向がある。よって、使用初心者に特化して付帯語を静的に挿入した場合は、使用者が慣れるに従い無駄な付帯語が挿入されていることになり、演算量・メモリ量の増加、認識性能の低下等の悪影響が生じる。逆に慣れた使用者に特化して付帯語を挿入しない場合は、使用初心者が発話する付帯語が受理できないという問題が生じる。この実施の形態１は、このような問題を解決することを目的としている。
【００１０】
以下、この発明の実施の形態１を、図を用いて説明する。図１は、この発明の実施の形態１による音声認識装置の構成を示すブロック図である。図において、マイクロホン１は音声を収集して音声電気信号（以下、音声信号という）に変換するマイクロホンである。音声認識装置２は、オーディオ端子やマイクロホン接続端子である入力端３を介してマイクロホン１が収集した音声を照合して、認識結果４を出力する装置であって、音響分析部１００、認識ネットワーク記憶部１０１、付帯語記憶部１０２、使用回数記憶部１０３、付帯語挿入部１０４、照合部１０５を備えている。
【００１１】
音響分析部１００は、入力端３から入力された音声信号１１に基づいて音響分析を行い、音声特徴量１２を算出する部位である。
【００１２】
認識ネットワーク記憶部１０１は、認識ネットワーク記憶手段の一例であって、認識対象語彙の音素系列から生成した認識ネットワークを記憶する記憶素子又は回路、記憶媒体などから構成される。
【００１３】
図２は認識ネットワークの構成例で、ここでは「北海道」「青森県」「秋田県」という語句の音声を認識するための認識ネットワーク４２を示している。図において、状態４１は認識開始点、状態４３は認識ネットワーク４２の先頭状態、状態４４は認識ネットワーク４２の最終状態、状態４５は認識終了点を表している。
【００１４】
また、図３は認識ネットワーク４２の詳細図であり、ここでは円で囲んだ節の一つ一つが１つの音素を表している。なお、この音声認識ネットワークでは前環境依存の音素体系を採用したものであり、図において、節４７のｈ−ｏは先行する音素がｈであるｏの音素を表している。また、節４６のＬＱは、単語の先頭の無音を表しており、節４８のＱＬは、単語の最後の無音を表している。
【００１５】
付帯語記憶部１０２は、付帯語記憶手段の一例であって、付帯語及び付随情報を記憶する記憶素子又は回路、記憶媒体などから構成される。
【００１６】
図４は付帯語記憶部が記憶している記憶テーブルの一例である。本実施例の記憶テーブルでは付帯語の読みの他に付随情報として使用回数閾値Ｃｉの値を記憶する。使用回数閾値Ｃｉは付帯語Ｆｉの挿入を制御するパラメータであり、値が小さいほど使用するに従って挿入されなくなることを意味している。よって、使用回数が多くなっても良く発声される付帯語に対してはＣｉの値を大きくし、そうでない付帯語に対してはＣｉの値を小さくすることで無駄な付帯語の挿入を抑制することができる。
【００１７】
使用回数記憶部１０３は、使用回数記憶手段の一例であって、使用回数を記憶する記憶素子又は回路、記憶媒体などから構成される。
【００１８】
付帯語挿入部１０４は、付帯語挿入手段の一例であり、付帯語記憶部１０２から得た付帯語及びその付随情報１５から付帯語ネットワークを生成し、生成した付帯語ネットワークを認識ネットワーク記憶部１０１から得た認識ネットワーク１４に挿入する部位である。
【００１９】
照合部１０５は、音響分析部１００が出力した音響特徴量１２と付帯語挿入部から得た付帯語ネットワークが挿入された認識ネットワーク１６との照合を行い、最も距離値の小さい認識対象語彙を認識結果４として出力すると共に、使用回数記憶部に記憶されている使用回数１３を更新する部位である。
【００２０】
次に、音声認識装置２の動作について、図を参照しながら説明する。図５は、この発明の実施の形態１による音声認識装置の処理のフローチャートである。まずマイクロホン１から音声信号が入力されると（ステップＳ１０１）、音響分析部１０１は、マイクロホン１から入力された音声の音響分析処理を行なう（ステップＳ１０２）。具体的には、音響分析処理として、音響分析部１０１は、アナログ信号である入力音声をディジタルデータに変換し、一定時間毎に音声特徴量ベクトルαtを算出する。
【００２１】
ここで用いる音声特徴量の例としては、音声処理で一般に広く使用されている線形予測法（ＬＰＣ：Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅ Ｃｏｄｉｎｇ）により算出したケプストラム（Ｃｅｐｓｔｒｕｍ）などがある。また、音声特徴量ベクトルが算出される一定時間のことをフレームと呼び、音声特徴量ベクトルαtのｔは入力音声の先頭から経過したフレーム数を表す自然数である。
【００２２】
また、図５のフローチャートにおいて、ステップＳ１０２は以下説明するステップＳ１０３〜ステップＳ１０８の前に実行されるように記載しているが、両者の間には何ら依存関係のない独立した処理であるから、この順序を入れ替えても構わないし、並列に実行してもよい。
【００２３】
続いて、付帯語挿入部１０４では、まずカウンタｉを０に初期化する（ステップＳ１０３）。次にｉと付帯語記憶部１０２に記憶されている付帯語の数Ｎの値を比較する（ステップＳ１０４）。ｉがＮよりも小さい場合はステップＳ１０５に進み、そうでない場合はステップＳ１０８に進む。
【００２４】
ｉがＮよりも小さい場合、使用回数記憶部１０３が記憶している使用回数ｃと付帯語Ｆｉに対応する使用回数閾値Ｃｉの値を比較する（ステップＳ１０５）。ｃがＣｉよりも小さい場合ステップＳ１０６に進み、そうでない場合はステップＳ１０７へ進む。
【００２５】
ｃがＣｉよりも小さい場合、付帯語Ｆｉを付帯語ネットワークに追加する（ステップＳ１０６）。図６は付帯語ネットワークへ付帯語を追加した例である。この例では「うーん」「あのー」から構成される付帯語ネットワークへ「えーと」を追加している。
【００２６】
カウンタｉを１増加させてステップＳ１０４へ戻る（ステップＳ１０７）。
【００２７】
ステップＳ１０４においてｉがＮ以上である場合、付帯語ネットワークを認識ネットワークに「動的」に挿入する（ステップＳ１０８）。ここで「動的」とは、認識ネットワークの再読み込みを行なわずに、使用者の発声ごとに、生成した付帯語ネットワークの遷移先を認識ネットワークの節に自動的に接続することを意味する。このため、使用者が音声認識装置を使っていくうちに、使用者に特に意識させることなく、認識性能を自動的に向上させることができるようになる。
図７は付帯語ネットワークの挿入例である。この例では「北海道」「青森県」「秋田県」を認識語彙とする認識ネットワークに「うーん」「あのー」「えーと」を認識語彙とする付帯語ネットワークを動的に挿入することで、「うーん  北海道」「えーと  秋田県」等の付帯語を含む発声が認識可能となっている。以上のステップＳ１０３〜Ｓ１０８までの動作が付帯語挿入部１０４で実行される。
【００２８】
照合部１０５では、付帯語ネットワークが挿入された認識ネットワークと音声特徴量ベクトルとの照合を行なう（ステップＳ１０９）。ここでは、音声特徴量の時系列に対し、認識ネットワークに含まれる音素系列の中で最も距離値が小さくなる音素系列に対応する候補を認識結果とする。例えばＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）マッチングによるパターンマッチングを行い、距離値が最小のものを認識結果４とする。また、ＤＰの代わりにＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）を用いても構わない。
【００２９】
こうして、各認識対象語彙に対する累積距離値の計算が行われた結果、最終的な累積距離値が小さい認識語彙を認識結果４として出力する（ステップＳ１１０）。また、使用回数を１増加させて使用回数記憶部１０３に記憶する（ステップＳ１１１）。以上で入力音声に対する認識処理が終了する。
【００３０】
このように構成することで、使用回数が少ない場合には認識ネットワークに多くの付帯語を挿入し、使用回数が多くなるに従い認識ネットワークへの付帯語の挿入を動的に抑制するようにした。よって、使用初心者の付帯語を含む発声に対する認識精度が向上すると共に、使用者が慣れるに従って付帯語を発声しなくなる場合に演算量・メモリ量の無駄を抑制し、さらに認識精度が向上するようになる。
【００３１】
実施の形態２．
実施の形態１の音声認識装置は使用回数によって認識ネットワークへの付帯語の挿入を制御しているが、音声認識装置に十分に慣れているにも関わらず発話時の癖として付帯語を発話する使用者に対しては悪影響となってしまうという問題がある。一般に付帯語を含む発声をその付帯語を含まない認識ネットワークで照合する場合、認識誤りを生じ易くなると共に認識スコアが低くなるという傾向がある。この実施の形態２では、この傾向を利用することで上記問題を解決することを目的としている。
【００３２】
図８は、この発明の実施の形態２による音声認識装置の構成を示すブロック図である。図において、図１と比して新規な要素は認識スコア記憶部２００と平均認識スコア算出部２０１を設けた点にある。他の部位は図１と同様の構成となっている。
【００３３】
認識スコア記憶部２００は、認識スコア記憶手段の一例であって、照合部１０５が出力する認識スコア１７を記憶する部位である。
【００３４】
平均認識スコア算出部２０１は認識スコア記憶部２００が記憶する認識スコアの系列１８から平均認識スコア１９を算出する部位である。
【００３５】
また、付帯語記憶部１０２が記憶する記憶テーブルの内容が実施の形態１と異なる。図９は実施の形態２による付帯語記憶部が記憶している記憶テーブルの一例である。本実施例の記憶テーブルでは付帯語の読みの他に付随情報として平均スコア閾値Ｓｉの値を記憶する。平均スコア閾値Ｓｉは付帯語Ｆｉの挿入を制御するパラメータであり、値が小さいほど挿入され難いことを意味している。よって、良く発声される付帯語に対してはＳｉの値を大きくし、そうでない付帯語に対してはＳｉの値を小さくすることで無駄な付帯語の挿入を抑制することができる。
【００３６】
次に、音声認識装置２の動作について、図を参照しながら説明する。図１０はこの発明の実施の形態２の音声認識装置２による処理のフローチャートである。実施の形態１の音声認識装置と同一の処理については図６のフローチャートと同一の符号を付して説明を省略する。
【００３７】
図において、平均認識スコア算出部２０１は、認識スコア記憶部２００に記憶されている認識スコアの系列ｓ（ｋ）（ｋ＝０〜Ｋ）から平均認識スコアｓを式（１）に従い算出する（ステップＳ２０１）。式（１）においてLは平均スコアを算出する区間長である。
Ｌ
ｓ＝１／Ｌ・Σｓ（Ｋ−ｌ）                            （１）
ｌ＝１
【００３８】
また、図９のフローチャートにおいて、ステップＳ２０１はステップＳ１０２とステップＳ１０３の間で実行されるように記載しているが、両者の間には何ら依存関係のない独立した処理であるから、この順序を入れ替えても構わないし、並列に実行してもよい。
【００３９】
ステップＳ１０４においてｉがＮよりも小さい場合、平均認識スコア算出部２０１が算出した平均認識スコアｓと付帯語Ｆｉに対応する平均認識スコア閾値Ｓｉの値を比較する（ステップＳ２０２）。ｓがＳｉよりも小さい場合ステップＳ１０６に進み、そうでない場合はステップＳ１０７へ進む。
【００４０】
照合部１０５は認識結果を出力（ステップＳ１１０）した後、対応する認識スコアを、認識スコア記憶部２０１に記憶する（ステップＳ２０３）。
【００４１】
このように構成することで、使用者が発話した内容と認識ネットワークとのミスマッチにより認識スコアが低い場合には、認識ネットワークに多くの付帯語を挿入し、追加された付帯語によりミスマッチが解消され認識スコアが高くなるに従い認識ネットワークへの付帯語の挿入を動的に抑制するようにした。よって、使用者が発話しやすい付帯語のみが含まれた認識ネットワークで照合することとなるため、演算量・メモリ量の無駄を抑制すると共に認識精度が向上するようになる。
【００４２】
実施の形態３．
実施の形態１及び実施の形態２の音声認識装置は使用回数や平均スコアといった過去の情報を元に認識ネットワークへの付帯語の挿入を制御しているが、使用者が発話すべき語彙を考えている場合に過去の使用状況や話者の癖等とは無関係に付帯語を発話してしまうことがある。図２５に、音声認識装置を利用した音声応答システム７００の構成図の一例を示す。この図では、音声合成装置７０１およびスピーカ７０２によって、音声応答システム７００が例えば「都道府県名をおっしゃってください。」と使用者の発話を促し、同時に、音声認識装置２の認識処理が開始される。一般に音声応答システム７００が認識を開始してから使用者が発話を開始するまでの間隔（以下、発話タイミング）が長い場合は付帯語を含んだ発話をする傾向がある。この実施の形態３では、この傾向を利用することで上記問題を解決することを目的としている。
【００４３】
図１１は、この発明の実施の形態３による音声認識装置の構成を示すブロック図である。図において、図１、図８と比して新規な要素は発話タイミング算出部３００を設けた点にある。他の部位は図１と同様の構成となっている。
【００４４】
発話タイミング算出部３００は、発話タイミング算出手段の一例であって、認識開始から発話開始までの間隔を表す発話タイミング２０を算出する部位である。
【００４５】
ここで、付帯語記憶部１０２が記憶する記憶テーブルの内容が、実施の形態１、または２と異なる。図１２は実施の形態３による付帯語記憶部が記憶している記憶テーブルの一例である。本実施例の記憶テーブルでは付帯語の読みの他に付随情報として発話タイミング閾値Ｔｉの値を記憶する。発話タイミング閾値Ｔｉは付帯語Ｆｉの挿入を制御するパラメータであり、値が小さいほど挿入され易いことを意味している。よって、良く発声される付帯語に対してはＴｉの値を小さくし、そうでない付帯語に対してはＴｉの値を大きくすることで無駄な付帯語の挿入を抑制することができる。
【００４６】
次に、音声認識装置２の動作について、図を参照しながら説明する。図１３はこの発明の実施の形態３の音声認識装置２による処理のフローチャートである。実施の形態１の音声認識装置と同一の処理については図６のフローチャートと同一の符号を付して説明を省略する。
【００４７】
図において、発話タイミング算出部３００は、音声信号１１の入力が開始された時刻ｔｓｒを記憶し、音声信号１１の入力パワーが閾値よりも大きくなる時刻を発話開始時刻ｔｓｐとして記憶する。そして発話タイミングｔを式（２）に従い算出する（ステップＳ３０１）。なお、図１４は音声信号とｔｓｒ、ｔｓｐ及びｔの関係を図示したものである。
ｔ＝ｔｓｐ−ｔｓｒ                                    （２）
【００４８】
この実施の形態では最も単純な方法で発話開始時刻ｔｓｐを算出しているが、その他の音声区間検出アルゴリズムが使用できるのはいうまでもない。
【００４９】
また、図１３のフローチャートにおいて、ステップＳ３０１はステップＳ１０２とステップＳ１０３の間で実行されるように記載しているが、両者の間には何ら依存関係のない独立した処理であるから、この順序を入れ替えても構わないし、並列に実行してもよい。
【００５０】
ステップＳ１０４においてｉがＮよりも小さい場合、３００が算出した発話タイミングｔと付帯語Ｆｉに対応する発話タイミング閾値Ｔｉの値を比較する（ステップＳ３０２）。ｔがＴｉよりも大きい場合ステップＳ１０６に進み、そうでない場合はステップＳ１０７へ進む。
【００５１】
このように構成することで、発話タイミングが長い場合には認識ネットワークに多くの付帯語を挿入し、発話タイミングが短い場合には認識ネットワークへの付帯語の挿入を動的に抑制するようにした。よって、使用者が発話すべき語彙を考えて無意識に発した付帯語付き発声に対する認識精度が向上し、さらに付帯語無し発声に対しては演算量・メモリ量の無駄を抑制すると共に認識精度が向上するようになる。
【００５２】
実施の形態４．
実施の形態１〜３の音声認識装置は使用回数、平均スコア、発話タイミングといった認識結果以外の情報と一般的な傾向を元に認識ネットワークへの付帯語の挿入を制御しているが、使用者によっては発話タイミングと付帯語発声頻度の関係等の傾向が異なり意図通りに動作しない場合がある。この実施の形態４では実際の認識結果の情報を利用することで上記問題を解決することを目的としている。
【００５３】
図１５は、この発明の実施の形態４による音声認識装置の構成を示すブロック図である。図において、図１、図８、図１１と比して新規な要素は付帯語認識頻度算出部４００及び付帯語認識頻度記憶部４０１を設けた点にある。他の部位は図１と同様の構成となっている。
【００５４】
付帯語認識頻度算出部４００は、付帯語認識頻度算出手段の一例であって、各付帯語の認識頻度２２を算出する部位である。
【００５５】
付帯語認識頻度記憶部４０１は、付帯語認識頻度記憶手段の一例であって、付帯語認識頻度算出部４００が算出した各付帯語の認識頻度２２を記憶する記憶素子又は回路、記憶媒体などから構成される。図１６は付帯語認識頻度記憶部４０１が記憶している記憶テーブルの一例である。付帯語Ｆｉの認識頻度Ｒｉをインデックス、読みに対応させて記憶する。認識頻度Ｒｉは付帯語Ｆｉがどの位の頻度で認識されるかを示す値であり、認識頻度Ｒｉが閾値より大きい付帯語Ｆｉのみを挿入することで無駄な付帯語の挿入を抑制することができる。
【００５６】
また、本実施の形態では、付帯語記憶部１０２が記憶する記憶テーブルの内容が実施の形態１〜３と異なる。図１７は実施の形態４による付帯語記憶部１０２が記憶している記憶テーブルの一例である。本実施例の記憶テーブルでは付帯語の読みの他に付随情報は持たない。
【００５７】
次に、音声認識装置２の動作について、図を参照しながら説明する。図１８はこの発明の実施の形態４の音声認識装置２による処理のフローチャートである。実施の形態１の音声認識装置と同一の処理については図６のフローチャートと同一の符号を付して説明を省略する。
【００５８】
図において、付帯語挿入部１０４は、ステップＳ１０４においてｉがＮよりも小さい場合、付帯語認識頻度記憶部４０１が記憶している付帯語Ｆｉに対応する認識頻度Ｒｉと閾値Ｒｔｈの値と、使用回数記憶部１０３が記憶している使用回数ｃと閾値をＣｔｈ比較する（ステップＳ４０１）。ＲｉがＲｔｈよりも大きいか、ＣｉがＣｔｈよりも小さい場合ステップＳ１０６に進み、そうでない場合はステップＳ１０７へ進む。
【００５９】
付帯語認識頻度算出部４００は、ステップＳ１１０において出力される認識結果４に付帯語Ｆｋが含まれる場合、付帯語Ｆｋの認識回数ｃｋを１増加させる（ステップＳ４０２）。次に認識頻度Ｒｋを以下の式（３）に従って算出し、付帯語認識頻度記憶部４０１に記憶する（ステップＳ４０３）。
Ｒｋ＝ｃｋ／ｃ                                            （３）
【００６０】
本実施の形態において、使用回数ｃがＣｔｈよりも小さい場合に全ての付帯語を挿入するようにしているのは、使用回数が少ない場合には認識結果の母集団が少ないため付帯語認識頻度が正しく算出できない可能性があるためである。
【００６１】
使用回数ｃがＣｔｈよりも小さい場合に無条件に付帯語を挿入すると、メモリ量・演算量や認識精度に影響を与えてしまうことがある。このような場合には、各付帯語Ｆｉに対応する付帯語認識頻度Ｒｉの一般的頻度をＲｉに代入しておき、使用回数ｃがＣｔｈよりも小さい場合には付帯語認識頻度Ｒｉを更新しないことで、使用回数ｃがＣｔｈよりも小さい場合にも使用者が発話する可能性が高い付帯語のみを挿入することができる。
【００６２】
このように構成することで、自動的に使用者の発声頻度の高い付帯語のみが認識ネットワークに動的に挿入されるようにした。よって、付帯語付き発声に対する認識精度が向上し、さらに、付帯語無し発声に対しては演算量・メモリ量の無駄を抑制すると共に認識精度が向上するようになる。
【００６３】
実施の形態５．
実施の形態１〜４の音声認識装置は使用回数、平均スコア、発話タイミング、認識頻度等、音声認識装置を実際に使用にすることによって得られる情報を元に付帯語の挿入を制御している。しかし、音声認識の使用方法を説明する練習モードを備えた音声認識装置の場合、練習モード時の情報を元に、より効率的に付帯語の挿入制御を行なうことが可能である。本実施の形態５はその一例である。
【００６４】
図１９は、この発明の実施の形態５による音声認識装置の構成を示すブロック図である。図において、図１、図８、図１１、図１５と比して新規な要素は練習モード用認識ネットワーク記憶部５００、モード切替部５０１及び付帯語発声内容記憶部５０２を設けた点にある。他の部位は図１と同様の構成となっている。
【００６５】
練習モード用認識ネットワーク記憶部５００は、認識ネットワーク記憶手段の一例であって、練習モード用の認識ネットワーク２３を記憶する記憶素子又は回路、記憶媒体などから構成される。ここで練習モードとは音声認識装置の使用方法を学習するためのモードであり、練習モード内では使用者は音声応答システムが提示した語句を発話することを想定している。そのため、練習モード用認識ネットワークは音声認識装置が提示する語句のみを受理可能な小語彙のネットワークとなる。
【００６６】
練習モード切替部５０１は、モード切替手段の一例であって、練習モードと通常モードを切り替える部位である。
【００６７】
付帯語発声内容記憶部５０２は、付帯語発声内容記憶手段の一例であって、練習モードにおいて照合部１０５が出力する認識結果４に含まれる付帯語２４を記憶する記憶素子又は回路、記憶媒体などから構成される。図２０は付帯語発声内容記憶部５０２が記憶している記憶テーブルの一例であり、付帯語Ｆｉのインデックスｉをｒｅｓ（Ｍ）（Ｍは付帯語認識回数）として記憶している。
【００６８】
また、付帯語記憶部１０２が記憶する記憶テーブルは実施の形態４と同様に付帯語の読みの他に付随情報は持たない。
【００６９】
次に、音声認識装置２の動作について、図を参照しながら説明する。図２１はこの発明の実施の形態５の音声認識装置２による処理のフローチャートである。実施の形態１の音声認識装置と同一の処理については図６のフローチャートと同一の符号を付して説明を省略する。
【００７０】
図において、練習モード切替部５０１は現在練習モードかどうかの判定を行なう（ステップＳ５０１）。練習モードかどうかの判定は０（通常モード）、１（練習モード）の値を取るフラグを用意し、音声認識装置が練習モードに遷移した場合に０から１に変更し、逆の場合に１から０に変更することで実現できる。練習モードである場合は、ステップＳ１０３に進み、そうでない場合はステップＳ５０７へ進む。
【００７１】
ステップＳ５０１において練習モードと判定された場合、練習モード用認識ネットワーク記憶部５００に記憶されている練習モード用認識ネットワーク２３に付帯語ネットワークを挿入する（ステップＳ５０２）。ここで挿入する付帯語ネットワークには付帯語記憶部１０２が記憶する全ての付帯語１５を追加する。
【００７２】
照合部１０５では、付帯語ネットワークが挿入された練習モード用認識ネットワークと音声特徴量ベクトルとの照合を行なう（ステップＳ５０３）。ここでは、音声特徴量の時系列に対し、認識ネットワークに含まれる音素系列の中で最も距離値が小さくなる音素系列に対応する候補を認識結果とする。例えば、一般に広く用いられているＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）マッチングによるパターンマッチングを行い、距離値が最小のものを認識結果４とする。また、ＤＰの代わりに、音声認識の分野で広く用いられている統計的なモデルである隠れマルコフモデル（ＨＭＭ：Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）を用いても構わない。
【００７３】
こうして、各認識対象語彙に対する累積距離値の計算が行われた結果、最終的な累積距離値が小さい認識語彙を認識結果４として出力する（ステップＳ５０４）。
【００７４】
付帯語発声内容記憶部５０２では、認識結果４に付帯語Fiが含まれている場合、付帯語Ｆｉのインデックスｉをｒｅｓ（Ｍ）（Ｍは付帯語認識回数）として記憶し（ステップＳ５０５）、Ｍの値を１増加させる（ステップＳ５０６）。以上で練習モードにおける認識処理が終了する。
【００７５】
ステップＳ５０１において、練習モードでないと判別された場合、付帯語挿入部１０４では、カウンタｊを０に初期化する（ステップＳ５０７）。次にｊと付帯語発声内容記憶部５０２に記憶されている付帯語の数Ｍの値を比較する（ステップＳ５０８）。ｊがＭよりも小さい場合はステップＳ５０９に進み、そうでない場合はステップＳ１０８に進む。
【００７６】
ｊがＭよりも小さい場合、付帯語Ｆｒｅｓ（ｊ）を付帯語ネットワークに追加し（ステップＳ５０９）、カウンタｊを１増加させてステップＳ５０８へ戻る（ステップＳ５１０）。
【００７７】
このように構成することで、練習モードで発声された付帯語のみを認識ネットワークに動的に挿入されるようにした。よって、付帯語付き発声に対する認識精度が向上し、付帯語無し発声に対しては演算量・メモリ量の無駄を抑制すると共に認識精度が向上するようになる。
【００７８】
実施の形態６．
実施の形態１〜５の音声認識装置は使用回数、平均スコア、発話タイミング、認識頻度、練習モードで認識されたかどうか、といった情報を元に付帯語１つ１つの挿入・非挿入を制御しているため、非挿入と決定された付帯語を使用者が発声した場合、認識できないという問題がある。本実施の形態６では照合部１０５で各付帯語に発声頻度に応じてペナルティを与えることで上記問題を解決することを目的としている。
【００７９】
図２２は、この発明の実施の形態６による音声認識装置の構成を示すブロック図である。図において、図１、図８、図１１、図１５、図１９と比して新規な要素は付帯語発声頻度記憶部６００を設けた点にある。他の部位は図１と同様の構成となっている。
【００８０】
付帯語発声頻度記憶部６００は、付帯語発声頻度記憶手段の一例であって、各付帯語の発声頻度及び発声頻度に基づくペナルティ値２５を記憶する記憶素子又は回路、記憶媒体などから構成される。図２３は付帯語発声頻度記憶部６００が記憶している記憶テーブルの一例である。付帯語Ｆｉの発声頻度Ｒｉ及びペナルティ値Ｐｉをインデックス、読みに対応させて記憶する。ペナルティ値Ｐｉは付帯語Ｆｉの認識し易さを制御するパラメータであり、発声頻度Ｒｉが大きいもの程小さく、発声頻度Ｒｉが小さいもの程大きくなるように決定する。本実施例では以下の式（４）によりペナルティスコアＰｉを決定している。
Ｐｉ＝１／Ｒｉ×５０００            （４）
【００８１】
なお、付帯語Ｆｉの発声頻度Ｒｉは予め十分な話者の十分な量の音声データを学習データとして算出しておく。
【００８２】
また、付帯語記憶部１０２が記憶する記憶テーブルには実施の形態４〜５と同様に付帯語の読みの他に付随情報は持たない。
【００８３】
次に、音声認識装置２の動作について、図を参照しながら説明する。図２４はこの発明の実施の形態６の音声認識装置２による処理のフローチャートである。実施の形態１の音声認識装置と同一の処理については図６のフローチャートと同一の符号を付して説明を省略する。
【００８４】
図において、照合部１０５は、付帯語Ｆｉに対してペナルティ値Ｐｉを加えた上で照合処理を行なう。具体的にはパス上に付帯語Ｆｉを含む認識候補Ａに対する累積距離値Ｄ（Ａ）に対して、以下の式（５）でペナルティ値を加える。
Ｄ（Ａ）＝Ｄ（Ａ）＋Ｐｉ            （５）
【００８５】
このように構成することで、発声頻度の高い付帯語は認識し易く、発話頻度の低い付帯語は認識し辛くなるようにした。よって、発声頻度の高い付帯語付き発声に対する認識精度が向上し、発声頻度が低い付帯語付き発声に対しても、ペナルティ値を適切に決定することで認識できるようになる。
【産業上の利用可能性】
【００８６】
この発明は、特定の用途に限定されるものではないが、例えばカーナビゲーションシステムや携帯電話、情報端末に搭載する音声認識インタフェースを実現する上で特に有用である。さらに、企業のお客様相談室やチケット予約センターなど、電話で応対するコールセンター業務において、ＣＴＩ（Ｃｏｍｐｕｔｅｒ  Ｔｅｌｅｐｈｏｎｙ  Ｉｎｔｅｇｒａｔｉｏｎ、コンピュータと電話の統合技術）を用いた音声自動応答システムや、情報家電、ロボット等との音声対話を実現する音声認識インタフェース等への応用も可能である。
【図面の簡単な説明】
【００８７】
【図１】この発明の実施の形態１の音声認識装置の構成を示すブロック図である。
【図２】この発明の認識ネットワークの構成図である。
【図３】この発明の認識ネットワークの詳細図である。
【図４】この発明の実施の形態１の付帯語記憶部の記憶テーブルの例を示す図である。
【図５】この発明の実施の形態１の音声認識装置の処理のフローチャートである。
【図６】この発明の付帯語ネットワークへの付帯語の追加例を示す図である。
【図７】この発明の付帯語ネットワークの認識ネットワークへの挿入例を示す図である。
【図８】この発明の実施の形態２の音声認識装置の構成を示すブロック図である。
【図９】この発明の実施の形態２の付帯語記憶部の記憶テーブルの例を示す図である。
【図１０】この発明の実施の形態２の音声認識装置の処理のフローチャートである。
【図１１】この発明の実施の形態３の音声認識装置の構成を示すブロック図である。
【図１２】この発明の実施の形態３の付帯語記憶部の記憶テーブルの例を示す図である。
【図１３】この発明の実施の形態３の音声認識装置の処理のフローチャートである。
【図１４】この発明の発話タイミングの説明図である。
【図１５】この発明の実施の形態４の音声認識装置の構成を示すブロック図である。
【図１６】この発明の実施の形態４の付帯語認識頻度記憶部の記憶テーブルの例を示す図である。
【図１７】この発明の実施の形態４の付帯語記憶部の記憶テーブルの例を示す図である。
【図１８】この発明の実施の形態４の音声認識装置の処理のフローチャートである。
【図１９】この発明の実施の形態５の音声認識装置の構成を示すブロック図である。
【図２０】この発明の実施の形態５の付帯語発声内容記憶部の記憶テーブルの例を示す図である。
【図２１】この発明の実施の形態５の音声認識装置の処理のフローチャートである。
【図２２】この発明の実施の形態６の音声認識装置の構成を示すブロック図である。
【図２３】この発明の実施の形態６の付帯語発声頻度記憶部の記憶テーブルの例を示す図である。
【図２４】この発明の実施の形態６の音声認識装置の処理のフローチャートである。
【図２５】この発明の音声認識装置を利用した音声応答システムの図である。
【符号の説明】
【００８８】
１  マイクロホン、２  音声認識装置、３  入力端、４  認識結果、１１  音声信号、１２  音声特徴量、１３  使用回数、１４  認識ネットワーク、１５  付帯語及びその付随情報、１６  付帯語ネットワークが挿入された認識ネットワーク、１７  認識スコア、１８  認識スコアの系列、１９  平均認識スコア、２０  発話タイミング、２１及び２２  各付帯語の認識頻度、２３  練習モード用の認識ネットワーク、２４  練習モードにおいて照合部１０５が出力する認識結果４に含まれる付帯語、２５  各付帯語の発声頻度及び発声頻度に基づくペナルティ値、４１  状態、４２  認識ネットワーク、４３  先頭状態、４４  最終状態、４５  認識終了点、４６  単語の先頭の無音ＬＱを示す節、４７  先行する音素がｈであるｏの音素ｈ−ｏを示す節、４８  単語の最後の無音ＱＬを示す節、１００  音響分析部、１０１  認識ネットワーク記憶部、１０２  付帯語記憶部、１０３  使用回数記憶部、１０４  付帯語挿入部、１０５  照合部、２００  認識スコア記憶部、２０１  平均認識スコア算出部、３００  発話タイミング算出部、４００  付帯語認識頻度算出部、４０１  付帯語認識頻度記憶部、５００  練習モード用認識ネットワーク記憶部、５０１  モード切替部、５０２  付帯語発声内容記憶部、６００  付帯語発声頻度記憶部、７００  音声応答システム、７０１  音声合成装置、７０２  スピーカ。
【図１】
2007226117.tif 000003
【図２】
2007226117.tif 000004
【図３】
2007226117.tif 000005
【図４】
2007226117.tif 000006
【図５】
2007226117.tif 000007
【図６】
2007226117.tif 000008
【図７】
2007226117.tif 000009
【図８】
2007226117.tif 000010
【図９】
2007226117.tif 000011
【図１０】
2007226117.tif 000012
【図１１】
2007226117.tif 000013
【図１２】
2007226117.tif 000014
【図１３】
2007226117.tif 000015
【図１４】
2007226117.tif 000016
【図１５】
2007226117.tif 000017
【図１６】
2007226117.tif 000018
【図１７】
2007226117.tif 000019
【図１８】
2007226117.tif 000020
【図１９】
2007226117.tif 000021
【図２０】
2007226117.tif 000022
【図２１】
2007226117.tif 000023
【図２２】
2007226117.tif 000024
【図２３】
2007226117.tif 000025
【図２４】
2007226117.tif 000026
【図２５】
2007226117.tif 000027