(57)【要約】【課題】ユーザに対する再発話の要求をなるべく少なくし、効率的かつ正確な認識を可能とする音声認識装置及びプログラムを提供する。【解決手段】音声認識装置は、コマンドなどのユーザによる音声入力を受け取り、予め設定された待ち受け単語とのマッチング処理により、ユーザによる音声入力に対応する単語候補を決定する。そして、その単語候補中に正解が含まれるか否かを判定する。正解が含まれると判定手段が判定した場合、その単語候補が認識結果として出力される。一方、正解が含まれないと判定手段が判定した場合、それら単語候補と、各単語候補と意味が同一である同意単語候補とのうちから、音響的に最も識別しやすい単語候補の組み合わせが決定され、次回の認識処理において使用される。よって、同意単語を含む単語候補中から、識別しやすい単語候補を利用して次回の認識処理が行われるので、ユーザによる再発話の認識率を向上させることができる。【選択図】　　　図１
2004046106.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの音声入力を受け取る音声入力手段と、
予め設定された待ち受け単語グループ中の各待ち受け単語とのマッチング処理により、前記音声入力に対応する複数の単語候補を決定する認識処理を行う認識処理手段と、
前記複数の単語候補中に正解が含まれるか否かを判定する判定手段と、
前記複数の単語候補中に正解が含まれないと前記判定手段が判定した場合に、前記複数の単語候補及びそれらの同意単語候補から、最も識別しやすい候補の組み合わせを決定し、次回の認識処理において使用される前記待ち受け単語グループに設定する設定手段と、を備えることを特徴とする音声認識装置。
【請求項２】
前記設定手段は、
前記複数の単語候補及びそれらの同意単語候補の各々について、各単語候補を構成する音素を分析する手段と、
音素の重複が最も少ない単語候補の組み合わせを前記待ち受け単語として設定する手段と、を有することを特徴とする請求項１に記載の音声認識装置。
【請求項３】
前記設定手段は、
前記複数の単語候補及びそれらの同意単語候補の各々について、各単語候補を構成する音素を分析する手段と、
音素の重複が最も少なく、かつ、総音素数が最も多い単語候補の組み合わせを前記待ち受け単語として設定する手段と、を有することを特徴とする請求項１に記載の音声認識装置。
【請求項４】
前記設定手段は、前記ユーザの音声入力が、前記待ち受け単語に含まれる単語候補以外の単語候補に対応することを意味する待ち受け誤り単語を前記待ち受け単語グループに含めることを特徴とする請求項１乃至３のいずれか一項に記載の音声認識装置。
【請求項５】
前記設定手段は、過去に使用した待ち受け単語グループを記憶する記憶手段を有し、
前記判定手段が前記待ち受け誤り単語を正解と判定した場合、前記設定手段は、前記記憶手段に記憶されている１回前の待ち受け単語グループを、次回の認識処理において使用する待ち受け単語グループに設定することを特徴とする請求項４に記載の音声認識装置。
【請求項６】
前記待ち受け誤り単語は、「その他」、またはその同義語であることを特徴とする請求項４又は５に記載の音声認識装置。
【請求項７】
前記ユーザの音声入力が前記待ち受け誤り単語であった場合には、その時点における前記待ち受け単語グループ中の単語候補のうち、前記待ち受け誤り単語に対応する単語候補以外の単語候補を、次回の待ち受け単語グループに含める単語候補から除外することを特徴とする請求項４乃至６のいずれか一項に記載の音声認識装置。
【請求項８】
前記複数の単語候補中に正解が含まれないと前記判定手段が判定した場合に、前記設定手段が設定した待ち受け単語グループに属する待ち受け単語を、合成音声出力又は文字表示の少なくとも一方により前記ユーザに通知する通知手段を備えることを特徴とする請求項１乃至７のいずれか一項に記載の音声認識装置。
【請求項９】
前記判定手段は、前記認識処理が繰り返されるたびに、前記単語候補を正解と判定する基準を緩和していくことを特徴とする請求項１乃至８のいずれか一項に記載の音声認識装置。
【請求項１０】
前記判定手段は、前記単語候補の信頼度が所定のしきい値以上である場合に当該単語候補を正解であると判定し、前記認識処理が繰り返されるたびに、前記しきい値を低下させていくことを特徴とする請求項９に記載の音声認識装置。
【請求項１１】
コンピュータにより実行される音声認識プログラムであって、前記コンピュータを、
ユーザの音声入力を受け取る音声入力手段、
予め設定された待ち受け単語グループ中の各待ち受け単語とのマッチング処理により、前記音声入力に対応する複数の単語候補を決定する認識処理を行う認識処理手段、
前記複数の単語候補中に正解が含まれるか否かを判定する手段、
前記複数の単語候補中に正解が含まれないと前記判定手段が判定した場合に、前記複数の単語候補及びそれらの同意単語候補から、最も識別しやすい単語候補の組み合わせを決定し、次回の認識処理において使用される前記待ち受け単語グループに設定する設定手段、として機能させることを特徴とする音声認識プログラム。
【請求項１２】
前記設定手段は、
前記複数の単語候補、それらの同意単語候補及び前記待ち受け誤り単語から、最も識別しやすい候補の組み合わせを決定し、次回の認識処理において使用される前記待ち受け単語グループに設定することを特徴とする請求項４に記載の音声認識装置。
【請求項１３】
ユーザの音声入力を受け取る音声入力手段と、
予め設定された待ち受け単語グループ中の各待ち受け単語とのマッチング処理により、前記音声入力に対応する複数の単語候補を決定する認識処理を行う認識処理手段と、
前記複数の単語候補中に正解が含まれるか否かを判定する判定手段と、
前記複数の単語候補中に正解が含まれないと前記判定手段が判定した場合に、前記複数の単語候補の同意単語候補から、最も識別しやすい候補の組み合わせを決定し、次回の認識処理において使用される前記待ち受け単語グループに設定する設定手段と、
を備えることを特徴とする音声認識装置。
【請求項１４】
前記設定手段は、
前記複数の単語候補の同意単語候補の各々について、各単語候補を構成する音素を分析する手段と、
音素の重複が最も少ない単語候補の組み合わせを前記待ち受け単語として設定する手段と、を有することを特徴とする請求項１３に記載の音声認識装置。
【請求項１５】
前記設定手段は、
前記複数の単語候補の同意単語候補の各々について、各単語候補を構成する音素を分析する手段と、
音素の重複が最も少なく、かつ、総音素数が最も多い単語候補の組み合わせを前記待ち受け単語として設定する手段と、を有することを特徴とする請求項１３に記載の音声認識装置。
【請求項１６】
前記設定手段は、前記ユーザの音声入力が、前記待ち受け単語に含まれる単語候補以外の単語候補に対応することを意味する待ち受け誤り単語を前記待ち受け単語グループに含めることを特徴とする請求項１３乃至１５のいずれか一項に記載の音声認識装置。
【請求項１７】
前記設定手段は、過去に使用した待ち受け単語グループを記憶する記憶手段を有し、
前記判定手段が前記待ち受け誤り単語を正解と判定した場合、前記設定手段は、前記記憶手段に記憶されている１回前の待ち受け単語グループを、次回の認識処理において使用する待ち受け単語グループに設定することを特徴とする請求項１６又は１７に記載の音声認識装置。
【請求項１８】
前記待ち受け誤り単語は、「その他」、またはその同義語であることを特徴とする請求項１６に記載の音声認識装置。
【請求項１９】
前記ユーザの音声入力が前記待ち受け誤り単語であった場合には、その時点における前記待ち受け単語グループ中の単語候補のうち、前記待ち受け誤り単語に対応する単語候補以外の単語候補を、次回の待ち受け単語グループに含める単語候補から除外することを特徴とする請求項１６乃至１８のいずれか一項に記載の音声認識装置。
【請求項２０】
前記複数の単語候補中に正解が含まれないと前記判定手段が判定した場合に、前記設定手段が設定した待ち受け単語グループに属する待ち受け単語を、合成音声出力又は文字表示の少なくとも一方により前記ユーザに通知する通知手段を備えることを特徴とする請求項１３乃至１９のいずれか一項に記載の音声認識装置。
【請求項２１】
前記判定手段は、前記認識処理が繰り返されるたびに、前記単語候補を正解と判定する基準を緩和していくことを特徴とする請求項１３乃至２０のいずれか一項に記載の音声認識装置。
【請求項２２】
前記判定手段は、前記単語候補の信頼度が所定のしきい値以上である場合に当該単語候補を正解であると判定し、前記認識処理が繰り返されるたびに、前記しきい値を低下させていくことを特徴とする請求項２１に記載の音声認識装置。
【請求項２３】
コンピュータにより実行される音声認識プログラムであって、前記コンピュータを、
ユーザの音声入力を受け取る音声入力手段、
予め設定された待ち受け単語グループ中の各待ち受け単語とのマッチング処理により、前記音声入力に対応する複数の単語候補を決定する認識処理を行う認識処理手段、
前記複数の単語候補中に正解が含まれるか否かを判定する手段、
前記複数の単語候補中に正解が含まれないと前記判定手段が判定した場合に、前記複数の単語候補の同意単語候補から、最も識別しやすい単語候補の組み合わせを決定し、次回の認識処理において使用される前記待ち受け単語グループに設定する設定手段、として機能させることを特徴とする音声認識プログラム。
【請求項２４】
前記設定手段は、
前記複数の単語候補の同意単語候補及び前記待ち受け誤り単語から、最も識別しやすい候補の組み合わせを決定し、次回の認識処理において使用される前記待ち受け単語グループに設定することを特徴とする請求項１６に記載の音声認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、マイクなどを介して入力された人間の音声を認識する音声認識手法に関する。
【０００２】
【従来の技術】
一般的に、音声認識装置は、ユーザの発話に基づいて生成された音声入力信号を音響的に分析し、予め用意された複数の候補の単語モデルと比較してそれぞれの音響的尤度（類似度）を算出し、音響的尤度の最も高い候補（「１位候補」と呼ぶ。）を認識結果として決定する。また、１位候補の認識信頼度が十分に高くない場合は、音声認識装置は、正しい認識結果が無いと判定し、「もう一度発話して下さい」などとトークバックしてユーザの再発話を促し、再度認識処理を行う。
【０００３】
従来の音声認識装置は、認識結果の信頼度が低く、ユーザに再発話を要求する場合でも、前回と同じ候補を用いて再度認識処理を行っていた。よって、ユーザが前回と同じ言い方で発話を繰り返せば、認識結果は前回と同じとなってしまうため、結局、再発話に対する認識率はあまり改善されない。
【０００４】
【発明が解決しようとする課題】
このような点を改善した音声認識手法の１つが特許第３１１２０３７号公報に記載されている。この音声認識手法は、ユーザの１回目の発話に対する認識処理で十分に信頼度の高い認識結果が得られない場合には、信頼度の高い幾つかの候補に絞り込みを行いユーザに再発話を促す。さらに、１回目の発話に対する認識処理において得られた信頼度が上位である候補について、それらの同意味語を候補に加えてユーザに再発話を促し、再度の認識処理を行う。
【０００５】
しかし、この方法では１回目の認識結果により絞り込まれた上位候補中に正解が含まれていない場合には認識を行うことができなくなってしまう。また、上位候補の同意味語を候補に加えたとしても、ユーザが再発話において前回と同じ単語を使用した場合は、同意味語を候補に加えた意味がなくなってしまう。
【０００６】
また、別の音声認識手法が特開平１１−１１９７９２号公報に記載されている。この公報に記載の方法では、音響的に相互に類似したコマンド（「類似タイプコマンド」と呼んでいる。）のセットと、それに対応する言い換えコマンドのセットを予め定義して記憶しておく。例えば類似タイプコマンドとして「窓を上げる」と「窓を下げる」がある場合、これに対する言い換えコマンドとして「窓を開ける」と「窓を閉める」を用意しておく。そして、ユーザが類似タイプコマンドを発話したときには、それに対する言い換えコマンドを使用して再度発話するように要求する。
【０００７】
しかし、この方法では、類似タイプコマンドとそれに対応する言い換えコマンドとの対応関係を予め規定し、メモリなどに記憶しておく必要がある。よって、システムで使用するコマンドが多数になると、そのために必要とされる記憶容量が増大し、コストの上昇などを招く。
【０００８】
本発明は、以上の点に鑑みてなされたものであり、ユーザに対する再発話の要求をなるべく少なくし、効率的かつ正確な認識を可能とする音声認識装置及びプログラムを提供することを課題とする。
【０００９】
【課題を解決するための手段】
本発明の１つの観点によれば、音声認識装置は、ユーザの音声入力を受け取る音声入力手段と、予め設定された待ち受け単語グループ中の各待ち受け単語とのマッチング処理により、前記音声入力に対応する複数の単語候補を決定する認識処理を行う認識処理手段と、前記複数の単語候補中に正解が含まれるか否かを判定する判定手段と、前記複数の単語候補中に正解が含まれないと前記判定手段が判定した場合に、前記複数の単語候補及びそれらの同意単語候補から、最も識別しやすい候補の組み合わせを決定し、次回の認識処理において使用される前記待ち受け単語グループに設定する設定手段と、を備える。
【００１０】
上記の音声認識装置は、コマンドなどのユーザによる音声入力を受け取り、予め設定された待ち受け単語とのマッチング処理により、ユーザによる音声入力に対応する単語候補を決定する。そして、その単語候補中に正解が含まれるか否かを判定する。正解が含まれると判定手段が判定した場合、その単語候補が認識結果として出力される。一方、正解が含まれないと判定手段が判定した場合、それら単語候補と、各単語候補と意味が同一である同意単語候補とのうちから、音響的に最も識別しやすい単語候補の組み合わせが決定され、次回の認識処理において使用される。よって、同意単語を含む単語候補中から、識別しやすい単語候補を利用して次回の認識処理が行われるので、ユーザによる再発話の認識率を向上させることができる。
【００１１】
上記の音声認識装置の一態様では、前記設定手段は、前記複数の単語候補及びそれらの同意単語候補の各々について、各単語候補を構成する音素を分析する手段と、音素の重複が最も少ない単語候補の組み合わせを前記待ち受け単語として設定する手段と、を有することができる。
【００１２】
この態様によれば、同意単語候補を含む単語候補を、それらの構成要素である音素の面から分析し、音素の重複が最も少ない単語候補の組み合わせを待ち受け単語として使用する。よって、音声認識処理上、相互に区別しやすい状態で認識処理を行うことができる。
【００１３】
上記の音声認識装置の他の一態様では、前記設定手段は、前記複数の単語候補及びそれらの同意単語候補の各々について、各単語候補を構成する音素を分析する手段と、音素の重複が最も少なく、かつ、総音素数が最も多い単語候補の組み合わせを前記待ち受け単語として設定する手段と、を有することができる。
【００１４】
この態様によれば、同意単語候補を含む単語候補を、それらの構成要素である音素の面から分析し、音素の重複が最も少なく、かつ、総音素数が最も多い単語候補の組み合わせを待ち受け単語として使用する。よって、音声認識処理上、さらに区別しやすい状態で認識処理を行うことができる。
【００１５】
上記の音声認識装置の他の一態様では、前記設定手段は、前記ユーザの音声入力が、前記待ち受け単語に含まれる単語候補以外の単語候補に対応することを意味する待ち受け誤り単語を前記待ち受け単語グループに含めることができる。よって、現在の待ち受け単語が正解を含んでいない場合にはユーザはその待ち受け誤り単語を発話することになるので、現在の待ち受け単語が正解を含んでいるか否かを判定することができる。
【００１６】
上記の音声認識装置のさらに他の一態様では、前記設定手段は、過去に使用した待ち受け単語グループを記憶する記憶手段を有し、前記判定手段が前記待ち受け誤り単語を正解と判定した場合、前記設定手段は、前記記憶手段に記憶されている１回前の待ち受け単語グループを、次回の認識処理において使用する待ち受け単語グループに設定することができる。これにより、現在の待ち受け単語グループに正解が含まれていない場合には、待ち受け単語の範囲を広げて、正解を探すことができる。
【００１７】
上記の音声認識装置のさらに他の一態様では、前記待ち受け誤り単語は、「その他」、またはその同義語とすることができる。
【００１８】
上記の音声認識装置のさらに他の一態様では、前記ユーザの音声入力が前記待ち受け誤り単語であった場合には、その時点における前記待ち受け単語グループ中の単語候補のうち、前記待ち受け誤り単語に対応する単語候補以外の単語候補を、次回の待ち受け単語グループに含める単語候補から除外することができる。待ち受け誤り単語は、現在の待ち受け単語グループ中の単語候補には正解が無いことを示すので、それらを次回の待ち受け単語グループに含める意味はない。よって、それら正解でないことがわかっている単語候補を次回の単語候補から除外することにより単語候補を絞り込み、効率的に正解を得ることができるようになる。
【００１９】
上記の音声認識装置のさらに他の一態様は、前記複数の単語候補中に正解が含まれないと前記判定手段が判定した場合に、前記設定手段が設定した待ち受け単語グループに属する待ち受け単語を、合成音声出力又は文字表示の少なくとも一方により前記ユーザに通知する通知手段を備えることができる。これにより、待ち受け単語が合成音声によりユーザに知らされるので、ユーザは再発話すべき単語を容易に知ることができる。
【００２０】
上記の音声認識装置のさらに他の一態様では、前記判定手段は、前記認識処理が繰り返されるたびに、前記単語候補を正解と判定する基準を緩和していくことができる。これにより、認識処理を繰り返すにつれて正解を得やすくし、認識処理の効率を上げることができる。なお、１つの好適な例では、前記判定手段は、前記単語候補の信頼度が所定のしきい値以上である場合に当該単語候補を正解であると判定し、前記認識処理が繰り返されるたびに、前記しきい値を低下させていくことができる。
【００２１】
上記の音声認識装置のさらに他の一態様では、前記設定手段は、前記複数の単語候補、それらの同意単語候補及び前記待ち受け誤り単語から、最も識別しやすい候補の組み合わせを決定し、次回の認識処理において使用される前記待ち受け単語グループに設定することができる。よって、音声認識処理上、さらに区別しやすい状態で認識処理を行うことができる。
【００２２】
本発明の他の観点では、コンピュータにより実行される音声認識プログラムは、前記コンピュータを、ユーザの音声入力を受け取る音声入力手段、予め設定された待ち受け単語グループ中の各待ち受け単語とのマッチング処理により、前記音声入力に対応する複数の単語候補を決定する認識処理を行う認識処理手段、前記複数の単語候補中に正解が含まれるか否かを判定する手段、前記複数の単語候補中に正解が含まれないと前記判定手段が判定した場合に、前記複数の単語候補及びそれらの同意単語候補から、最も識別しやすい単語候補の組み合わせを決定し、次回の認識処理において使用される前記待ち受け単語グループに設定する設定手段、として機能させる。
上記の音声認識プログラムを、コンピュータにおいて実行することにより、上記の音声認識装置を実現することができる。
【００２３】
【発明の実施の形態】
以下、図面を参照して本発明の好適な実施の形態について説明する。
【００２４】
［音声認識装置の構成］
図１に、本発明の実施形態にかかる音声認識装置の機能的構成を示す。図１において、音声認識装置１０は、サブワード音響モデル記憶部１と、辞書２と、単語モデル生成部３と、音響分析部４と、認識処理部５と、付加情報収集部６と、認識信頼度演算部７と、再発話制御部８と、合成音声生成部９と、スピーカ１１と、マイク１２と、スイッチＳＷ１とを備える。
【００２５】
サブワード音響モデル記憶部１は、予め学習された音素などの、サブワード単位の音響モデルを記憶している。ここで、「音素」とは、ある一つの言語で用いる音を弁別機能の見地から分析・規定した最小単位であり、子音、母音などに分類される。また、「サブワード」とは、個々の単語を構成する単位であり、サブワードの集合により１つの単語が構成される。サブワード音響モデル記憶部１には、母音、子音などの各音素に対応するサブワード音響モデルが記憶されている。例えば「あか（ａｋａ）」という単語の場合、これを構成するサブワードは”ａ”、”ｋ”、”ａ”である。
【００２６】
辞書２には、音声認識の対象となる単語に関する単語情報が記憶されている。具体的には、複数の単語に対して、その単語を構成するサブワードの組み合わせが記憶されている。例えば「あか」という単語については、それを構成するサブワードが”ａ”、”ｋ”、”ａ”であることが情報として記憶されている。
【００２７】
単語モデル生成部３は、各単語の音響モデルである単語モデルを生成する。具体的には、ある単語について、辞書２に記憶されている単語情報と、サブワード音響モデル記憶部１に記憶されているサブワード音響モデルとを利用して、その単語の単語モデルを生成する。例えば「あか」という単語の場合、辞書２には「あか」という単語がサブワード”ａ”、”ｋ”、”ａ”により構成されることが単語情報として記憶されている。また、サブワード”ａ”、”ｋ”、”ａ”に対応するサブワード音響モデルがサブワード音響モデル記憶部１に記憶されている。よって、単語モデル生成部３は、辞書２を参照して単語「あか」を構成するサブワードを調べ、それらに対応するサブワード音響モデルをサブワード音響モデル記憶部１から取得して組み合わせることにより単語「あか（ａｋａ）」の単語モデルを生成する。
【００２８】
音響分析部４は、マイク１２を介して音声認識装置１０に入力された発話音声信号を音響的に分析して特徴ベクトル系列に変換する。認識処理部５は、音響分析部４により得られた発話音声の特徴ベクトルと、単語モデル生成部３が生成した複数の単語モデルとを照合し（マッチング処理）、ユーザの発話音声に対する各単語モデルの音響的尤度を計算する。この際に照合される単語モデルを「単語候補」とも呼ぶ。認識処理部５は、予め決められた複数の単語候補をユーザの発話音声に対応する特徴ベクトル系列とマッチングし、各単語候補についての音響的尤度をそれぞれ算出する。
【００２９】
実際には、ユーザがある単語を発話する際には、その状況においてユーザが発話するであろうと予測される幾つかの単語が単語候補として決定される（これを、「待ち受け単語」とも呼ぶ）。そして、ユーザの発話に対応する特徴ベクトル系列が得られると、それを予め決定された単語候補（待ち受け単語）とマッチングし、各単語候補に対する音響的尤度を個別に算出する。
【００３０】
付加情報収集部６は、ユーザの過去の発話履歴などの付加情報を収集する。本発明の音声入力装置がカーナビゲーション装置のコマンド入力部に使用される場合には、付加情報にはカーナビゲーション装置を搭載した車両の位置情報などが含まれる。認識信頼度演算部７は、認識処理部５により算出されたユーザ発話に対する各単語候補の音響的尤度を元にして、各単語候補の認識信頼度を計算する。認識信頼度は、その単語候補が、ユーザが実際に発話した単語とどの程度の確からしさで一致しているかを示す指標である。認識信頼度が高いほど、その単語候補がユーザの発話した単語と一致している確率、即ち正解である確率が高い。認識信頼度が低いほど、その単語候補が正解である確率が低い。
【００３１】
具体的には、認識信頼度演算部７は、認識処理部５により算出された各単語候補の音響的尤度に対して、付加情報収集部６で得られた付加情報を用いて重み付けを行い、ユーザの発話音声に対する各単語候補の認識信頼度を算出する。例えば、付加情報収集部６が収集した付加情報に、そのユーザが過去にある単語を頻繁に発話しているという履歴がある場合には、それと同一の単語候補の認識信頼度は高く設定される。また、車両の現在位置に関連する単語が発話された場合には、その単語の信頼度を高く設定することができる。なお、上記の認識信頼度の算出方法は一例であり、本発明では、他の各種の認識信頼度の算出方法を使用することができる。
【００３２】
再発話制御部８は本発明の中心的な役割を果たす要素であり、再発話における単語候補の制御などを行う。図２に再発話制御部８の内部構成を示す。図２に示すように、再発話制御部８は、信頼度分析部８１と、候補選択部８２と、待ち受け単語選択部８３と、１位候補情報抽出部８４と、合成音声情報生成部８５と、スイッチＳＷ２とを備える。
【００３３】
再発話制御部８には、認識信頼度演算部７から信頼度情報２０が入力される。この信頼度情報２０は、ユーザの発話に対する複数の単語候補を示す単語候補情報と、それら各単語候補について認識信頼度演算部７が算出した認識信頼度情報とを含む。即ち、信頼度情報２０は、どの単語候補がどの程度の信頼度を有するかを示している。
【００３４】
信頼度分析部８１は、信頼度情報２０に含まれる複数の単語候補のうち、最も高い信頼度を有する単語候補（以下、「１位単語候補」と呼ぶ。）を認識結果と決定してよいか否か、即ち、１位単語候補を正解として良いか否かを判定する。この判定は、例えば１位単語候補の信頼度と２位単語候補の信頼度とを利用して行うことができる。即ち、１位単語候補の信頼度が十分高く、ある所定のしきい値α以上であること（条件１）、及び、１位単語候補の信頼度と２位単語候補の信頼度との差が十分に大きく、ある所定のしきい値β以上であること（条件２）の２つの条件を具備する場合には、その１位単語候補を正解と判定する。一方、条件１及び２のいずれか一方でも具備されない場合は、その１位単語候補を正解とはしない。なお、１位単語候補を正解と判定する方法は、上記以外の方法を採用することもできる。例えば、上位の所定数ｎ個の単語候補の信頼度を使用して、１位単語候補が正解であるか否かを判定することもできる。
【００３５】
１位単語候補が正解であると判定した場合、認識度分析部８１は、図１に示すスイッチＳＷ１及び図２に示すスイッチＳＷ２をいずれも端子Ｔ１に接続する制御信号をスイッチＳＷ１及びＳＷ２に供給する。一方、１位単語候補が正解でないと判定した場合、認識度分析部８１はスイッチＳＷ１及びＳＷ２をともに端子Ｔ２に接続する制御信号をスイッチＳＷ１及びＳＷ２に供給する。
【００３６】
１位候補情報抽出部８４は、信頼度分析部８１が１位単語候補を正解であると判定した場合に、認識信頼度演算部７からスイッチＳＷ２を介して信頼度情報２０を受け取る。そして、１位単語候補が正解であることを示す情報、正解と判定された１位候補単語が何であるかを示す情報、及び、１位単語候補に対応する発音情報などを合成音声情報生成部８５へ供給する。また、１位候補情報抽出部８４は、１位候補単語が何であるかを示す情報を、認識結果として外部へ出力する。
【００３７】
合成音声情報生成部８５は、１位単語候補が正解である場合には、１位候補情報抽出部８４からの情報に基づいて、認識結果をユーザへ通知するための合成音声情報を生成して合成音声生成部９へ出力する。
【００３８】
図１に示す合成音声生成部９は、合成音声情報生成部８５から入力された合成音声情報に基づいて、正解と判定された単語を含む合成音声を生成し、スピーカ１１から出力することにより認識結果をユーザへ通知する。認識結果をユーザへ通知するとは、例えば正解と判定された単語候補が「あか」である場合、「あかですね？」などの合成音声を出力することを意味する。これによりユーザは認識結果の確認を行う。なお、本実施形態では、スピーカ１１からの音声出力によりユーザに認識結果を通知する方法を採用しているが、そのかわりに又はそれに加えて、ディスプレイなどにより視覚的にユーザに認識結果を通知するように構成することもできる。
【００３９】
一方、１位候補が正解でないと認識度分析部８１が判定した場合には、音声認識装置１０はユーザに再発話を要求することになる。その場合、スイッチＳＷ２は端子Ｔ２に接続され、信頼度情報２０が候補選択部８２に供給される。また、スイッチＳＷ１も端子Ｔ２に接続され、待ち受け単語選択部８３が単語モデル生成部３に接続される。候補選択部８２は、信頼度が算出された全ての単語候補のうちから、信頼度の高い幾つかの単語候補（以下、「正解単語候補」と呼ぶ。）に絞り込みを行う。例えば、１位単語候補との信頼度の差が所定のしきい値γ以下である単語候補を正解単語候補に設定する。そして、決定された正解単語候補の識別情報を待ち受け単語選択部８３へ供給する。
【００４０】
待ち受け単語選択部８３は、ユーザの再発話に対する待ち受け単語グループ（即ち、ユーザの再発話に対する認識処理において単語候補として使用する単語の組み合わせ）を決定する。この最も典型的な方法は、候補選択部８２が選択した正解単語候補を待ち受け単語に設定する方法である。これにより、前回の発話の認識処理において、認識信頼度が高かった候補が待ち受け単語に設定される。しかし、これでは、ユーザの前回の発話と再発話とがまったく同一であった場合（例えば、繰り返し「あか」と発話した場合）には前回の発話と同様に認識結果を正解と判定できなくなる可能性がある。そこで、本発明では、再発話において待ち受け単語として使用される単語を、正解単語候補の同義語などであって認識処理により識別しやすい別な単語とすることにより、再発話における認識率を高めるようにしている。即ち、待ち受け単語選択部８３は、候補選択部８２から供給される正解単語候補に基づいて、それらの同義語などであって識別しやすい単語の組み合わせを再発話用の待ち受け単語として設定する。ここで、「識別しやすい単語の組み合わせ」の１つの好適な例は、正解単語候補の同義語であって、音素の重複が少なく（条件Ａ）、かつ、総音素数が多い（条件Ｂ）単語の組み合わせである。これは、音声認識の観点から単語同士を音響的に比較した場合、一般的に音素の重複が少なく、かつ、単語の音素数が多いほど、単語の識別が容易になるからである。
【００４１】
これについて、より詳しく説明する。辞書２には、１つの単語について意味が同じで発音の異なる同義語（同意単語）を用意しておく。いま、候補選択部８２が選択した正解候補単語が「あか（ａｋａ）」と「あお（ａｏ）」の２つであったと仮定する。また、「あか」の同意単語として「れっど（ｒｅｑｄｏ）」が辞書２内に記憶されており、「あお」の同意単語として「ぶるー（ｂｕｒｕｕ）」が辞書２に記憶されていると仮定する。この場合、「あか」と「あお」とでは音素”ａ”が重複し、「れっど」と「あお」では音素”ｏ”が重複するので、条件Ａによれば、識別しやすい単語の組み合わせは「あか」と「ぶるー」、又は、「れっど」と「ぶるー」となる。そして、さらに条件Ｂを考慮すると、これらの組み合わせのうちでは、「れっど」と「ぶるー」の組み合わせの方が総音素数が多いので、最終的に「れっど」と「ぶるー」の組み合わせが待ち受け単語に設定される。また、別の例として、例えば「あお」の同意単語としてさらに「みずいろ（ｍｉｚｕｉｒｏ）」が辞書２に記憶されている場合には、同一音素の数が最も少ない組み合わせのなかで総音素数がもっとも多い「あか」と「みずいろ」の組み合わせが待ち受け単語に設定される。このように、本発明では、正解単語候補及びそれらの同意単語のうち、最も識別しやすい組み合わせを次回の再発話に対する待ち受け単語に設定する。これにより、再発話の認識処理における認識精度を改善することができる。
【００４２】
また、本発明では、再発話の際に、再発話を促すトークバックに含まれる単語が正解の単語以外であることを示す「その他」、「それ以外」、「ちがう」などの単語を、再発話を促すトークバックに含めることを特徴とする。これにより、再発話を促すトークバックでユーザに尋ねた単語中に正解が含まれていない場合には、音声認識装置１０はそれを知ることができる。例えば、初回発話の結果、正解候補単語が「あか」と「あお」に絞られ、さらに上述のように最終的に「あか」と「みずいろ」が待ち受け単語に決定されたとする。その場合、再発話を促すトークバックでは、音声認識装置１０はユーザに例えば「「あか」ですか、「みずいろ」ですか、「その他」ですか？」と尋ねる。これに対してユーザが「その他」と再発話したとすれば、ユーザの発話した単語は「あか」でも「みずいろ」でもないことがわかる。そして、音声認識装置１０は前回の絞り込みが誤りだったことを認識し、「あか」、「みずいろ」以外の単語候補を探すことが可能となる。
【００４３】
こうして、待ち受け単語選択部８３は、再発話用の待ち受け単語の数、発音、意味（元単語の読み）などを含む情報を待ち受け単語情報８３ａとしてスイッチＳＷ１を介して単語モデル生成部３に供給するとともに、合成音声情報生成部８５に供給する。その場合、単語モデル生成部３は、待ち受け単語情報８３ａに含まれる待ち受け単語の単語モデルを生成し、再発話の認識処理において認識処理部５によるマッチング処理に使用させる。即ち、前述の例では、再発話された単語の認識処理において「あか」、「みずいろ」、「その他」の単語モデルがマッチング処理の対象となる。また、合成音声情報生成部８５は、待ち受け単語情報８３ａに基づき、再発話を促すトークバックとして「「あか」ですか、「みずいろ」ですか、「その他」ですか？」という合成音声情報を生成する。この合成音声情報は、合成音声生成部９によりスピーカ１１から合成音声として出力される。
【００４４】
こうして、音声認識装置１０は、再発話の際にはトークバック中に、正解候補単語のうち識別しやすい組み合わせの単語を含め、さらに、それら以外の単語を示す「その他」などの単語を含めてユーザに再発話を促す。これにより、再発話時の認識精度を上げることができる。
【００４５】
なお、再発話後の認識処理においても依然として１位単語候補を正解と判定できない場合は、さらに同様の再発話処理を繰り返すことができる。また、再発話処理においては、信頼度分析部８１が１位単語候補を正解と判定する際に使用するしきい値を徐々に緩和して、正解との判定がされやすくなるようにすることもできる。
【００４６】
また、再発話（複数回の場合を含む）において単語「その他」に対応する単語候補が正解であると判定された場合、即ち、ユーザがトークバック中で指定された現在の待ち受け候補単語中に正解が無いと判断した場合には、待ち受け単語選択部８３は、待ち受け単語を１回前の発話時の状態に戻す。この理由は以下の通りである。例えばｍ回目の発話に対する認識処理において１位単語候補が正解でないと判定された場合、（ｍ＋１）回目の発話に対する待ち受け単語は、候補選択部８２により上位候補のみに絞り込みがなされている。しかし、（ｍ＋１）回目の発話でユーザが「その他」と発話したということは、その際に設定されている待ち受け単語中には正解の単語が無いということであり、絞り込みが誤りであった（待ち受け誤り）ということを意味している。よって、待ち受け単語を絞り込み以前の状態（ｍ回目の発話時の状態）に戻して単語候補の範囲を広げ、必要であれば再発話を促すのである。
【００４７】
この場合、信頼度分析部８１はスイッチＳＷ１及びＳＷ２を端子Ｔ２に接続する。待ち受け単語選択部８３は、次回の発話用の待ち受け単語グループを決定する際に、前回の待ち受け単語グループを記憶する。即ち、待ち受け単語選択部８３は、過去の待ち受け単語グループを全て記憶しておき、待ち受け誤りの場合には、１回前の待ち受け単語グループを次回の再発話及び認識処理において使用する。
【００４８】
こうして、必要に応じて再発話を繰り返し、最終的に信頼度分析部８１が、ある１位単語候補を正解であると判定すると、その１位単語候補は認識結果として音声認識装置１０から外部装置へと送られる。外部装置とは、音声認識装置１０による認識結果をコマンドなどとして使用する装置である。例えば、前述のようにカーナビゲーション装置の入力部に音声認識装置１０を使用する場合、認識結果はカーナビゲーション装置のコントローラなどに供給され、その内容（コマンド）に対応する処理が実行される。
【００４９】
［音声認識処理］
次に、図３を参照して、上記の音声認識装置１０により実行される音声認識処理について説明する。図３は音声認識処理のフローチャートである。
【００５０】
まず、ステップＳ１において、ユーザによる初回発話を認識するための初期設定を行う。具体的には、再発話制御部８は、スイッチＳＷ１を端子Ｔ１側に接続し、認識を行う単語候補情報が格納された辞書２内の全単語を、初回発話に対する待ち受け単語として設定する。そして、発話カウンタｃを１に設定する。なお、発話カウンタは、認識を行う発話に対する待ち受け単語グループを示す。つまり、発話カウンタｃ＝１は初回発話に対する待ち受け単語グループ（上記の例では、辞書２に格納された全単語）に対応し、発話カウンタｃ＝２は初回発話後に１回絞り込みを行った後の待ち受け単語グループに対応する。
【００５１】
次に、ステップＳ２において、待ち受け単語グループに基づいて、単語モデル生成部３がサブワード音響モデル記憶部１内に記憶されているサブワード音響モデルを使用して、単語モデルを生成する。これにより、初回発話に対する待ち受け単語グループに対応する単語モデルが全て用意されたことになる。
【００５２】
次に、ステップＳ３において音声認識処理が行われる。即ち、ユーザによる発話が行われ、対応する発話音声信号がマイク１２を介して音響分析部４に入力される。音響分析部４は発話音声信号の音響分析を行い、その特徴ベクトル系列を得る。そして、認識処理部５は、発話音声信号の特徴ベクトルと、ステップＳ２において用意された各単語モデルとのマッチング処理を行い、両者間の音響的尤度を単語モデル毎に算出する。
【００５３】
次に、ステップＳ４において、認識信頼度演算部７は、ステップＳ３で算出された各単語候補についての音響的尤度を、付加情報収集部６が収集した付加情報を用いて重み付けすることにより、各単語候補の認識信頼度を算出する。なお、付加情報は、例えばユーザの過去の発話履歴やナビゲーション装置を搭載した車両の位置情報などである。
【００５４】
次に、ステップＳ５において、信頼度分析部８１は、各単語候補の認識信頼度に基づいて、最も認識信頼度が高い１位単語候補が正解であるか否かを分析する。この分析は、前述のように、例えば１位単語候補の信頼度と２位単語候補の信頼度を利用して行うことができる。
【００５５】
次に、ステップＳ６において、信頼度分析部８１は、ステップＳ５における分析の結果に基づいて１位単語候補が正解であるか否かを判定する。１位単語候補が正解であると判定された場合、処理はステップＳ７に進む。一方、１位単語候補が正解ではないと判定された場合、処理はステップＳ１４へ進む。
【００５６】
ステップＳ６において１位単語候補が正解であると判定された場合、ステップＳ７において、信頼度分析部８１は、その１位単語候補が「その他」に対応する単語であるか否かを判別する。前述のように「その他」に対応する単語候補は、待ち受け単語の絞り込みを行った結果、正解の単語が待ち受け単語に含まれなくなった場合に、待ち受け単語グループを修正するために使用される。１位単語候補が「その他」に対応している場合、処理はステップＳ１０へ進む。１位単語候補が「その他」に対応していない場合、処理はステップＳ８へ進む。
【００５７】
ステップＳ８に処理が進んだ場合、それは１位単語候補が正解であり、かつ、「その他」の単語候補ではないことを意味する。即ち、その１位単語候補を認識結果として良いことになる。よって、１位候補情報抽出部８４は信頼度情報２０から１位単語候補を抽出し、１位単語候補が正解であることを示す情報、正解と判定された１位候補単語が何であるかを示す情報、及び、１位単語候補に対応する発音情報などを合成音声情報生成部８５へ供給するとともに、正解と判定された１位候補単語が何であるかを示す情報を外部へ認識結果として出力する。
【００５８】
ステップＳ９では、１位単語候補に対応する発音情報に基づいて、合成音声情報生成部８５が合成音声情報を生成して合成音声生成部９へ供給し、合成音声生成部９がスピーカ１１から１位単語候補の読みを合成音声として出力する。例えば、１位単語候補が「あか」である場合、スピーカからは「あかですね？」というように、ユーザに対して認識結果の通知がなされる。
【００５９】
一方、ステップＳ６において、１位単語候補が正解でないと判定された場合、ステップＳ１４において候補選択部８２が正解単語候補を選択する。具体的には、候補選択部８２は、１位単語候補の認識信頼度などを利用して正解単語候補を選択する。この処理により、次回発話時の認識処理において使用される単語候補の絞り込みがなされる。
【００６０】
次に、ステップＳ１５において、候補選択部８２により選択された正解単語候補に基づいて、待ち受け単語選択部８３は、識別しやすく発音の異なる単語の組み合わせを生成する。具体的には、待ち受け単語選択部８３は、正解候補単語に対応する同意単語の組み合わせのうち、同一音素の数が最も少なく、総音素数の多い単語候補を待ち受け単語として決定する。そして、それらの待ち受け単語を含む待ち受け単語グループを設定する。なお、この待ち受け単語グループ中には、上記の単語の他に、「その他」に対応する単語が含められる。そして、待ち受け単語選択部８３は、それらの待ち受け単語に対応する単語情報を辞書２から取得して単語モデル生成部３へ送り、対応する単語モデルを生成させる。こうして、待ち受け単語グループが更新される。
【００６１】
また、待ち受け単語選択部８３は、更新前の待ち受け単語グループを記憶する。これは、次回の発話においてユーザが「その他」と発話した場合には、１回前の待ち受け単語グループを再度使用する必要が生じるからである。また、待ち受け単語選択部８３は、選択した待ち受け単語グループを合成音声情報生成部８５へも供給する。
【００６２】
ステップＳ１６においては、合成音声情報生成部８５及び合成音声生成部９が、再発話を促すトークバックとして、ステップＳ１５で決定された待ち受け単語の合成音声を出力する。例えば、ステップＳ１５において待ち受け単語が「あか」、「あお」、「その他」に決定されたとすると、再発話を促すトークバックとして「あかですか、あおですか、その他ですか？」などの合成音声が出力される。
【００６３】
次に、ステップＳ１７において、発話カウンタｃを１だけ増加する。その結果、増加後の発話カウンタｃは、待ち受け単語グループが、前回の待ち受け単語グループに対して１回の更新後の状態に移行したことを示すようになる。そして、処理はステップＳ２へ戻り、ステップＳ１５で決定された待ち受け単語グループに含まれる単語の単語モデルが生成され、再発話に対する認識処理が行われる。
【００６４】
また、ステップＳ７において、１位単語候補が「その他」に対応すると判定された場合、それは、その際の待ち受け単語グループ中に正解の単語が含まれていない、即ち待ち受け誤りであることを示している。よって、処理はステップＳ１０へ進み、発話カウンタｃの値が１であるか否かを判定する。発話カウンタｃ＝１である場合、現在の認識処理は初回発話に対して行われたものであり、その際の待ち受け単語の組み合わせは、辞書に含まれる全ての単語候補に設定されている。よって、ユーザが発話した単語がもともと辞書２に含まれていないことになる。この場合は、候補なしとして認識処理を終了する。
【００６５】
一方、発話カウンタｃが１でない場合、処理はステップＳ１１へ進む。ステップＳ１１では、待ち受け単語選択部８３は、発話カウンタｃの値から１を減算し、先に記憶しておいた前回の待ち受け単語グループを設定する。ユーザが「その他」と発話したということは、正解の単語が現在の待ち受け単語グループ中に含まれていないわけであるから、１回前の認識処理において使用した待ち受け単語グループに戻して再度認識処理を行うのである。なお、待ち受け単語選択部８３はステップＳ１４において、待ち受け単語の更新を行った際に、更新前の状態の待ち受け単語グループを記憶しているので、これを読み出して設定すればよい。その際、待ち受け単語選択部８３は、「その他」に対応する単語（「待ち受け誤り単語」とも呼ぶ。）が待ち受け単語グループに含まれるようにする。
【００６６】
次に、ステップＳ１２において、待ち受け単語選択部８３は、そのようにして決定された待ち受け単語グループを単語モデル生成部３及び合成音声情報生成部８５へ供給する。単語モデル生成部３は、それらの待ち受け単語に対応する単語モデルを生成し、次回の認識処理において使用できるようにする。また、合成音声情報生成部８５及び合成音声生成部９は、供給された待ち受け単語の情報を使用して、対応する単語の合成音声出力を行う。
【００６７】
以上のようにして、１位単語候補が正解と判定され、認識結果として出力される（ステップＳ９）か、又は、候補なしとして認識処理が終了される（ステップＳ１０：Ｙｅｓ）まで、ユーザの発話内容に応じて待ち受け単語グループが更新されつつ認識処理が行われる。１位単語候補の信頼度が正解と判定できる程度まで高くない場合には、信頼度などに基づいて待ち受け単語の絞り込みが行われ、さらに、絞り込まれた単語の同意単語であって音響的に識別しやすい組み合わせの単語を次回の発話時の待ち受け単語として設定することにより待ち受け単語グループが更新される。従って、再発話による認識率を改善することができ、ユーザの発話音声を迅速かつ効率的に認識することが可能となる。
【００６８】
［変形例］
図２に示す再発話制御部８においては、信頼度分析部８１は、１位単語候補及び２位単語候補を用いて１位単語候補が正解であるか否かを決定していた。その代わりに、信頼度分析部８１は、認識信頼度が上位ｎ個の単語候補を使用して１位単語候補が正解であるか否かを決定するように構成することができる。その場合には、１位単語候補が正解であるか否かを決定する処理中に、認識信頼度が上位であるｎ個の単語候補が決定される。よって、それら認識信頼度が上位であるｎ個の単語候補が決定された時点で、それらを絞り込み後の正解単語候補とすることができる。こうすれば、候補選択部８２の処理を信頼度分析部８１が行うことができ、候補選択部８２を省略することができる。その場合、正解単語候補の情報は信頼度分析部８１から待ち受け単語選択部８３へ入力されることになる。
【００６９】
図３に示す音声認識処理においては、ステップＳ７で１位単語候補が「その他」に対応すると判定され、かつ、ステップＳ８で発話カウンタｃが１でないと判定された場合、発話カウンタを１だけ減算して、前回の待ち受け単語グループを次回発話で使用するように設定している。しかし、ステップＳ７の判定がＹｅｓであるということは、前回の待ち受け単語グループ中に正解の単語が無かったことを示しているのであるから、次回の待ち受け単語グループ中にそれらの単語を含めることに意味はない。例えば、「あか」、「あお」、「その他」という待ち受け単語グループを使用した発話において、ユーザが「その他」と発話したということは、ユーザの発話した単語は「あか」、「あお」のいずれでもない。よって、待ち受け単語選択部８３は、ステップＳ１１で取得した１回前の待ち受け単語グループ中から、「あか」、「あお」及びそれらの同義語を除いて待ち受け単語グループを設定することができる。これにより、正解ではないことが明白である単語を待ち受け単語グループから除くことにより、認識処理のさらなる効率化が可能となる。
【００７０】
なお、上記の音声認識装置１０を構成する各要素をコンピュータプログラムとして構成し、コンピュータを備える機器において実行することにより、上記の音声認識装置を実現することが可能である。例えば、コンピュータを備えるカーナビゲーション装置やＡＶ機器などにおいて、上記のコンピュータプログラムを使用することにより、音声入力機能を実現することが可能となる。
【００７１】
なお、上記実施形態においては、正解単語候補及びそれらの同意単語のうち、最も識別しやすい組み合わせを次回の再発話に対する待ち受け単語に設定したが、正解単語候補の同意単語のみから最も識別しやすい組み合わせを決定してもよい。
【００７２】
また、正解単語候補及びそれらの同意単語に、再発話を促すトークバックに含まれる単語が正解の単語以外であることを示す待ち受け誤り単語も加えて、最も識別しやすい組み合わせを決定してもよい。
【００７３】
【発明の効果】
以上説明したように、本発明によれば、認識結果が誤りである可能性が高い場合は、ユーザに再発話を促すことにより、誤認識の可能性を減少させることができる。また、ある発話に対する認識結果が正解であると判定できない場合、その際に使用した待ち受け単語と同意単語であって、音響的に識別が容易な単語を次回の発話の際の待ち受け単語に設定することにより、同じ認識結果が繰り返されることがなくなり、次回の発話による認識率が改善される。また、再発話を促す確認のトークバック中に、現在の待ち受け単語以外の単語を示す「その他」などの単語を含めることにより、正解ではない単語を除去していくことができ、効率的かつ迅速に正解に至ることが可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態にかかる音声認識装置の概略構成を示すブロック図である。
【図２】図１に示す再発話制御部の内部構成を示すブロック図である。
【図３】図１に示す音声認識装置による音声認識処理を示すフローチャートである。
【符号の説明】
１　サブワード音響モデル記憶部
２　辞書
３　単語モデル生成部
４　音響分析部
５　認識処理部
６　付加情報収集部
７　認識信頼度演算部
８　再発話制御部
９　合成音声生成部
１０　音声認識装置
１１　スピーカ
１２　マイク
８１　信頼度分析部
８２　候補選択部
８３　待ち受け単語選択部
８４　１位候補情報抽出部
８５　合成音声情報生成部
【図１】
2004046106.tif 000003
【図２】
2004046106.tif 000004
【図３】
2004046106.tif 000005