【手続補正書】
【提出日】平成16年1月5日(2004.1.5)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
口唇を含む話者の映像データが入力する映像入力手段と、話者の音声データが入力する音声入力手段と、各単音節を発声する口唇の映像標準データと入力映像データとの間の類似度を算出し、映像標準データの各単音節とそれに対する類似度とを出力する映像処理手段と、各単音節を発声する音声の音声標準データと入力音声データとの間の類似度を算出し、音声標準データの各単音節とそれに対する類似度とを出力する音声処理手段と、前記映像処理手段から出力される映像標準データの各単音節に対する正答率のデータを保持する映像標準データ正答率保持手段と、前記音声処理手段から出力される音声標準データの各単音節に対する正答率のデータを保持する音声標準データ正答率保持手段と、前記映像処理手段及び音声処理手段から出力される類似度と、前記映像標準データ正答率保持手段及び音声標準データ正答率保持手段から読み出した正答率のデータとを組み合わせて、各単音節に対する総合的な類似度を求め、総合的な類似度が最も大きい単音節を識別する音声認識手段とを備える音声認識装置。
【請求項２】
前記映像入力手段に各種の単音節に関する前記映像データを入力し、各入力映像データに対応して前記映像処理手段から出力される類似度が最大の映像標準データの単音節を候補単音節として集計し、前記映像処理手段から出力された同一の候補単音節の総数の内で、入力映像データの単音節と一致する候補単音節の数の割合を、映像標準データのその単音節に対する正答率として設定することを特徴とする請求項１に記載の音声認識装置。
【請求項３】
前記音声入力手段に各種の単音節の音声データを入力し、各入力音声データに対応して前記音声処理手段から出力される類似度が最大の音声標準データの単音節を候補単音節として集計し、前記音声処理手段から出力された同一の候補単音節の総数の内で、入力音声データの単音節と一致する候補単音節の数の割合を、音声標準データのその単音節に対する正答率として設定することを特徴とする請求項１に記載の音声認識装置。
【請求項４】
前記音声標準データ正答率保持手段が、前記正答率のデータとして、信号対雑音比に対応する複数種類の正答率のデータを保持し、前記音声認識手段が、各単音節に対する総合的な類似度を求める際に、前記音声標準データ正答率保持手段から、入力音声データの信号対雑音比に応じた前記正答率のデータを読み出すことを特徴とする請求項１に記載の音声認識装置。
【請求項５】
話者の音声データが入力する音声入力手段と、各単音節を発声する音声の音声標準データと入力音声データとの間の類似度を算出し、音声標準データの各単音節とそれに対する類似度とを出力する音声処理手段と、前記音声処理手段から出力される音声標準データの各単音節に対する正答率のデータを保持する音声標準データ正答率保持手段と、音声処理手段から出力された類似度と音声標準データ正答率保持手段から読み出した正答率のデータとを組み合わせて、各単音節に対する総合的な類似度を求め、類似度が最も大きい単音節を識別する音声認識手段とを備える音声認識装置。
【請求項６】
前記音声標準データ正答率保持手段が、前記正答率のデータとして、信号対雑音比に対応する複数種類の正答率のデータを保持し、前記音声認識手段が、各単音節に対する総合的な類似度を求める際に、前記音声標準データ正答率保持手段から、入力音声データの信号対雑音比に応じた前記正答率のデータを読み出すことを特徴とする請求項５に記載の音声認識装置。
【請求項７】
口唇を含む話者の映像データが入力する映像入力手段と、話者の音声データが入力する音声入力手段と、単音節を発声する口唇の映像標準データが複数個含まれるグループと入力映像データとの間の類似度を算出し、前記グループとそれに対する類似度とを出力する映像処理手段と、前記単音節を発声する音声の音声標準データが複数個含まれるグループと入力音声データとの間の類似度を算出し、前記グループとそれに対する類似度とを出力する音声処理手段と、前記映像処理手段から出力されるグループに対する正答率のデータを保持する映像標準データ正答率保持手段と、前記音声処理手段から出力されるグループに対する正答率のデータを保持する音声標準データ正答率保持手段と、前記映像処理手段及び音声処理手段から出力される類似度と、前記映像標準データ正答率保持手段及び音声標準データ正答率保持手段から読み出した正答率のデータとを組み合わせて、各グループに対する総合的な類似度を求め、総合的な類似度が最も大きいグループを識別する音声認識手段とを備える音声認識装置。
【請求項８】
前記映像処理手段から出力されるグループに対する正答率及び前記音声処理手段から出力されるグループに対する正答率が、それぞれ高くなるように、前記グループに含まれる複数の映像標準データ及び音声標準データの単音節を設定することを特徴とする請求項７に記載の音声認識装置。
【請求項９】
前記映像処理手段及び音声処理手段が、入力映像データまたは入力音声データと前記グループに含まれるすべての映像標準データまたは音声標準データとの間の類似度を算出し、その中の最大の類似度を前記グループに対する類似度とすることを特徴とする請求項７に記載の音声認識装置。
【請求項１０】
前記映像処理手段及び音声処理手段が、入力映像データまたは入力音声データの特徴量と前記グループに含まれるすべての映像標準データまたは音声標準データに共通する特徴量との間の類似度を、前記グループに対する類似度として算出することを特徴とする請求項７に記載の音声認識装置。
【請求項１１】
話者の音声データが入力する音声入力手段と、単音節を発声する音声の音声標準データが複数個含まれるグループと前記入力音声データとの間の類似度を算出し、前記グループとそれに対する類似度とを出力する音声処理手段と、前記音声処理手段から出力されるグループに対する正答率のデータを保持する音声標準データ正答率保持手段と、音声処理手段から出力される類似度と、音声標準データ正答率保持手段から読み出した正答率のデータとを組み合わせて、各グループに対する総合的な類似度を求め、総合的な類似度が最も大きいグループを識別する音声認識手段とを備える音声認識装置。
【請求項１２】
前記音声処理手段が、入力音声データの特徴量と前記グループに含まれるすべての音声標準データに共通する特徴量との間の類似度を、前記グループに対する類似度として算出することを特徴とする請求項１１に記載の音声認識装置。
【請求項１３】
口唇を含む話者の映像データと話者の音声データとを用いて話者の音声を識別する音声認識方法において、
前記映像データと各単音節を発声する口唇の映像標準データとの間の類似度を前記映像標準データの各単音節ごとに求めるとともに、その単音節が映像データに基づいて識別される場合の信頼度を表す映像正答率を、前記類似度に乗算し、また、前記音声データと各単音節を発声する音声の音声標準データとの間の類似度を前記音声標準データの各単音節ごとに求めるとともに、その単音節が音声データに基づいて識別される場合の信頼度を表す音声正答率を、前記類似度に乗算し、これらの類似度と正答率とを乗算した値を用いて、各単音節に対する総合的な類似度を求め、前記総合的な類似度が最も大きい単音節を識別することを特徴とする音声認識方法。
【請求項１４】
話者の音声データを用いて話者の音声を識別する音声認識方法において、
前記音声データと各単音節を発声する音声の音声標準データとの間の類似度を前記音声標準データの各単音節ごとに求めるとともに、その単音節が音声データに基づいて識別される場合の信頼度を表す音声正答率を、前記類似度に乗算し、これらの類似度と正答率とを乗算した値を用いて、各単音節に対する総合的な類似度を求め、前記総合的な類似度が最も大きい単音節を識別することを特徴とする音声認識方法。
【請求項１５】
口唇を含む話者の映像データと話者の音声データとを用いて話者の音声を識別する音声認識方法において、
前記映像データと、単音節を発声する口唇の映像標準データが複数個含まれるグループとの間の類似度を各グループごとに求めるとともに、そのグループが映像データに基づいて識別される場合の信頼度を表す映像正答率を、前記類似度に乗算し、また、前記音声データと、単音節を発声する音声の音声標準データが複数個含まれるグループとの間の類似度を各グループごとに求めるとともに、そのグループが音声データに基づいて識別される場合の信頼度を表す音声正答率を、前記類似度に乗算し、これらの類似度と正答率とを乗算した値を用いて、各グループに対する総合的な類似度を求め、前記総合的な類似度が最も大きいグループを識別することを特徴とする音声認識方法。
【請求項１６】
話者の音声データを用いて話者の音声を識別する音声認識方法において、
前記音声データと、単音節を発声する音声の音声標準データが複数個含まれるグループとの間の類似度を各グループごとに求めるとともに、そのグループが音声データに基づいて識別される場合の信頼度を表す音声正答率を、前記類似度に乗算し、これらの類似度と正答率とを乗算した値を用いて、各グループに対する総合的な類似度を求め、前記総合的な類似度が最も大きいグループを識別することを特徴とする音声認識方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
【課題を解決するための手段】
そこで、本発明の音声認識装置では、口唇を含む話者の映像データが入力する映像入力手段と、話者の音声データが入力する音声入力手段と、各単音節を発声する口唇の映像標準データと入力映像データとの間の類似度を算出し、映像標準データの各単音節とそれに対する類似度とを出力する映像処理手段と、各単音節を発声する音声の音声標準データと入力音声データとの間の類似度を算出し、音声標準データの各単音節とそれに対する類似度とを出力する音声処理手段と、前記映像処理手段から出力される映像標準データの各単音節に対する正答率のデータを保持する映像標準データ正答率保持手段と、前記音声処理手段から出力される音声標準データの各単音節に対する正答率のデータを保持する音声標準データ正答率保持手段と、前記映像処理手段及び音声処理手段から出力される類似度と、前記映像標準データ正答率保持手段及び音声標準データ正答率保持手段から読み出した正答率のデータとを組み合わせて、各単音節に対する総合的な類似度を求め、総合的な類似度が最も大きい単音節を識別する音声認識手段とを設けている。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
【発明の実施の形態】
本発明の請求項１に記載の発明は、口唇を含む話者の映像データが入力する映像入力手段と、話者の音声データが入力する音声入力手段と、各単音節を発声する口唇の映像標準データと入力映像データとの間の類似度を算出し、映像標準データの各単音節とそれに対する類似度とを出力する映像処理手段と、各単音節を発声する音声の音声標準データと入力音声データとの間の類似度を算出し、音声標準データの各単音節とそれに対する類似度とを出力する音声処理手段と、前記映像処理手段から出力される映像標準データの各単音節に対する正答率のデータを保持する映像標準データ正答率保持手段と、前記音声処理手段から出力される音声標準データの各単音節に対する正答率のデータを保持する音声標準データ正答率保持手段と、前記映像処理手段及び音声処理手段から出力される類似度と、前記映像標準データ正答率保持手段及び音声標準データ正答率保持手段から読み出した正答率のデータとを組み合わせて、各単音節に対する総合的な類似度を求め、総合的な類似度が最も大きい単音節を識別する音声認識手段とを設けた音声認識装置であり、識別対象の単音節が、口唇の形状や動きを基に識別した方が高精度に識別できる種類の単音節である場合には、映像による識別の寄与率を大きくし、また、識別対象の単音節が、音声を基に識別した方が高精度に識別できる単音節である場合には、音声による識別の寄与率を大きくすることにより、騒音環境下でも信頼性の高い音声認識が可能となる。


【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
請求項４に記載の発明は、音声標準データ正答率保持手段が、正答率のデータとして、信号対雑音比に対応する複数種類の正答率のデータを保持し、音声認識手段が、各単音節に対する総合的な類似度を求める際に、音声標準データ正答率保持手段から、入力音声データの信号対雑音比に応じた正答率のデータを読み出すようにしたものであり、音声信号を用いた識別の信頼性が、入力音声信号の信号対雑音比により変動する点を改善できる。


【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
請求項５に記載の発明は、話者の音声データが入力する音声入力手段と、各単音節を発声する音声の音声標準データと入力音声データとの間の類似度を算出し、音声標準データの各単音節とそれに対する類似度とを出力する音声処理手段と、前記音声処理手段から出力される音声標準データの各単音節に対する正答率のデータを保持する音声標準データ正答率保持手段と、音声処理手段から出力された類似度と音声標準データ正答率保持手段から読み出した正答率のデータとを組み合わせて、各単音節に対する総合的な類似度を求め、類似度が最も大きい単音節を識別する音声認識手段とを備えた音声認識装置であり、音声信号を用いた識別の信頼性が向上し、騒音環境下でも信頼性の高い音声認識が可能となる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
請求項６に記載の発明は、前記音声標準データ正答率保持手段が、前記正答率のデータとして、信号対雑音比に対応する複数種類の正答率のデータを保持し、前記音声認識手段が、各単音節に対する総合的な類似度を求める際に、前記音声標準データ正答率保持手段から、入力音声データの信号対雑音比に応じた前記正答率のデータを読み出すようにしたものであり、音声信号を用いた識別の信頼性が、入力音声信号の信号対雑音比により変動する点を改善できる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
請求項７に記載の発明は、口唇を含む話者の映像データが入力する映像入力手段と、話者の音声データが入力する音声入力手段と、単音節を発声する口唇の映像標準データが複数個含まれるグループと入力映像データとの間の類似度を算出し、グループとそれに対する類似度とを出力する映像処理手段と、単音節を発声する音声の音声標準データが複数個含まれるグループと入力音声データとの間の類似度を算出し、グループとそれに対する類似度とを出力する音声処理手段と、映像処理手段及び音声処理手段から出力された類似度を用いて、総合的な類似度が最も大きいグループを識別する音声認識手段と、前記映像処理手段から出力されるグループに対する正答率のデータを保持する映像標準データ正答率保持手段と、前記音声処理手段から出力されるグループに対する正答率のデータを保持する音声標準データ正答率保持手段と、前記映像処理手段及び音声処理手段から出力される類似度と、前記映像標準データ正答率保持手段及び音声標準データ正答率保持手段から読み出した正答率のデータとを組み合わせて、各グループに対する総合的な類似度を求め、総合的な類似度が最も大きいグループを識別する音声認識手段とを備える音声認識装置であり、認識対象の音声が属しているグループを高精度に特定することができ、音声識別処理を効率化することができる。


【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
請求項８に記載の発明は、請求項７の音声認識装置において、映像処理手段から出力されるグループに対する正答率及び音声処理手段から出力されるグループに対する正答率が、それぞれ高くなるように、各グループに含まれる複数の映像標準データ及び音声標準データの単音節を設定するようにしたものであり、こうすることにより、グループを細分化して、認識対象の音声を狭い範囲に絞り込むことができる。


【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
請求項９に記載の発明は、請求項７の音声認識装置において、映像処理手段及び音声処理手段が、入力映像データまたは入力音声データとグループに含まれるすべての映像標準データまたは音声標準データとの間の類似度を算出し、その中の最大の類似度をグループに対する類似度とするようにしたものであり、こうしてグループに対する類似度を求めることができる。


【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
請求項１０に記載の発明は、請求項７の音声認識装置において、映像処理手段及び音声処理手段が、入力映像データまたは入力音声データの特徴量とグループに含まれるすべての映像標準データまたは音声標準データに共通する特徴量との間の類似度を、グループに対する類似度として算出するようにしたものであり、こうしたやり方で、グループに対する類似度を求めることもできる。
請求項１１に記載の発明は、話者の音声データが入力する音声入力手段と、単音節を発声する音声の音声標準データが複数個含まれるグループと前記入力音声データとの間の類似度を算出し、前記グループとそれに対する類似度とを出力する音声処理手段と、前記音声処理手段から出力されるグループに対する正答率のデータを保持する音声標準データ正答率保持手段と、音声処理手段から出力される類似度と、音声標準データ正答率保持手段から読み出した正答率のデータとを組み合わせて、各グループに対する総合的な類似度を求め、総合的な類似度が最も大きいグループを識別する音声認識手段とを備える音声認識装置であり、認識対象の音声が属しているグループを高精度に特定することができ、音声識別処理を効率化することができる。
請求項１２に記載の発明は、請求項１１の音声認識装置において、前記音声処理手段が、入力音声データの特徴量と前記グループに含まれるすべての音声標準データに共通する特徴量との間の類似度を、前記グループに対する類似度として算出するようにしたものであり、こうしたやり方で、グループに対する類似度を求めることもできる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
請求項１３に記載の発明は、口唇を含む話者の映像データと話者の音声データとを用いて話者の音声を識別する音声認識方法において、映像データと各単音節を発声する口唇の映像標準データとの間の類似度を映像標準データの各単音節ごとに求めるとともに、その単音節が映像データに基づいて識別される場合の信頼度を表す映像正答率を、この類似度に乗算し、また、音声データと各単音節を発声する音声の音声標準データとの間の類似度を音声標準データの各単音節ごとに求めるとともに、その単音節が音声データに基づいて識別される場合の信頼度を表す音声正答率を、この類似度に乗算し、これらの類似度と正答率とを乗算した値を用いて、各単音節に対する総合的な類似度を求め、総合的な類似度が最も大きい単音節を識別するようにしたものであり、この方法では、映像または音声による識別手法の内、識別対象の単音節を高精度に識別できる手法に対して、より多くの重みを付けて音声を識別することができる。


【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
請求項１４に記載の発明は、話者の音声データを用いて話者の音声を識別する音声認識方法において、前記音声データと各単音節を発声する音声の音声標準データとの間の類似度を前記音声標準データの各単音節ごとに求めるとともに、その単音節が音声データに基づいて識別される場合の信頼度を表す音声正答率を、前記類似度に乗算し、これらの類似度と正答率とを乗算した値を用いて、各単音節に対する総合的な類似度を求め、前記総合的な類似度が最も大きい単音節を識別するようにしたものであり、音声信号を用いた識別の信頼性が向上し、騒音環境下でも信頼性の高い音声認識が可能となる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】削除
【補正の内容】
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】削除
【補正の内容】
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】削除
【補正の内容】
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】削除
【補正の内容】
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】削除
【補正の内容】
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
請求項１５に記載の発明は、口唇を含む話者の映像データと話者の音声データとを用いて話者の音声を識別する音声認識方法において、映像データと、単音節を発声する口唇の映像標準データが複数個含まれるグループとの間の類似度を各グループごとに求めるとともに、そのグループが映像データに基づいて識別される場合の信頼度を表す映像正答率を、この類似度に乗算し、また、音声データと、単音節を発声する音声の音声標準データが複数個含まれるグループとの間の類似度を各グループごとに求めるとともに、そのグループが音声データに基づいて識別される場合の信頼度を表す音声正答率を、この類似度に乗算し、これらの類似度と正答率とを乗算した値を用いて、各グループに対する総合的な類似度を求め、総合的な類似度が最も大きいグループを識別するようにしたものであり、認識対象の単音節が属しているグループを特定して、その単音節を絞り込むことにより、音声認識処理を効率化することができる。


【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
請求項１６に記載の発明は、話者の音声データを用いて話者の音声を識別する音声認識方法において、前記音声データと、単音節を発声する音声の音声標準データが複数個含まれるグループとの間の類似度を各グループごとに求めるとともに、そのグループが音声データに基づいて識別される場合の信頼度を表す音声正答率を、前記類似度に乗算し、これらの類似度と正答率とを乗算した値を用いて、各グループに対する総合的な類似度を求め、前記総合的な類似度が最も大きいグループを識別するようにしたものであり、音声信号を用いた識別の信頼性が向上し、騒音環境下でも信頼性の高い音声認識が可能となる。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】削除
【補正の内容】