(57)【特許請求の範囲】
【請求項１】
口唇を含む話者の映像データを入力する映像入力手段と、
話者の音声データを入力する音声入力手段と、
各単音節を発声する口唇の映像標準データと入力映像データとの間の類似度を算出し、映像標準データの各単音節とそれに対する類似度とを出力する映像処理手段と、
各単音節を発声する音声の音声標準データと入力音声データとの間の類似度を算出し、音声標準データの各単音節とそれに対する類似度とを出力する音声処理手段と、
あらかじめ、前記映像入力手段に各種の単音節に関する前記映像データを入力し、各入力映像データに対応して前記映像処理手段から出力される類似度が最大の映像標準データの単音節を候補単音節として集計し、それを基に算出した、前記映像処理手段から出力された同一の候補単音節の総数の内で、入力映像データの単音節と一致する候補単音節の数の割合を、映像標準データのその単音節に対する正答率のデータとして保持する映像標準データ正答率保持手段と、
あらかじめ、前記音声入力手段に各種の単音節の音声データを入力し、各入力音声データに対応して前記音声処理手段から出力される類似度が最大の音声標準データの単音節を候補単音節として集計し、それを基に算出した、前記音声処理手段から出力された同一の候補単音節の総数の内で、入力音声データの単音節と一致する候補単音節の数の割合を、音声標準データのその単音節に対する正答率のデータとして保持する音声標準データ正答率保持手段と、
前記映像処理手段から出力される類似度と前記映像標準データ正答率保持手段から読み出した正答率との積、及び、前記音声処理手段から出力される類似度と前記音声標準データ正答率保持手段から読み出した正答率との積の総和を各単音節に対する総合的な類似度として求め、総合的な類似度が最も大きい単音節を識別する音声認識手段と
を備える音声認識装置。
【請求項２】
前記音声標準データ正答率保持手段が、前記正答率のデータとして、信号対雑音比に対応する複数種類の正答率のデータを保持し、前記音声認識手段が、各単音節に対する総合的な類似度を求める際に、前記音声標準データ正答率保持手段から、入力音声データの信号対雑音比に応じた前記正答率のデータを読み出すことを特徴とする請求項１に記載の音声認識装置。
【請求項３】
口唇を含む話者の映像データを入力する映像入力手段と、
話者の音声データを入力する音声入力手段と、
発声の機構が共通する単音節を予めグループ化し、各グループについて、当該グループの各単音節を発声する口唇の映像標準データと入力映像データとの間の類似度を算出し、その中の最大の類似度を当該グループの類似度に設定して、グループの識別情報と当該グループの類似度とを出力する映像処理手段と、
前記各グループについて、当該グループの各単音節を発声する音声の音声標準データと入力音声データとの間の類似度を算出し、その中の最大の類似度を当該グループの類似度に設定して、グループの識別情報と当該グループの類似度とを出力する音声処理手段と、
あらかじめ、前記映像入力手段に各種の単音節に関する前記映像データを入力し、各入力映像データに対応して前記映像処理手段から出力される各グループの出力総数を集計し、それを基に算出した、前記出力総数の内で、入力した単音節が当該グループに含まれる正解の出力数の割合を、そのグループに対する正答率のデータとして保持する映像標準データ正答率保持手段と、
あらかじめ、前記音声入力手段に各種の単音節の音声データを入力し、各入力音声データに対応して前記音声処理手段から出力される各グループの出力総数を集計し、それを基に算出した、前記出力総数の内で、入力した単音節が当該グループに含まれる正解の出力数の割合を、そのグループに対する正答率のデータとして保持する音声標準データ正答率保持手段と、
前記映像処理手段から出力される類似度と前記映像標準データ正答率保持手段から読み出した正答率との積、及び、前記音声処理手段から出力される類似度と前記音声標準データ正答率保持手段から読み出した正答率との積の総和を各グループに対する総合的な類似度として求め、総合的な類似度が最も大きいグループを識別する音声認識手段と
を備える音声認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、話者の口唇を含む映像信号と音声信号とを用いて音声認識を行なう音声認識装置と、その音声認識方法に関し、特に、認識率の向上を図るものである。
【０００２】
【従来の技術】
音声認識を行なう場合に、音声信号だけでなく、話者の口唇を含む映像を併せて用いる音声認識装置が、Sintani等によって報告された“An Isolated Word Speech Recognition Using Fusion of Auditory and Visual Information"(IEICE Trans. Fundamentals, Vol. E79-A, No. 6, p777-783(1996))に記載されている。音声信号だけを用いる音声認識では、雑音が混入すると、認識精度が急激に低下するが、口唇の映像を併用する場合には、認識精度の低下の程度を和らげることができる。
【０００３】
図６は、この従来の音声認識装置の概略構成を示している。この装置は、話者の口唇部分を含む映像を入力するビデオカメラ等の映像入力部１と、話者が発声する音声を入力するマイク等の音声入力部３と、各種単語を発声する口唇部分の映像標準データと入力した口唇部分の映像との類似度を求め、映像標準データに含まれる各単語に対する類似度を出力する映像処理部２と、各種単語の音声標準データと入力した音声との類似度を求め、音声標準データに含まれる各単語に対する類似度を出力する音声処理部４と、映像処理部２及び音声処理部４より入力する類似度から最も類似度の高い単語を算出し、それを認識結果として出力する音声認識部５とを備えている。
【０００４】
この装置の映像処理部２は、入力映像から例えば口唇部分の上下方向及び左右方向の長さ、並びに上下及び左右の長さの比を特徴量として抽出する。そして、類似度の算出のために予め用意された複数の単語の映像標準データのうちで、ｉ番目の単語に対応する特徴量と、入力映像から抽出した特徴量との間の類似度（Ｒi,Image）を、パターン認識の手法として良く知られた、隠れマルコフモデル（以下、ＨＭＭと略す）により算出して出力する。
【０００５】
また、音声処理部４は、入力音声からケプストラム分析により特徴量を抽出し、予め用意された複数の単語の音声標準データのうちで、ｉ番目の単語に対応する特徴量と、入力音声から抽出した特徴量との類似度（Ｒi,Sound）をＨＭＭにより算出して出力する。
【０００６】
また、音声認識部５は、映像処理部２の出力（Ｒi,Image）及び音声処理部４の出力（Ｒi,Sound）から、ｉ番目の単語に対して映像及び音声を総合した類似度（Ｒi,Total）を次式（１）により算出する。
Ｒi,Total＝α・Ｒi,Image＋（１−α）・Ｒi,Sound    ………（式１）
ここで、α（０≦α≦１）は、係数決定用に（類似度算出用とは別に）サンプルした映像と音声データとを用いて、認識率が最大となるように予め設定した係数である。
【０００７】
音声認識部５は、映像標準データ及び音声標準データに含まれる全ての単語に対して類似度Ｒi,Totalを求め、この類似度Ｒi,Totalが最大となる単語を認識結果として出力する。
【０００８】
このように、この音声認識装置は、音声信号とともに、口唇情報を含む映像信号を併せて用いているため、雑音が存在する場合でも、認識率の急激な低下を免れることができ、音声認識装置の応用分野を騒音環境下で使用される装置にまで広げることができる。
【０００９】
【発明が解決しようとする課題】
音声認識装置をカーナビゲーション装置に応用して、装置への指令を音声で与えることが検討されているが、しかし、こうした騒音環境下で使用される装置に組み込むためには、音声認識装置の騒音下での認識率をさらに高めることが必要である。
【００１０】
本発明は、こうした要請に応えるものであり、騒音環境下の音声認識において、高い認識率を実現することができる音声認識装置を提供し、また、その音声認識方法を提供することを目的としている。
【００１１】
【課題を解決するための手段】
そこで、本発明の音声認識装置では、口唇を含む話者の映像データを入力する映像入力手段と、話者の音声データを入力する音声入力手段と、各単音節を発声する口唇の映像標準データと入力映像データとの間の類似度を算出し、映像標準データの各単音節とそれに対する類似度とを出力する映像処理手段と、各単音節を発声する音声の音声標準データと入力音声データとの間の類似度を算出し、音声標準データの各単音節とそれに対する類似度とを出力する音声処理手段と、映像処理手段及び音声処理手段から出力された類似度を用いて、総合的な類似度が最も大きい単音節を識別する音声認識手段とを設けるとともに、あらかじめ、前記映像入力手段に各種の単音節に関する前記映像データを入力し、各入力映像データに対応して前記映像処理手段から出力される類似度が最大の映像標準データの単音節を候補単音節として集計し、それを基に算出した、前記映像処理手段から出力された同一の候補単音節の総数の内で、入力映像データの単音節と一致する候補単音節の数の割合を、映像標準データのその単音節に対する正答率のデータとして保持する映像標準データ正答率保持手段と、あらかじめ、前記音声入力手段に各種の単音節の音声データを入力し、各入力音声データに対応して前記音声処理手段から出力される類似度が最大の音声標準データの単音節を候補単音節として集計し、それを基に算出した、前記音声処理手段から出力された同一の候補単音節の総数の内で、入力音声データの単音節と一致する候補単音節の数の割合を、音声標準データのその単音節に対する正答率のデータとして保持する音声標準データ正答率保持手段とを設け、音声認識手段が、映像処理手段から出力される類似度と映像標準データ正答率保持手段から読み出した正答率との積、及び、音声処理手段から出力される類似度と音声標準データ正答率保持手段から読み出した正答率との積の総和を各単音節に対する総合的な類似度として求めるようにしている。
【００１２】
この装置では、識別対象の単音節が、口唇の映像を基に識別した方が高精度に識別できる種類の単音節である場合には、映像による識別結果が最終判断に大きく寄与し、また、識別対象の単音節が、音声を基に識別した方が高精度に識別できる単音節である場合には、音声による識別結果が最終判断に大きく寄与することになる。そのため、騒音環境下でも信頼性の高い音声認識が可能となる。
【００１５】
【発明の実施の形態】
本発明の請求項１に記載の発明は、口唇を含む話者の映像データを入力する映像入力手段と、話者の音声データを入力する音声入力手段と、各単音節を発声する口唇の映像標準データと入力映像データとの間の類似度を算出し、映像標準データの各単音節とそれに対する類似度とを出力する映像処理手段と、各単音節を発声する音声の音声標準データと入力音声データとの間の類似度を算出し、音声標準データの各単音節とそれに対する類似度とを出力する音声処理手段と、あらかじめ、前記映像入力手段に各種の単音節に関する前記映像データを入力し、各入力映像データに対応して前記映像処理手段から出力される類似度が最大の映像標準データの単音節を候補単音節として集計し、それを基に算出した、前記映像処理手段から出力された同一の候補単音節の総数の内で、入力映像データの単音節と一致する候補単音節の数の割合を、映像標準データのその単音節に対する正答率のデータとして保持する映像標準データ正答率保持手段と、あらかじめ、前記音声入力手段に各種の単音節の音声データを入力し、各入力音声データに対応して前記音声処理手段から出力される類似度が最大の音声標準データの単音節を候補単音節として集計し、それを基に算出した、前記音声処理手段から出力された同一の候補単音節の総数の内で、入力音声データの単音節と一致する候補単音節の数の割合を、音声標準データのその単音節に対する正答率のデータとして保持する音声標準データ正答率保持手段と、前記映像処理手段から出力される類似度と前記映像標準データ正答率保持手段から読み出した正答率との積、及び、前記音声処理手段から出力される類似度と前記音声標準データ正答率保持手段から読み出した正答率との積の総和を各単音節に対する総合的な類似度として求め、総合的な類似度が最も大きい単音節を識別する音声認識手段とを設けた音声認識装置であり、識別対象の単音節が、口唇の形状や動きを基に識別した方が高精度に識別できる種類の単音節である場合には、映像による識別の寄与率を大きくし、また、識別対象の単音節が、音声を基に識別した方が高精度に識別できる単音節である場合には、音声による識別の寄与率を大きくすることにより、騒音環境下でも信頼性の高い音声認識が可能となる。
【００２０】
請求項２に記載の発明は、音声標準データ正答率保持手段が、正答率のデータとして、信号対雑音比に対応する複数種類の正答率のデータを保持し、音声認識手段が、各単音節に対する総合的な類似度を求める際に、音声標準データ正答率保持手段から、入力音声データの信号対雑音比に応じた正答率のデータを読み出すようにしたものであり、音声信号を用いた識別の信頼性が、入力音声信号の信号対雑音比により変動する点を改善できる。
【００２４】
請求項３に記載の発明は、口唇を含む話者の映像データを入力する映像入力手段と、話者の音声データを入力する音声入力手段と、発声の機構が共通する単音節を予めグループ化し、各グループについて、当該グループの各単音節を発声する口唇の映像標準データと入力映像データとの間の類似度を算出し、その中の最大の類似度を当該グループの類似度に設定して、グループの識別情報と当該グループの類似度とを出力する映像処理手段と、
前記各グループについて、当該グループの各単音節を発声する音声の音声標準データと入力音声データとの間の類似度を算出し、その中の最大の類似度を当該グループの類似度に設定して、グループの識別情報と当該グループの類似度とを出力する音声処理手段と、あらかじめ、前記映像入力手段に各種の単音節に関する前記映像データを入力し、各入力映像データに対応して前記映像処理手段から出力される各グループの出力総数を集計し、それを基に算出した、前記出力総数の内で、入力した単音節が当該グループに含まれる正解の出力数の割合を、そのグループに対する正答率のデータとして保持する映像標準データ正答率保持手段と、あらかじめ、前記音声入力手段に各種の単音節の音声データを入力し、各入力音声データに対応して前記音声処理手段から出力される各グループの出力総数を集計し、それを基に算出した、前記出力総数の内で、入力した単音節が当該グループに含まれる正解の出力数の割合を、そのグループに対する正答率のデータとして保持する音声標準データ正答率保持手段と、前記映像処理手段から出力される類似度と前記映像標準データ正答率保持手段から読み出した正答率との積、及び、前記音声処理手段から出力される類似度と前記音声標準データ正答率保持手段から読み出した正答率との積の総和を各グループに対する総合的な類似度として求め、総合的な類似度が最も大きいグループを識別する音声認識手段とを備える音声認識装置であり、認識対象の音声が属しているグループを高精度に特定することができ、音声識別処理を効率化することができる。
【００３８】
以下、本発明の実施の形態について図面を用いて説明する。
【００３９】
（第１の実施の形態）
第１の実施形態の音声認識装置は、図１に示すように、話者の口唇部分を含む映像が入力するビデオカメラ等の映像入力部１と、話者の発声する音声が入力するマイク等の音声入力部３と、各種単音節を発声する口唇部分の映像標準データと入力した口唇部分の映像との類似度を求め、映像標準データに含まれる各単音節に対する類似度を出力する映像処理部２と、各種単音節の音声標準データと入力した音声との類似度を求め、音声標準データに含まれる各単音節に対する類似度を出力する音声処理部４と、口唇部分の映像に基づいて音声認識された各単音節の正答率データ（即ち、その単音節が正解である確率を表わすデータ）を保持する映像処理部正答率データ保持部６と、音声に基づいて音声認識された各単音節の正答率データを保持する音声処理部正答率データ保持部７と、映像処理部２及び音声処理部４より入力する類似度、並びに映像処理部正答率データ保持部６及び音声処理部正答率データ保持部７より読み出した正答率データに基づいて総合の類似度を求め、その類似度が最も高い単音節を認識結果として出力する音声認識部５とを備えている。
【００４０】
図２は、本発明における正答率を説明するための図面である。この図は、例えば、音声処理部４に単音節が入力したとき（ここでは、簡単のため、入力単音節を「あ」、「い」、「う」、「え」、「お」の５つとした）、音声処理部４より「類似度が最大の単音節」（これを候補単音節という）として、どの単音節が、どの程度の割合で出力されたかを示している。
【００４１】
この候補単音節の出現度数のデータは、類似度を算出するための標準音声データとは別に、単音節の音声をサンプルとして用意し、これを音声処理部４に入力して、実際の値を求めている。
【００４２】
例えば、音声処理部４に単音節の「あ」を１００回入力したとき、「あ」が候補単音節となる場合が９７回有り、「う」が候補単音節となる場合が１回有り、「お」が候補単音節となる場合が１回有った（残りの１回は候補単音節を特定できなかった）。
【００４３】
こうして求めた候補単音節の出現度数のデータから、ある特定の単音節が出力された場合の、その単音節が正解である割合、即ち、その単音節の出力数と、出力数の内で入力単音節に一致する出力の数との比、を正答率として算出する。
【００４４】
例えば、音声処理部が「あ」を出力した数１０５に対して、入力単音節が「あ」である数は９７であるから、図２の例では候補単音節「あ」の正答率は０．９２４となる。
【００４５】
このようにして、音声処理部４に、認識を行なうすべての単音節の音声データを入力し、これらの単音節に対する正答率を算出し、正答率データ（Ｓi,Sound）として音声処理部正答率データ保持部７に格納する。また、映像に関しても同じように、映像処理部２に、認識を行なうすべての単音節を発声する話者の口唇部分を含む映像データを入力し、これらの単音節に対する正答率データ（Ｓi,Image）を算出して、映像処理部正答率データ保持部６に格納する。
【００４６】
なお、この正答率データの算出に用いる映像データ及び音声データは、音声認識の対象者がデータを提供すること、あるいは複数の話者がデータ提供者になることが望ましく、また、各単音節の入力データ数にばらつきが少ないことが望ましい。
【００４７】
この装置の映像処理部２は、映像入力部１より入力する映像から例えば口唇部分の上下方向及び左右方向の長さ、並びに上下及び左右の長さの比を特徴量として抽出する。そして、類似度の算出のために予め用意された複数の単音節の映像標準データのうちで、ｉ番目の単音節に対応する特徴量と、入力映像から抽出した特徴量との間の類似度（Ｒi,Image）をＨＭＭにより算出し、その結果を出力する。
【００４８】
また、音声処理部４は、音声入力部３より入力する音声からケプストラム分析により特徴量を抽出し、予め用意された複数の単音節の音声標準データのうちで、ｉ番目の単音節に対応する特徴量と、入力音声から抽出した特徴量との類似度（Ｒi,Sound）をＨＭＭにより算出し、その結果を出力する。
【００４９】
音声認識部５は、映像処理部２の出力（Ｒi,Image）及び音声処理部４の出力（Ｒi,Sound）と、映像処理部正答率データ保持部６に保持された正答率データ（Ｓi,Image）及び音声処理部正答率データ保持部７に保持された正答率データ（Ｓi,Sound）とから、ｉ番目の単音節に対する映像及び音声の総合類似度（Ｒi,Total）を次式（２）により算出する。
Ｒi,Total＝Ｓi,Image・Ｒi,Image＋Ｓi,Sound・Ｒi,Sound  ……（式２）
音声認識部５は、映像標準データ及び音声標準データに含まれる全ての単音節に対して類似度Ｒi,Totalを求め、この類似度Ｒi,Totalが最大となる単音節を認識結果として出力する。
【００５０】
このように、この実施形態の音声認識装置は、映像及び音声の類似度と正答率とを組み合わせて音声認識を行なっている。この正答率を組み合わせることは、単音節を識別する場合に、音声または映像を用いる識別方法の内で、その単音節を効果的に識別できる方法に対して、より多くの重み付けを行なうことであり、そうすることにより、騒音環境下においても高精度の音声認識を実現することができる。
【００５１】
なお、映像処理部２及び音声処理部４における類似度の算出には、ＨＭＭ以外に、ニューラルネットワーク等、音声認識に一般に用いられている他の手法を用いても良い。
【００５２】
（第２の実施の形態）
第２の実施形態の音声認識装置は、第１の実施形態（図１）と同一構成を備え、ただ、音声認識部５での総合類似度（Ｒi,Total）の算出動作だけが違っている。
【００５３】
この装置の音声認識部５は、Ｓi,Image・Ｒi,Image＞Ｓi,Sound・Ｒi,Soundであるときには、
Ｒi,Total＝Ｓi,Image・Ｒi,Image                    ………（式３）
の値を算出し、一方、Ｓi,Image・Ｒi,Image≦Ｓi,Sound・Ｒi,Soundであるときには、
Ｒi,Total＝Ｓi,Sound・Ｒi,Sound                    ………（式４）
の値を算出する。そして、Ｒi,Totalが最大となる単音節を認識結果として出力する。
【００５４】
このように、この実施形態の装置では、映像データまたは音声データによる識別結果の内、信頼性が高い方を選択して識別に用いている。こうすることにより、高い認識精度を保ちながら、音声認識における演算処理を簡略化することができる。
【００５５】
（第３の実施の形態）
第３の実施形態の音声認識装置は、入力音声のＳ／Ｎが変動する場合でも、高精度の音声認識が可能である。音声を用いた音声認識は、その正答率が入力音声のＳ／Ｎとともに変化する。この装置では、こうした変化に対応できるように構成している。
【００５６】
この装置は、図３に示すように、映像処理部２により抽出された口唇の映像から、発声している区間（発声区間）と発声していない区間（非発声区間）とを検出する発声区間検出部８と、発声区間の音圧レベルと非発声区間の音圧レベルとから信号対雑音比（Ｓ／Ｎ）を算出する音圧レベル検出部９と、音声に基づいて音声認識された単音節の正答率データ（Ｓi,Sound）として、入力音声信号のＳ／Ｎに応じた複数種類のデータを保持する音声処理部正答率データ保持部７とを備えており、音声処理部正答率データ保持部７が保持している正答率データ（Ｓi,Sound）の内、音圧レベル検出部９で検出されたＳ／Ｎに対応する正答率データが音声認識部５に出力される。その他の構成は第１の実施形態（図１）と変わりがない。
【００５７】
この装置では、映像処理部２が、入力する映像から口唇部分の特徴量を抽出し、その特徴量と各単音節の映像標準データにおける特徴量との類似度（Ｒi,Image）を算出して、音声認識部５に出力する。
【００５８】
発声区間検出部８は、映像処理部２で抽出された口唇の上下方向及び左右方向の長さ、あるいはそれらの比などの特徴量を一定時間毎にサンプルし、その特徴量の時間毎の変化量が、設定した閾値を超えている場合には発声区間、閾値を超えない場合には非発声区間と識別し、識別結果を音声処理部４に出力する。
【００５９】
音声処理部４は、音声入力部３より入力する音声信号を発声区間と非発声区間とに区分して音圧レベル検出部９に出力し、また、入力音声信号から特徴量を抽出して、各単音節の音声標準データにおける特徴量との類似度（Ｒi,Sound）を算出して、音声認識部５に出力する。
【００６０】
音圧レベル検出部９は、発声区間及び非発声区間のそれぞれの時間区間における平均音圧レベルを検出し、発声区間の音圧レベルを信号レベル、非発声区間の音圧レベルを雑音レベルとして信号対雑音比（Ｓ／Ｎ）を算出し、音声処理部正答率データ保持部７に出力する。
【００６１】
音声処理部正答率データ保持部７には、音声に基づいて認識された単音節の正答率データ（Ｓi,Sound）として、入力音声信号の複数のＳ／Ｎに対応する複数種類のデータが保持されている。そして、音声処理部正答率データ保持部７は、音圧レベル検出部９からＳ／Ｎが入力すると、そのＳ／Ｎに対応する種類の正答率データ（Ｓi,Sound）を出力用のデータとして用意する。
【００６２】
音声認識部５は、映像処理部２及び音声処理部４の各出力（Ｒi,Image）、（Ｒi,Sound）と、映像処理部正答率データ保持部６から読み出した正答率データ（Ｓi,Image）と、音声処理部正答率データ保持部７から選択した、Ｓ／Ｎに対応する正答率データ（Ｓi,Sound）とを用いて、ｉ番目の単音節に対する映像及び音声の総合類似度（Ｒi,Total）を式（２）により算出し、Ｒi,Totalが最大となる単音節を認識結果として出力する。
【００６３】
このように、この実施形態の音声認識装置では、音声に基づく音声認識結果の正答率データ（Ｓi,Sound）としてＳ／Ｎに応じた値を用いているため、Ｓ／Ｎが異なる入力音声信号に対しても、より確実に音声認識処理を行なうことが可能となる。
【００６４】
（第４の実施の形態）
第４の実施形態の音声認識装置は、種々の方向から撮影した話者の映像を音声認識処理に利用する。
【００６５】
この装置は、図４に示すように、話者を正面から撮影した映像が入力する映像入力部１と、話者を側面から撮影した映像が入力する映像入力部10と、映像入力部１から入力する正面映像の口唇部分における特徴量を抽出し、その特徴量と、各単音節を話す口唇部分の正面映像より成る映像標準データの特徴量との類似度を求める映像処理部２と、映像入力部10から入力する側面映像の口唇部分における特徴量を抽出し、その特徴量と、各単音節を話す口唇部分の側面映像より成る映像標準データの特徴量との類似度を求める映像処理部11と、正面映像に対する正答率データ（Ｓi,Image1）を保持する映像処理部正答率データ保持部６と、側面映像に対する正答率データ（Ｓi,Image2）を保持する映像処理部正答率データ保持部12とを備えている。その他の構成は、第１の実施形態（図１）と変わりがない。
【００６６】
この装置では、映像入力部１に、話者を正面から撮影した映像の映像信号が入力し、映像入力部10に、話者を側面から撮影した映像の映像信号が入力する。
【００６７】
映像処理部２は、映像入力部１より入力する正面映像から口唇部分の特徴量を抽出し、その特徴量と、各単音節を発声する口唇部分の正面映像より成る映像標準データの特徴量との類似度（Ｒi,Image1）を算出して、音声認識部５に出力し、また、映像処理部11は、映像入力部10より入力する側面映像から口唇部分の特徴量を抽出し、その特徴量と、各単音節を発声する口唇部分の側面映像より成る映像標準データの特徴量との類似度（Ｒi,Image1）を算出して、音声認識部５に出力する。
【００６８】
また、映像処理部正答率データ保持部６には、口唇部分の正面映像に基づいて音声認識された各単音節の正答率データ（Ｓi,Image1）が保持され、映像処理部正答率データ12には、口唇部分の側面映像に基づいて音声認識された各単音節の正答率データ（Ｓi,Image2）が保持されている。
【００６９】
音声認識部５は、映像処理部２の出力（Ｒi,Image1）、映像処理部11の出力（Ｒi,Image2）、及び音声処理部４の出力（Ｒi,Image）、並びに映像処理部正答率データ保持部６から読み出した正答率データ（Ｓi,Image1）、映像処理部正答率データ保持部12から読み出した正答率データ（Ｓi,Image2）、及び音声処理部正答率データ保持部７から読み出した正答率データ（Ｓi,Sound）を用いて、ｉ番目の単音節に対する映像及び音声の総合類似度（Ｒi,Total）を式（５）により算出する。
Ｒi,Total＝Ｓi,Image1・Ｒi,Image1＋Ｓi,Image2・Ｒi,Image2
＋Ｓi,Sound・Ｒi,Sound                  ………（式５）
そして、Ｒi,Totalが最大となる単音節を認識結果として出力する。
【００７０】
このように、この実施形態の装置では、複数の方向から撮影した話者の映像を用いることにより、より確かな音声認識を行なうことが可能となる。
【００７１】
なお、この実施形態では、話者の正面及び側面の映像を用いる場合について説明したが、正面及び側面以外に斜め方向からの映像など、より多くの映像を用いることにより、より確かな音声認識が可能となる。
【００７２】
（第５の実施の形態）
第５の実施形態では、発声された音声の単音節が属しているグループを特定する音声認識装置について説明する。
【００７３】
例えば、「あ行」のグループに属する単音節（「あ」「い」「う」「え」「お」）に共通する特徴があり、また、同一の子音を含む「か行」、「さ行」、‥の各グループに属する単音節に共通する特徴があるものとすると、入力音声の単音節の特徴と各グループの特徴との類似度を比較することにより、入力音声の単音節がどのグループに属しているかを特定することができる。
【００７４】
音声認識の手法には、例えば「モグラ」という単語が発声された時、「モ」「グ」「ラ」の各々に対応する単音節の候補としてそれぞれ複数の単音節を選び出し、次に、「モ」「グ」「ラ」の各候補の組み合わせを順番に当たり、その組み合わせが単語としての意味を持つか否か、などから、最終的に発声された単語を識別する方法が知られている。
【００７５】
このような場合に、例えば、先頭の単音節が属しているグループを特定することができれば、検討すべき各候補の組み合わせの数が大幅に減少し、音声認識処理を効率化することができる。
【００７６】
第５の実施形態の音声認識装置は、音声データと映像データとを併用することにより、単音節が属しているグループを高精度に特定することができる。
【００７７】
この装置は、第１の実施形態（図１）と同じように、映像入力部１、映像処理部２、音声入力部３、音声処理部４、映像処理部正答率データ保持部６、音声処理部正答率データ保持部７及び音声認識部５を備えている。
【００７８】
但し、映像処理部２は、話者の口唇部分の入力映像から抽出した特徴を、個々の単音節を発声する口唇部分の映像標準データと比較するのでは無く、複数の単音節より成る各グループの特徴と比較して、それぞれのグループに対する類似度を出力する。
【００７９】
また、音声処理部４は、入力音声から抽出した特徴を、個々の単音節の音声標準データと比較するのでは無く、複数の単音節より成る各グループの特徴と比較して、それぞれのグループに対する類似度を出力する。
【００８０】
この各グループとの類似度を求めるため、映像処理部２及び音声処理部４は、例えば、入力単音節の特徴量と、グループに含まれるすべての単音節の特徴量との類似度を算出し、類似度が最大となる単音節の類似度を、そのグループの類似度とする。あるいは、グループに含まれるすべての単音節に共通する特徴量のパターンをそのグループの特徴量として、入力単音節の特徴量との間の類似度を算出する。
【００８１】
また、映像処理部正答率データ保持部６及び音声処理部正答率データ保持部７には、映像処理部２または音声処理部４から出力されるグループの正答率が保持されている。この正答率を得るために、図５に例示するように、映像入力部１または音声入力部３から、単音節の映像または音声（「か」「き」「く」）のサンプルを入力して、映像処理部２または音声処理部４からどのグループ（「あ行」「か行」‥「わ行」）が出力されるかを実測し、それぞれのグループの出力総数に対して、そのグループが正解であった数（入力した単音節がそのグループに含まれていた出力数）の割合を算出する。
【００８２】
音声認識部５は、映像処理部２及び音声処理部４からの出力と、映像処理部正答率データ保持部６及び音声処理部正答率データ保持部７に保持された正答率データとから、ｉ番目のグループに対する総合類似度（Ｒi,Total）を前記（式２）により算出する。そして、Ｒi,Totalが最大となるグループを認識結果として出力する。
【００８３】
こうして、この装置は、発声された音声の単音節が属しているグループを高精度に特定することができる。
【００８４】
また、グループ分けの例としては、唇音（/ｂ/、/ｍ/、/ｐ/）を含む単音節グループ、拗音（/ｙ/）を含む単音節グループ、唇音及び拗音を含まないグループの３つに分けることもできる。
【００８５】
この場合、唇音は口唇の形に特徴が現れるため、唇音を含むグループの正答率は、映像処理部２の正答率の方が高く、音声処理部４の正答率の方が低い傾向がある。逆に、拗音は発声音に特徴が現れるため、拗音を含むグループの正答率は、音声処理部４の正答率の方が高く、映像処理部２の正答率の方が低い傾向がある。そのため、各グループに対する総合類似度を（式２）により算出すると、唇音を対象とするものについては、映像処理部２から出力された類似度の寄与が高くなり、拗音を対象とするものについては、音声処理部４から出力された類似度の寄与が高くなる。
【００８６】
従って、映像と音声とを併用して音声識別を行なうことにより、入力した単音節が唇音を含むか含まないか、あるいは、拗音を含むか含まないかを、より確かに認識することができる。
【００８７】
このように、認識する単音節をグループ化する場合に、映像処理部２の出力の正答率が高いグループと音声処理部４の出力の正答率が高いグループとをそれぞれ選択することにより、音声のみ、あるいは映像のみによりグループを識別する場合に比べて、より細分化されたグループの認識が可能となる。
【００８８】
【発明の効果】
以上の説明から明らかなように、本発明の音声認識装置は、入力する音声データや映像データと標準データとの類似度、及びそれらの正答率を組み合わて音声認識を行なっているため、雑音が存在する環境下でも、より確実な音声認識を実現することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における音声認識装置の概略構成図、
【図２】第１の実施形態における正答率データの算出方法を説明する図、
【図３】本発明の第３の実施形態における音声認識装置の概略構成図、
【図４】本発明の第４の実施形態における音声認識装置の概略構成図、
【図５】本発明の第５の実施形態における単音節のグループの分類を説明する図、
【図６】従来の音声認識装置の概略構成図である。
【符号の説明】
１  映像入力部
２  映像処理部
３  音声入力部
４  音声処理部
５  音声認識部
６  映像処理部正答率データ保持部
７  音声処理部正答率データ保持部
８  発声区間検出部
９  音声レベル検出部
10  第二の映像入力部
11  第二の映像処理部
12  第二の映像処理部正答率データ保持部
【図１】
0003798530.tif 000002
【図２】
0003798530.tif 000003
【図３】
0003798530.tif 000004
【図４】
0003798530.tif 000005
【図５】
0003798530.tif 000006
【図６】
0003798530.tif 000007