(57)【要約】音響音声発話にのみ応答する自動音声認識器は、音声発話に関連する少なくとも１つの顔特徴と音声発話に関連するスペクトルを有する音響エネルギーにのみ応答してアクティブにされる。一実施形態において、話者は映像カメラ（１２）をまっすぐに見る必要があり、複数の話者の顔特徴は音響音声認識器のアクティベーションを可能にするように適合される必要がある。
2005516263.tif 000002
【特許請求の範囲】
【請求項１】
話者の音声発話を検出するために音響検出器；
前記話者の音声発話に関連する少なくとも１つの顔特徴を検出するための視覚検出器；
前記視覚検出器が前記話者の音声発話に関連する少なくとも１つの顔特徴を検出する間に、第１の値が有限で非０の音響応答を検出する前記音響検出器に応答して導き出されるように、前記話者がなす音声発話の有無をそれぞれ表す前記第１の値及び第２の値を有する信号を導き出すための前記視覚検出器及び前記音響検出器に応答するように接続される処理構成；並びに
前記音響検出器のみにより検出されるような前記音声発話を表す出力を導き出すための音声認識器であって、前記第１の値を有する前記信号に応答して前記音響検出器に応答するように接続される、音声認識器；
を有することを特徴とする音声認識システム。
【請求項２】
請求項１に記載の音声認識システムであって、前記処理構成は：
（ａ）前記視覚検出器が前記話者の音声発話を検出しない間に、有限で非０の音響応答を検出しない前記音響検出器；
（ｂ）前記視覚検出器が前記話者の音声発話を検出する間に、有限で非０の音響応答を検出する前記音響検出器；並びに
（ｃ）前記視覚検出器が前記話者の音声発話を検出する間に、有限で非０の音響応答を検出しない前記音響検出器；
のいずれに応答して前記信号が第２の値を有するようにする、ことを特徴とする音声認識システム。
【請求項３】
請求項１又は２に記載の音声認識システムであって、前記処理構成は、各々の音声発話の開始が音声認識器に結合されることを確実にするために遅延構成を有する、ことを特徴とする音声認識システム。
【請求項４】
請求項１乃至３のいずれ一項に記載の音声認識システムであって、前記処理構成は、各々の音声発話の終了に応答して、前記音響検出器は前記音声認識器から切り離されることを確実にするために遅延構成を有する、ことを特徴とする音声認識システム。
【請求項５】
請求項３又は４に記載の音声認識システムであって、前記遅延構成は前記音響検出器に応答するように接続されたメモリ素子を有し、前記メモリ素子は前記音響検出器の前記出力の一連のセグメントを記憶するための複数のステージを有し、前記遅延構成は、音声発話の前記開始を記憶するメモリ素子ステージのコンテンツは前記音声認識器に最初に結合される、ことを特徴とする音声認識システム。
【請求項６】
請求項５に記載の音声認識システムであって、前記メモリ素子はリングバッファを有する、ことを特徴とする音声認識システム。
【請求項７】
請求項１乃至６のいずれ一項に記載の音声認識システムであって、前記処理構成は前記視覚検出器に応答するように接続された顔認識器を有する、ことを特徴とする音声認識システム。
【請求項８】
請求項７に記載の音声認識システムであって、前記顔認識器は、前記信号が前記視覚検出器に関する所定方向にある前記話者の前記顔に応答して前記第１の値を有することを可能にするように配置される、ことを特徴とする音声認識システム。
【請求項９】
請求項７又は８に記載の音声認識システムであって、前記顔認識器は：
（１）複数の話者の顔を検出し且つ区別するために；並びに
（２）前記信号が認識された顔を有する前記話者に応答して前記第１の値を有することを可能にするために；
配置される、ことを特徴とする音声認識システム。
【請求項１０】
請求項１乃至９のいずれ一項に記載の音声認識システムであって、前記処理構成は前記音響検出器に応答するように接続された話者同一性認識器を有し、前記話者同一性認識器は：
（１）複数の話者の音声パターンを検出し且つ区別するために；並びに
（２）前記信号が認識された音声パターンを有する前記話者に応答して前記第１の値を有することを可能にするために；
配置される、ことを特徴とする音声認識システム。
【請求項１１】
請求項１乃至１０のいずれ一項に記載の音声認識システムであって、前記処理構成は、前記信号が同じ話者の認識された音声パターンと適合される認識された顔を有する話者に応答して第１の値を有するようにするために配置される、ことを特徴とする音声認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、自動音声認識システムに関し、特に、自動音声認識システム及び方法であって、音響的音声発話にのみ応答する自動音声認識装置は、音声発話に関連するスペクトルと音声発話に関連する少なくとも１つの顔特徴とを有する音響エネルギーにのみ応答してアクティブにされる、自動音声認識システム及び方法に関する。
【背景技術】
【０００２】
今日、利用可能な音声認識システムは、発話に関連するスペクトルを有する音響エネルギーのみの存在の有無に応答することにより発話の開始及び終了を決定する。音声認識システムに関連するマイクロフォンが、例えば、声が認識されるべき話者以外の話者又は電話（特に、鳴動電話機）を含むアクティブな機械を有する音響的にうるさい環境にある場合、雑音はそのシステムの性能を制限する。そのような音声認識システムは、音響的雑音を、音響的雑音が特定の話者に対して学習したことばと関連付けるように試み、音声認識システムが、声が認識されるべき話者のいずれの発話に関連しない出力を生成する結果をもたらす。更に、音声認識システムは、その音声学習能力に関して不都合な効果を有する方式で音響雑音に応答する。
【０００３】
先行技術は、雑音が認識されるべき話者の顔特徴と音響エネルギーを検出することにより音響的にうるさい環境に関連する問題を考慮している、ことについて認識されている。例えば、Ｍａｅｋａｗａ等による米国特許第５，８８４，２５７号明細書及びＳｔｏｒｋ等による米国特許第５，６２１，８５８号明細書において、話者による発話に関連する顔特徴に加えて話者の音響エネルギーに応答する音声認識システムを開示している。Ｍａｅｋａｗａ等による米国特許第５，８８４，２５７号明細書においては、唇の動きが光源と光検出器とを有する視覚システムにより検出される。このシステムは、話者の唇の動きの持続時間及び強度を検出することにより音声期間信号を導き出す音声期間検出器を有する。このシステムは又、音声認識システムと、話者の唇の動き及び発話における音響エネルギーに基づく発話の内容を決定する総合判定部とを有する。Ｓｔｏｒｋ等による米国特許第５，６２１，８５８号明細書においては、唇、鼻及び顎の動きが映像カメラにより検出される。映像カメラに応答する位置ベクトル生成器及び音響エネルギーに応答するスペクトル分析器の出力信号は、位置ベクトル生成器及びスペクトル分析器の出力信号に基づいて限定された音声発話の集合を認識するために訓練された音声分類器に信号を供給する。
【０００４】
Ｍａｅｋａｗａ等による米国特許第５，８８４，２５７号明細書及びＳｔｏｒｋ等による米国特許第５，６２１，８５８号明細書の両者においては、全部の音声認識は画像認識に並行して実行される。従って、これらの先行技術の装置の音声認識プロセスは、ある程度ゆっくりとしていて複雑であると共に、かなりの電力を要し、それ故、これらの装置は設備を制御するためのリモート制御装置として特にうまく適合するとは考えられない。
【発明の開示】
【課題を解決するための手段】
【０００５】
本発明の１つの特徴に従って、音声認識システムは、（１）話者の音声発話を検出するための音響検出器と、（２）話者の音声発話に関連する少なくとも１つの顔特徴を検出するための視覚検出器と、（３）信号を導き出すための音響検出器及び視覚検出器に応答するように接続された処理配置と、を有する。第１の値が有限で非０の音響応答を検出する音響検出器にのみ応答して導き出される一方、視覚検出器は話者の音声発話に関連する少なくとも１つの顔特徴を検出するように、信号は、話者がなす音声発話の有無をそれぞれ表す第１の値及び第２の値を有する。音響検出器によってのみ検出されるような音声発話を表す出力を導き出すための音声認識器は、信号が第１の値を有する間にのみ、音響検出器に応答するように接続される。
【０００６】
本発明の他の特徴は、話者の音響音声発話にのみ応答する自動音声認識器を用いて話者の音声発話を認識する方法に関する。この方法は、（１）音声発話に関連するスペクトルを有する音響エネルギーを検出する段階と、（２）話者の音声発話に関連する少なくとも１つの顔特徴を検出する段階と、（３）話者の音声発話に関連する少なくとも１つの顔特徴が生じている間に、音声発話に関連するスペクトルを有する検出音響エネルギーにのみ応答する自動音声認識器をアクティブにする段階と、を有する。
【０００７】
好適には、（１）話者の音声発話に関連する顔特徴が検出されない間に、検出される音声発話に関連するスペクトルを有しない音響エネルギーと、（２）話者の音声発話に関連する顔特徴が検出されない間に、検出される音声発話に関連するスペクトルを有する音響エネルギーと、（３）話者の音声発話に関連する少なくとも１つの顔特徴が検出される間に、検出される音声発話に関連するスペクトルを有しない音響エネルギーと、のいずれに応答して、音響音声認識器をアクティブにすることは回避される。
【０００８】
好適な実施形態において、各々の音声発話のはじめは、音声認識器に確実に結合される。各々の音声発話の開始は、（ａ）音声発話を遅延することと、（ｂ）各々の音声発話のはじめを認識することと、（ｃ）音声認識器に各々の音声発話の開始に関連する遅延音声発話を結合し、それ以後、音声認識器に残りの遅延音声発話を順次に結合するために、認識された各々の音声発話の開始に応答することと、により音声認識器に確実に結合される。検出音響エネルギーが音声発話の終了時には音声認識器に結合されない、ことは確実である。検出音響エネルギーが音声発話の終了時には音声認識器に結合されないことの確実性は、（ａ）各々の音声発話に関連する音響エネルギーを遅延することと、（ｂ）各々の音声発話の終了を認識することと、（ｃ）音声認識器から各々の音声発話の終了の後に生じる遅延音響エネルギーを切り離すために、各々の音声発話の認識された終了に応答することと、により提供される。
【０００９】
好適な装置の実施形態において、遅延は、効果的にインデックス付けされるリングバッファにより与えられ、それ故、発話の開始におけるセグメント化検出音響エネルギーと、発話の終了におけるセグメント化検出音響エネルギーと、発話の開始と終了との間のセグメント化検出音響エネルギーとは、発話の開始より前の音響エネルギーと発話の終了の後の音響エネルギーとを排除して、音声認識器に結合される。
【００１０】
第１実施形態及び第２実施形態における処理構成はそれぞれ、唇の動き及び顔認識器を有する。顔認識器は、好適には、信号が視覚検出器に関して所定方向にある話者の顔にのみ応答して第１の値を有するようにするために配置される。顔認識器は又、好適には、（１９複数の話者の顔を検出し且つ区別し、（２）信号が認識済み顔を有する話者にのみ応答して第１の値を有するようにする。
【００１１】
第２の実施形態においては、処理構成は又、（１）複数の話者の音声パターンを検出し且つ区別し、（２）信号が認識済み顔を有する話者にのみ応答して第１の値を有するようにする、ための話者識別認識器を有する。
【００１２】
本発明における上記及び更なる目的、特徴並びに優位性は、以下の明確な実施形態についての詳細説明を、特に参照図面を参照して考慮することにより、明瞭になるであろう。
【発明を実施するための最良の形態】
【００１３】
ここで、図１を参照するに、マイクロフォン１０及び映像カメラ１２はそれぞれ、話者の発話を有するスペクトルにおける音響エネルギー、及び、話者による発話の少なくとも１つの顔特徴であって、特に唇の動きに関連する光エネルギーに応答する。マイクロフォン１０及び映像カメラ１２はそれぞれ、それらが処理するようにデザインされているスペクトルにおける、それらに入射する音響エネルギー及び光エネルギーのレプリカである電気信号を導き出す。
【００１４】
マイクロフォン１０の電気出力信号は、音響エネルギー検出器回路１６と音声セグメンタ回路を並列して順次駆動するアナログデジタル変換器１４を駆動する。音響エネルギー検出器１６は、所定の閾値より大きい音響エネルギーがマイクロフォン１０に入射することを示す値を有する変換器１４のデジタル出力信号に応答して真値を有する倍レベル出力信号を導き出す。音声セグメンタ１８は、マイクロフォン１０に話す話者の発話に対して、音素のような一連の音声セグメントに分割されるデジタル信号を導き出す。
【００１５】
音声セグメンタ１８は、一連の音声セグメントを、並行して、ランダムアクセスメモリ（ＲＡＭ）２２及び動的リングバッファ２４に適用する。ＲＡＭ２２は、音響エネルギー検出器１６の倍レベル出力信号に応答するように接続されるイネーブル入力端子２３を有する。マイクロフォン１０が発言する話者又は周囲雑音に応答するときに生じるような真値を導き出す音響エネルギー検出器１６に応答して、ＲＡＭ２２は音声セグメンタ１８の出力に応答するためにイネーブルになる。イネーブルのとき、ＲＡＭ２２における一連のメモリ位置即ちアドレスは、セグメンタ出力に接続されるＲＡＭのデータ入力により導き出される。これは、一連のセグメントが音声発話であるか雑音であるかに係らず、当てはまる。セグメンタ１８がセグメントを分割し、それ故、特定の発話又は雑音の最初のセグメントと最後のセグメントがＲＡＭにおける所定アドレスに記憶されるとき、ＲＡＭ２２は、話者による典型的な発話の一連の音声セグメントを記憶するために十分な容量を有する。
【００１６】
動的リングバッファ２４は、セグメンタ１８が代表的な発話に対して導き出す一連の音声セグメントを記憶するために十分多くの数のステージを有している。それ故、動的リングバッファ２４は、マイクロフォン１０に供給される音響エネルギーを効果的且つ連続的に記録し、最後の数秒を維持する。ＲＡＭ２２及びそれに関連する回路は、マイクロフォン１０に話している話者による発話の最初のセグメントと最後のセグメントが生じた時を示すために動的リングバッファ２４に効果的にインデックス付けする処理構成を形成する。マイクロフォン１０に入射する音響エネルギーが発話に関連しない場合、動的リングバッファ２４は効果的にインデックス付けされない。動的リングバッファ２４は、（１）各々の音声発話の開始が音声認識器に結合されることと、（２）各々の発話の終了において、音声認識器は、もはや、音響エネルギーを表す信号に応答しないことと、を確実にするための遅延構成の一部である。
【００１７】
マイクロフォン１０に話している話者による発話にのみ応答する動的リングバッファ２４のインデックス付けを実行するために、図１に示すシステムは、音響エネルギーがマイクロフォン１０に入射する間に、話者の音声発話に関連する少なくとも１つの顔特徴を検出する。図１の実施形態の顔特徴は唇の動きの検出である。この目的を達成するために、映像カメラ１２は、マイクロフォン１０に発言している話者の唇の動きを表す信号を検出する。カメラ１２が導き出す唇の動きの信号は、話者の唇が動いていることを唇動き検出器２６がセンシングする間の真値と、話者の唇が烏合いていないことを唇動き検出器２６がセンシングする０値とを有するバイレベル信号を導き出す唇動き検出器を駆動する。
【００１８】
動き検出器２６及び音響エネルギー検出器１６のバイレベル出力信号は、検出器１６及び２６の両方のバイレベル出力信号が真値を有する間にのみ、真値を有するバイレベル信号を導き出すＡＮＤゲート２８を駆動する。それ故、マイクロフォン１０及びカメラ１２が、ＡＮＤゲート２８の出力が０を有する即ち真値を有しないとき以外の全てにおいて、話者による音声発話に応答する間にのみ、ＡＮＤゲート２８は真値を導き出す。
【００１９】
ＡＮＤゲート２８の出力信号は、並行して、ワンショット回路３０及び３２を駆動する。ワンショット回路３０は、ＡＮＤゲート２８の出力信号の立ち上がりエッジに応答して、即ち０値から真値までの遷移を有するゲートの出力に応答して、短い持続時間のパルスを導き出す。ワンショット回路３２は、ＡＮＤゲート２８の出力信号の立ち下がりエッジに応答して、即ち真値から０値までの遷移を有するゲートの出力に応答して、短い持続時間のパルスを導き出す。従って、ワンショット回路３０及び３２はそれぞれ、音声発話の開始及び終了のみにおいて、短い持続時間のパルスを導き出す。（１）唇動き検出器２６が０値を導き出す間に、音響エネルギー検出器１６が真値を導き出す場合、（２）音響エネルギー検出器２６が０値を導き出す間に、唇動き検出器１６が真値を導き出す場合、又は（３）検出器１６或いは検出器２６のどちらかが真値を検出しない場合、ワンショット回路３０及び３２はいずれのパルスをも検出しない。
【００２０】
ワンショット回路３０及び３２の出力パルスは、ＲＡＭ２２の第１所定アドレス及び第２所定アドレスに対する書き込みイネーブル信号として供給される。第１アドレス及び第２アドレスはそれぞれ、セグメンタ１８が特定の発話のために導き出す最初の音声セグメント及び最後の音声セグメントのためのものである。従って、第１アドレスは、セグメンタ１８が特定の発話のために導き出す最初の音声セグメントを記憶する一方、第２アドレスは、セグメンタ１８がその同じ特定の発話のために導き出す最後の音声セグメントを記憶する。ＲＡＭ２２は、セグメンタ１８が導き出す一連のセグメントに応答するようにイネーブルにされ、ＲＡＭに供給する音響エネルギー検出器１６によりワンショット回路３０及び３２の出力信号は、音声発話の間に入力端子２３が真値をもつことを可能にする。ＲＡＭ２２は、比較回路３４及び３６それぞれの入力端子に対して第１アドレス及び第２アドレスのコンテンツを読み出すために真値から０値への音響エネルギー検出器１６の出力の遷移に応答する。
【００２１】
比較回路３４及び３６はそれぞれ、特定の発話の最初の音声セグメント及び最後の音声セグメントのシングバッファにおける位置を検出するために動的リングバッファ２４の出力とＲＡＭ２２の第１アドレス及び第２アドレスにいて記憶された音声セグメントのコンテンツに応答するように接続される。特に、特定の音声発話の終了時に、ＲＡＭ２２は、（１）発話の最初の音声セグメントの音声コンテンツを表す信号を有する比較回路３４の１つの入力端子と、（２）発話の最後の音声セグメントの音声コンテンツを表す信号を有する比較回路３６の１つの入力端子とを提供する。
【００２２】
ＲＡＭ２２は、発話の最初の音声セグメント及び最後の音声セグメントの音声コンテンツを表す信号を有する比較回路３４及び３６を駆動している間に、動的リングバッファ２４は、それが記憶する音声セグメントを、高周波数（即ち、セグメントがマイクロフォンにより変換される周波数より著しく大きい周波数）において、順次、導き出す音響エネルギー検出器１６のバイレベル出力の立ち下がりエッジにおける遷移によりイネーブルにされる。このために、動的リングバッファ２４は、音響エネルギー検出器１６が導き出す立ち下がりエッジ遷移に応答するように接続される読み出しイネーブル入力端子３７を有する。読み出しのためにイネーブルにされる間に、動的リングバッファ２４は、それが比較回路３４及び３６の第２入力端子に並行して導き出す一連の音声セグメントを、供給する。
【００２３】
比較回路３４は、ＲＡＭ２２が比較回路３４に供給する最初のセグメントと同じである、動的リングバッファ２４が導き出す音声セグメントのみに応答して、パルスを導き出す。比較回路３６は、ＲＡＭ２２が比較回路３６に供給する最後のセグメントと同じである、動的リングバッファ２４が導き出す音声セグメントのみに応答して、パルスを導き出す。ゲート３８は、比較回路３４及び３６の出力パルスに応答するようにそれぞれ接続される第１制御入力端子及び第２制御入力端子と、動的リングバッファ２４が導き出す一連の音声セグメントに応答するように接続されたデータ入力端子とを有する。ゲート３８は、ゲートの第１制御入力端子にパルスを供給する比較回路３４に応答して、ゲートが開放され、ゲートの第２制御入力端子にパルスを供給する比較回路３６により閉鎖されるまで、開放されたまま保たれるように、構成される。
【００２４】
ゲートが開放されている間に、ゲート３８は、自動音声認識器４０に、動的リングバッファ２４がデータ入力端子に供給する最初の音声セグメントから最後の音声セグメント全部を渡す。音響音声認識器４０は、音響エネルギーを表す信号のみに応答し、話者が映像カメラ１２により観測されている間にマイクロフォン１０に発言する話者の音声発話を表す出力信号を生成する、いずれの既知のタイプとすることができる。音声認識器４０の出力信号は出力装置４２を駆動する。出力装置４２の例は、発話に合った英数文字を用いてコンピュータ表示装置を駆動するためのコンピュータ文字生成器又は発話に合ったタスクを実行するための機械である。
【００２５】
図１の音声認識システムは、話者がカメラ１２を見ていないときに音声認識システムが音声発話に応答しないように、及び音声認識システムが複数の話者の音声発話及び顔に応答することができるように、図２に示す構成により修正されることができる。図２に示す装置は、図１における音響エネルギー認識器１６の出力信号に応答するように接続され、唇動き検出器２６とＡＮＤゲート２８を置き換える。
【００２６】
図２の装置は、映像カメラ１２の出力信号に応答するように接続される顔認識器５０と、音響エネルギー検出器１６の出力信号に応答するように接続される話者同一性認識器５２とを有する。顔認識器５０と音声同一性認識器５２は、話者が映像カメラ１２の方を向いている、即ち映像カメラについて所定の姿勢をとっているときにのみ、音声認識器がアクティブになるように、他の回路要素及び音声認識器４０とに接続される。従って、話者が誰かと話をしていて、音声認識器４０により認識される彼／彼女の音声を望まないために、話者が映像カメラ１２に背を向けて、映像カメラを直接見ない場合、音声認識器４０はアクティブにされない。音声認識器４０は、顔認識器５０及び音声認識器５２が同じ人であると識別する場合にのみ、アクティブにされる。顔認識器５０及び音声認識器５２は、２人以上の人の顔及び音声を認識するために少なくとも１回の訓練期間の間に訓練され、音声認識器４０は、顔及び音声が同じ人に対してであるとして認識される場合のみに、アクティブにされる。
【００２７】
これらのために、音響エネルギー検出器１６が真値を導き出す間に、メモリ５４が話者の短期間発話を記憶するように、話者同一性認識器５２は、アナログデジタル変換器１４の音声信号出力に応答するように接続される１つの入力と、音響エネルギー検出器１６の出力に応答するように接続される第２入力とを有する。発話の終了時に、メモリ５４は、音声認識器４０を訓練する複数の話者の音声パターンを表すデジタル信号を記憶するメモリ５８に応答する第２入力を有する、比較器５６の１つの入力に発話を表すデジタル信号を供給する。
【００２８】
比較器５６は、メモリ５８９が記憶する音声パターンの１つに適合する話者メモリ５４の出力信号に応答して真の出力信号を導き出す。比較器５６は、メモリ５８に記憶された音声パターンを有する各々の話者のための別々の真の信号を導き出す。図２においては、メモリ５８は第１及び第２の異なる話者に対する音声パターンを記憶し、これにより、比較器５６は、第１話者及び第２話者のためにそれぞれ提供される出力線５７及び５９を有する。メモリ５８が第１話者及び第２話者のために記憶している音声パターンと同じ音声特性を有するような話者を認識する比較器５６に応答して、比較器５７は出力線５７及び５９に真値をそれぞれ供給する。
【００２９】
顔認識器５０は、メモリ６０が映像カメラ１２により視認される画像の１つのフレームを記憶するように、映像カメラ１２の出力に応答するように接続された入力を有するメモリ６０を有する。フレームの終了時に、メモリ６０は、複数の話者の各々の顔パターンを表すデジタル信号を記憶するメモリ６４に応答する第２入力を有する、比較器６２の１つの入力にフレームコンテンツを表すデジタル信号を供給する。メモリ６４が記憶する顔パターン顔は、話者がカメラ１２を直接見ている間に導き出される一方、話者の顔は、カメラに関して所定の方向性を有する。比較器６２は、メモリ６４が記憶する顔パターンの１つに適合するメモリ６０の出力信号に応答して真の出力信号を導き出す。比較器６２は、メモリ６４に記憶された顔画像を用いて各々の話者のために別々の真の信号を導き出す。図２の例においては、メモリ６４は、第１及び第２話者の顔画像を記憶し、これにより、比較器６４は、第１及び第２話者のためにそれぞれ与えられる出力線４及び６８を有する。メモリ６０が第１話者及び第２話者のために記憶している音声パターンと同じ音声特性を有するような話者を認識する比較器６４に応答して、比較器６２は出力線６６及び６８に真値をそれぞれ供給する。
【００３０】
各々の話者のための訓練期間の間、各々の話者は所定のことばのシーケンスを列挙し、話者は映像カメラ１２を直接見ている。このとき、話者メモリ５４は、メモリ５８が音声認識器４０を訓練する複数の話者の各々のための音声パターンを記憶するようにするために、メモリ５８の入力に接続される。同時に、画像メモリ６０は、メモリ６４が音声認識器４０を訓練する複数の話者の各々のための音声パターンを記憶するようにするために、メモリ６４の入力に接続される。各々の話者のための訓練の間に、音声セグメンタ１６の出力は、当業者に既知の方式で、音声認識器が各々の話者の音声パターンを学習することを可能にするために、音声認識器４０の入力に供給される。
【００３１】
出力線５７及び６６における比較器５６及び６２の出力信号はＡＮＤゲート７０の入力に供給される一方、出力線５９及び６８における比較器の出力信号はＡＮＤゲート７２の入力に供給される。従って、ＡＮＤゲート７０は、話者がカメラ１２を直接見ている第１話者であると認識する音声同一性認識器５２及び顔認識器５０の両方にのみ応答して真値を導き出す。同様に、ＡＮＤゲート７２は、話者がカメラ１２を直接見ている第２話者であると認識する音声同一性認識器５２及び顔認識器５０の両方にのみ応答して真値を導き出す。ＡＮＤゲート７０及び７２は、顔特性及び音声特性から識別される第１話者又は第２話者のどちらかに応答して真値を導き出すＯＲゲート７４に供給されるバイレベル信号を導き出す。
【００３２】
ＯＲゲート７４の出力信号は、ＡＮＤゲート２８の出力がワンショットを駆動するのと同じ方式で、ワンショットを駆動する。従って、第１及び第２話者の音声信号は、図１の実施形態において音声信号が音声認識器４０に供給されるのと同じ方式で、音声認識器４０に供給される。
【００３３】
図２の音声認識器４０が両方の話者を認識することを可能にするために、ＡＮＤゲート７０及び７２の出力が音声認識器４０に供給される。音声認識器４０は、当業者に既知の方式で、正しい話者の音声を分析するために、ＡＮＤゲート７０及び７２に応答する。
【００３４】
以上、本発明の具体的な実施形態を説明し且つそれらを図示したが、同時提出の請求の範囲に規定するような本発明の真の範囲及び主旨から逸脱することなく、具体的に図示し且つ説明した実施形態の詳細における変形を実行することが可能であることは、明確であろう。例えば、ディスクリート回路素子をプログラムされたコンピュータにより置き換えることができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の一実施形態に従った音声認識システムの好適な実施形態のブロック図である。
【図２】図１の音声認識システムの修正部分のブロック図である。
【図１】
2005516263.tif 000003
【図２】
2005516263.tif 000004
【国際調査報告】
2005516263.tif 000005
2005516263.tif 000006
2005516263.tif 000007