(57)【要約】発話信号処理システムが、話者の音響発話信号を表す第一の信号を与えるオーディオ処理器（１０３）を有する。EMG処理器（１０９）は前記音響発話信号と同時に捕捉される前記話者についての筋電計信号を表す第二の信号を与える。発話処理器（１０５）は、前記第二の信号に応じて前記第一の信号を処理して修正された発話信号を生成するよう構成される。前記処理は、たとえば、ビーム形成、ノイズ補償または発話エンコードであってもよい。特に環境的にノイズのある環境において、改善された発話処理が達成されうる。
2012512425.tif 000002
【特許請求の範囲】
【請求項１】
発話信号処理システムであって：
話者についての音響発話信号を表す第一の信号を与える第一手段と；
前記音響発話信号と同時に捕捉される前記話者についての筋電計信号を表す第二の信号を与える第二手段と；
前記第二の信号に応じて前記第一の信号を処理して修正された発話信号を生成する処理手段とを有する、
システム。
【請求項２】
話者の皮膚表面伝導度の測定に応答して前記筋電計信号を生成するよう構成された筋電計センサーをさらに有する、請求項１記載の本発話信号処理システム。
【請求項３】
前記処理手段は、前記第二の信号に応じて発話活動検出を実行するよう構成され、前記処理手段は、前記発話活動検出に応答して前記第一の信号の処理を修正するよう構成されている、請求項１記載の発話信号処理システム。
【請求項４】
前記発話活動検出が、発話前活動検出である、請求項３記載の発話信号処理システム。
【請求項５】
前記処理は、前記第一の信号の適応的な処理を含み、前記処理手段は、前記発話活動検出がある基準を満たすときにのみ前記適応的な処理を適応させるよう構成される、請求項３記載の発話信号処理システム。
【請求項６】
前記適応的な処理が適応的オーディオ・ビーム形成処理を含む、請求項５記載の発話信号処理システム。
【請求項７】
前記適応的な処理が適応的なノイズ補償処理を含む、請求項５記載の発話信号処理システム。
【請求項８】
前記処理手段が、前記第二の信号に応答して発話特性を決定し、該発話特性に応答して前記第一の信号の処理を修正するよう構成されている、請求項１記載の発話信号処理システム。
【請求項９】
前記発話特性が有声化特性であり、前記第一の信号の前記処理は、前記有声化特性によって示される現在の有声化の度合いに依存して変えられる、請求項８記載の発話信号処理システム。
【請求項１０】
修正された発話信号はエンコードされた発話信号であり、前記処理手段は、前記発話特性に応答して前記第一の信号をエンコードするためのエンコード・パラメータの集合を選択するよう構成される、請求項８記載の発話信号処理システム。
【請求項１１】
修正された発話信号はエンコードされた発話信号であり、前記第一の信号の前記処理は前記第一の信号の発話エンコードを含む、請求項１記載の発話信号処理システム。
【請求項１２】
請求項１記載の発話信号処理システムであって、当該システムは、前記第一手段および第二手段を有する第一の装置と、前記第一の装置からリモートであり前記処理装置を有する第二の装置とを有し、前記第一の装置はさらに前記第一の信号および前記第二の信号を前記第二の装置に通信する手段を有する、システム。
【請求項１３】
前記第二の装置がさらに、前記発話信号を、発話専用の通信接続を通じて第三の装置に送信する手段を有する、請求項１２記載のシステム。
【請求項１４】
発話信号処理システムの動作方法であって：
話者の音響発話信号を表す第一の信号を提供する段階と；
前記音響発話信号と同時に捕捉される、前記話者についての筋電計信号を表す第二の信号を提供する段階と；
前記第二の信号に応じて前記第一の信号を処理して修正された発話信号を生成する段階とを含む、
方法。
【請求項１５】
請求項１４記載の方法を実行することを可能にするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば発話エンコードまたは発話の向上といった、発話信号処理に関する。
【背景技術】
【０００２】
発話の処理は、重要性が高まってきており、たとえば発話信号の高度なエンコードおよび向上が広まっている。
【０００３】
典型的には、スピーカーからの音響発話信号が捕捉され、デジタル領域に変換される。デジタル領域では、信号を処理するために高度なアルゴリズムが適用されうる。たとえば、高度な発話エンコードまたは発話明瞭度（speech  intelligibility）向上の技法が捕捉された信号に適用されうる。
【０００４】
しかしながら、そのような多くの従来の処理アルゴリズムの問題は、あらゆるシナリオにおいて最適にはならない傾向があるということである。たとえば、多くのシナリオでは捕捉されたマイクロホン信号は話者によって生成された実際の発話の最適でない表現であることがある。これはたとえば、音響経路またはマイクロホンによる捕捉における歪みのために生じることがありうる。そのような歪みは、捕捉された発話信号の忠実度を低下させる可能性がありうる。個別的な例として、発話信号の周波数応答が修正されることがありうる。もう一つの例として、音響的な環境が実質的なノイズまたは干渉を含み、その結果、捕捉された信号が単に発話信号を表現するのではなく、組み合わされた発話およびノイズ／干渉信号となることがありうる。そのようなノイズは、結果として得られる発話信号の処理に実質的に影響することがあり、生成される発話信号の品質および明瞭度を実質的に低下させることがありうる。
【０００５】
たとえば、伝統的な発話向上方法は主として、所望される信号対雑音比（SNR:  Signal  to  Noise  Ratio）を改善するよう入力発話信号に音響信号処理技法を適用することに基づくものであった。しかしながら、そのような方法は、根本的にSNRおよび動作環境条件によって制限されており、したがって常に良好な性能を与えることはできない。
【０００６】
他の領域では、顎の下の喉頭に近い領域および舌下領域において話者の発声系の動きを表す信号を測定することが提案されている。話者の発声系の要素のそのような測定が発話に変換でき、よって発話障害のある者のために発話信号を生成し、それにより発話障害のある者が発話を使って意思伝達できるようにするために使うことができることが提案されている。これらのアプローチは、そのような信号が、口、唇、舌および鼻腔を含む最終的なサブシステムにおいて音響信号に最終的に変換される前に、人間の発話系のサブシステムにおいて生成されるという原理に基づいている。しかしながら、この方法は、その効力において限られており、それ自身で発話を完全に再現することはできない。
【０００７】
米国特許第5,729,694号では、電磁波を、話者のたとえば喉頭のような発話器官に向けることが提案されている。次いで、センサーが発話器官によって散乱された電磁放射を検出し、この信号が、同時に記録される音響発話情報と関連して、音響発話の完全な数学的符号化を実行するために使われる。しかしながら、記載されるアプローチは、複雑で、実装するのが面倒になる傾向があり、電磁信号を測定するための実際的でない、典型的な高価な設備を必要とする。さらに、電磁信号の測定は、比較的不正確である傾向があり、したがって結果として得られる発話エンコードは最適でない傾向があり、特に、結果として得られるエンコードされた発話品質は最適でない傾向がある。
【０００８】
よって、改善された発話信号処理が有利であり、特に、柔軟性を高め、複雑さを軽減し、ユーザー利便性を高め、品質を改善し、コストを削減し、および／またはパフォーマンスを改善することを許容するシステムが有利であろう。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
したがって、本発明は、単独でまたは任意の組み合わせにおいて上述した欠点の一つまたは複数を好ましくは緩和し、軽減し、あるいは解消することを志向するものである。
【課題を解決するための手段】
【００１０】
本発明のある側面によれば、発話信号処理システムであって：話者についての音響発話信号を表す第一の信号を与える第一手段と；前記音響発話信号と同時に捕捉される前記話者についての筋電計信号を表す第二の信号を与える第二手段と；前記第二の信号に応答して前記第一の信号を処理して修正された発話信号を生成する処理手段とを有するシステムが提供される。
【００１１】
本発明は、改善された発話処理システムを提供しうる。特に、低い複雑さおよび／またはコストを維持しつつ、発話処理を高めるために、発声に至らない（sub  vocal）信号が使用されうる。さらに、多くの実施形態において、ユーザーにとっての不便さが軽減されうる。筋電計信号の使用は、他の型の発声に至らない信号にとっては便利に利用可能ではない情報を提供しうる。たとえば、筋電計信号は、実際に話し始めるのに先立って発話に関係するデータが検出されることを許容しうる。
【００１２】
本発明は、多くのシナリオにおいて、改善された発話品質を提供することができ、追加的または代替的にコストおよび／または複雑さおよび／または資源要求を軽減しうる。
【００１３】
第一および第二の信号は、同期されていてもいなくてもよい（たとえば、一方が他方に対して遅延されていてもよい）が、同時の音響発話信号および筋電計信号を表していてもよい。具体的には、第一の信号は第一の時間期間における音響発話信号を表していてもよく、第二の信号は第二の時間期間における筋電計信号を表していてもよく、第一の時間期間および第二の時間期間は重なり合う時間期間である。第一の信号および第二の信号は、特に、少なくともある時間期間における前記話者からの同じ発話の情報を提供しうる。
【００１４】
本発明のある任意的な特徴によれば、本発話信号処理システムはさらに、話者の皮膚表面伝導度の測定に応答して筋電計信号を生成するよう構成された筋電計センサーを有する。
【００１５】
これは、ユーザー・フレンドリーであり、それほどじゃまにならないセンサー動作を提供しつつ、高い品質の第二の信号を提供する筋電計信号の決定を与えうる。
【００１６】
本発明のある任意的な特徴によれば、前記処理手段は、前記第二の信号に応答して発話活動検出を実行するよう構成され、前記処理手段は、前記発話活動検出に応答して前記第一の信号の処理を修正するよう構成される。
【００１７】
これは、多くの実施形態において改善されたおよび／または容易にされた発話操作を提供しうる。特に、改善された検出および発話活動依存の処理を、例えばノイズのある環境のような多くのシナリオにおいて許容しうる。もう一つの例として、発話検出が、複数の話者が同時に話している環境において単独の話者を目標とすることを許容しうる。
【００１８】
発話活動検出は、たとえば、発話があるか否かの単なる二値検出であってもよい。
【００１９】
本発明のある任意的な特徴によれば、発話活動検出は、発話前活動検出である。
【００２０】
これは、多くの実施形態において、改善されたおよび／または容易にされた発話操作を提供しうる。実際、本アプローチは、実際に話し始めるのに先立って発話活動が検出されることを許容しうる。それにより、適応的動作の事前初期化およびより素速い収束を許容する。
【００２１】
本発明のある任意的な特徴によれば、前記処理は、第一の信号の適応的な処理を含み、前記処理手段は、発話活動検出がある基準を満たすときにのみ適応的な処理を適応させるよう構成される。
【００２２】
本発明は、適応的な発話処理の改善された適応を許容してもよく、特に、適応がいつ実行されるべきかの改善された検出に基づく改善された適応を許容しうる。具体的には、一部の適応的処理は発話があるときにのみ適応されることが有利であり、他の適応的処理は発話がないときにのみ適応されることが有利である。こうして、改善された適応、よって結果として得られる発話処理および品質は、多くの状況において、筋電計信号に基づいて適応的処理をいつ適応するかを選択することによって達成されうる。
【００２３】
前記基準は、たとえば、いくつかの応用については、発話活動が検出されることを要求してもよく、他の応用については、発話活動が検出されないことを要求してもよい。
【００２４】
本発明のある任意的な特徴によれば、適応的処理は、適応的オーディオ・ビーム形成処理を含む。
【００２５】
本発明は、いくつかの実施形態では、改善されたオーディオ・ビーム形成を提供してもよい。具体的には、より正確な適応およびビーム形成トラッキングが達成されうる。たとえば、適応は、ユーザーが話している時間期間により焦点を当ててもよい。
【００２６】
本発明のある任意的な特徴によれば、適応的処理は、適応的なノイズ補償処理を含む。
【００２７】
本発明は、いくつかの実施形態では、改善されたノイズ補償処理を提供してもよい。具体的には、ノイズ補償のより正確な適応が、たとえばノイズ補償適応をユーザーが話していない時間期間に対して焦点を当てる改善によって、達成されうる。
【００２８】
ノイズ補償処理は、たとえば、ノイズ抑制処理または干渉打ち消し／削減処理であってもよい。
【００２９】
本発明のある任意的な特徴によれば、前記処理手段は、前記第二の信号に応答して発話特性を決定し、該発話特性に応答して前記第一の信号の処理を修正するよう構成されている。
【００３０】
これは、多くの実施形態において、改善された発話処理を提供しうる。多くの実施形態において、発話処理の、発話の特定の属性に対する改善された適応を提供しうる。さらに、多くのシナリオにおいて、筋電計信号は、発話処理が、発話信号が受領されるのに先立って適応されることを許容しうる。
【００３１】
本発明のある任意的な特徴によれば、発話特性は、有声特性であり、前記第一の信号の前記処理は、有声特性によって示される有声の現在の度合いに依存して変えられる。
【００３２】
これは、発話処理の特に有利な適応を許容しうる。具体的には、異なる音素に関連付けられた特性は実質的に変動することがあり（たとえば有声信号および無声信号）、したがって筋電計信号に基づく有声特性の改善された検出は、実質的に改善された発話処理および結果としての発話品質につながりうる。
【００３３】
本発明のある任意的な特徴によれば、修正された発話信号は、エンコードされた発話信号であり、前記処理手段は、前記発話特性に応答して前記第一の信号をエンコードするためのエンコード・パラメータの集合を選択するよう構成される。
【００３４】
これは、発話信号の改善されたエンコードを許容しうる。たとえば、エンコードは、発話信号が主として正弦波信号であるかノイズ様信号であるかを反映するよう適応されてもよく、それによりエンコードがこの特性を反映するよう適応されることが許容される。
【００３５】
本発明のある任意的な特徴によれば、修正された発話信号はエンコードされた発話信号であり、前記第一の信号の前記処理は、前記第一の信号の発話エンコードを含む。
【００３６】
本発明は、いくつかの実施形態では、改善された発話エンコードを提供してもよい。
【００３７】
本発明のある任意的な特徴によれば、本システムは、前記第一手段および第二手段を有する第一の装置と、前記第一の装置からリモートであり前記処理装置を有する第二の装置とを有し、前記第一の装置はさらに前記第一の信号および前記第二の信号を前記第二の装置に通信するための手段を有する。
【００３８】
これは、多くの実施形態において、改善された発話信号配信および処理を提供しうる。特に、要求される機能の分散したおよび／または中央集中した処理を許容しつつ、個々の話者についての筋電計信号が利用されることの利点を許容しうる。
【００３９】
本発明のある任意的な特徴によれば、前記第二の装置はさらに、前記発話信号を、発話のみの通信接続を通じて第三の装置に送信する手段を有する。
【００４０】
これは、多くの実施形態において、改善された発話信号配信および処理を提供しうる。特に、要求される機能の分散したおよび／または中央集中した処理を許容しつつ、個々の話者についての筋電計信号が利用されることの利点を許容しうる。さらに、エンドツーエンドのデータ通信を必要とすることなく、前記利点が提供されることを許容しうる。本特徴は、特に、たとえば携帯または固定ネットワークの電話システムを含む多くの既存の通信システムに対する改善された上位互換性を提供しうる。
【００４１】
本発明のある側面によれば、発話信号処理システムの動作方法であって：話者の音響発話信号を表す第一の信号を提供する段階と；前記音響発話信号と同時に捕捉される、前記話者についての筋電計信号を表す第二の信号を提供する段階と；前記第二の信号に応答して前記第一の信号を処理して修正された発話信号を生成する段階とを含む方法が提供される。
【００４２】
本発明のある側面によれば、上記の方法を実行することを可能にするコンピュータ・プログラム・プロダクトが提供される。
【００４３】
本発明のこれらおよびその他の側面、特徴および利点は、以下に記載される実施形態を参照することから明白となり、明快にされるであろう。
【図面の簡単な説明】
【００４４】
本発明の実施形態は、単に例として、図面を参照して説明される。
【図１】本発明のいくつかの実施形態に基づく、発話信号処理システムの例を示す図である。
【図２】本発明のいくつかの実施形態に基づく、発話信号処理システムの例を示す図である。
【図３】本発明のいくつかの実施形態に基づく、発話信号処理システムの例を示す図である。
【図４】本発明のいくつかの実施形態に基づく、発話信号処理システムを有する通信システムの例を示す図である。
【発明を実施するための形態】
【００４５】
図１は、本発明のいくつかの実施形態に基づく、発話信号処理システムの例を示している。
【００４６】
本発話信号処理システムは、記録要素を有する。該記録要素は、特にマイクロホン１０１である。マイクロホン１０１は、話者の口近くに位置され、話者の音響発話信号を捕捉する。マイクロホン１０１はオーディオ信号を処理できるオーディオ処理器１０３に結合されている。たとえば、オーディオ処理器１０３は、たとえばフィルタリング、増幅およびアナログからデジタル領域への信号の変換のための機能を有していてもよい。
【００４７】
オーディオ処理器１０３は、発話処理を実行するよう構成された発話処理器１０５に結合されている。こうして、オーディオ処理器１０３は、捕捉された音響発話信号を表す信号を発話処理器１０５に与える。すると発話処理器１０５は、該信号を処理することに進んで、修正された発話信号を生成する。修正された発話信号は、たとえばノイズ補償された、ビーム形成された、発話向上されたおよび／またはエンコードされた発話信号でありうる。
【００４８】
本システムはさらに、話者についての筋電計信号を捕捉する機能をもつ筋電計（EMG:  electromyographic）センサー１０７を有する。話者の一つまたは複数の筋肉の電気的な活動を表す筋電計信号が捕捉される。
【００４９】
具体的には、EMGセンサー１０７は、筋肉細胞が収縮するとき、また筋肉細胞が静止しているときに筋肉細胞によって生成される電位を反映する信号を測定してもよい。電気の源は、典型的には、約70mVの筋膜電位である。測定されるEMG電位は典型的には、観察する筋肉に依存して、50μV未満から20ないし30mVまでの間の範囲である。
【００５０】
静止している筋組織は、電気的に不活性である。しかしながら、筋肉が随意収縮するとき、活動電位が現れ始める。筋収縮の強さが増すにつれて、ますます多くの筋繊維が活動電位を生じる。筋肉が完全に収縮すると、さまざまなレートおよび振幅の活動電位の乱雑なグループが現れるはずである（完全な動員（recruitment）および干渉（interference）パターン）。図１のシステムでは、そのような電位の変動がEMGセンサー１０７によって検出され、EMG処理器１０９に供給され、EMG処理器１０９が受け取ったMEG信号の処理に進む。
【００５１】
電位の測定は、個別的な例では、皮膚表面伝導度測定によって実行される。具体的には、喉頭および人の発話生成の手段となる他の部分のまわりの領域において、電極が話者に取り付けられてもよい。皮膚伝導度検出のアプローチは、いくつかのシナリオでは、測定されるEMG信号の精度を下げることがありうるが、本発明者らは、これは、（医療用途などとは対照的に）EMG信号に部分的にしか依拠しない多くの発話用途については、典型的には受け容れ可能であることを認識するに至った。表面測定の使用は、ユーザーに対する不便を軽減でき、特にユーザーが自由に動くことを許容しうる。
【００５２】
他の実施形態では、EMG信号を捕捉するために、より正確な侵入的な測定が使用されてもよい。たとえば、針が筋組織中に挿入され、電位が測定されてもよい。
【００５３】
EMG処理器１０９は、特に、EMG信号を増幅し、フィルタリングし、アナログ領域からデジタル領域に変換する。
【００５４】
EMG処理器１０９はさらに、発話処理器１０５に結合され、捕捉されたEMG信号を表す信号を該発話処理器に与える。本システムでは、発話処理器１０５は、EMG処理器１０９によって与えられる、測定されたEMG信号を表す第二の信号に依存して第一の信号（音響信号に対応する）を処理するよう構成される。
【００５５】
このように、本システムでは、筋電図信号および音響信号が同時に捕捉される。すなわち、両者は、少なくともある時間期間の範囲内で、話者によって生成された同じ発話に関係する。こうして、第一および第二の信号は、同じ発話に関係する対応する音響信号および筋電図信号を反映する。したがって、発話処理器１０５の処理は、第一および第二の信号両方によって与えられる情報を一緒に考慮に入れうる。
【００５６】
しかしながら、第一および第二の信号が同期されている必要はなく、たとえば一方の信号が、ユーザーによって生成された発話に関して、他方の信号に対して遅延されていてもよいことは理解されるであろう。そのような二つの経路の遅延の差は、たとえば、音響領域、アナログ領域および／またはデジタル領域で生じうる。
【００５７】
簡明のため、捕捉されたオーディオ信号を表す信号は以下ではオーディオ信号と称されることがあり、捕捉された筋電図信号を表す信号は以下では筋電図信号（またはEMG信号）と称されることがある。
【００５８】
こうして、図１のシステムでは、音響信号が、マイクロホン１０１を使って、伝統的なシステムにおけるように捕捉される。さらに、非音響的な、発声に至らないEMG信号が、たとえば喉頭に近い皮膚上に位置された好適なセンサーを使って捕捉される。次いでこれら二つの信号が発話信号を生成するために使われる。具体的には、これら二つの信号が組み合わされて向上した発話信号を生成してもよい。
【００５９】
たとえば、ノイズのある環境における人間の話者が、発話内容にしか関心がなく、オーディオ環境全体には関心がない別のユーザーと意思疎通しようと努めることがありうる。そのような例では、傾聴するユーザーは、より理解しやすい発話信号を生成するよう発話向上を実行する個人的なサウンド装置を携行してもよい。今の例では、話者は口頭で意思を伝え（発声された発話）、さらに、話されることが意図された内容の情報を含むEMG信号を検出することのできる皮膚伝導度センサーを身につけている。今の例では、検出されたEMG信号は話者から受け手の個人的なサウンド装置に（たとえば電波伝送を使って）伝えられる。ここで、音響発話信号は、個人的なサウンド装置自身のマイクロホンによって捕捉される。こうして、個人的なサウンド装置は、周辺ノイズによって損なわれ、話者とマイクロホンの間の音響チャネルから帰結する残響などによって歪められた音響信号を受け取る。さらに、発話を示す発声に至らないEMG信号が受け取られる。しかしながら、EMG信号は音響環境によって影響されず、特に、音響ノイズおよび／または音響伝達関数によって影響されない。したがって、発話向上プロセスは、EMG信号に依存する処理を用いて音響信号に適用されてもよい。たとえば、処理は、音響信号およびEMG信号の組み合わされた処理によって音響信号の発話部分の向上された推定を生成しようと試みてもよい。
【００６０】
異なる実施形態では異なる処理が適用されてもよいことは理解されるであろう。
【００６１】
いくつかの実施形態では、音響信号の処理は、EMG信号に応答して適応される適応的処理である。特に、適応的処理の適応をいつ適用するかは、EMG信号に基づく発話活動検出に基づいていてもよい。
【００６２】
そのような適応的発話信号処理システムの例が図２に示されている。
【００６３】
今の例では、適応的発話信号処理システムは、複数のマイクロホンを有する。そのうち二つ２０１、２０３が図示されている。マイクロホン２０１、２０３は、オーディオ処理器２０５に結合されている。オーディオ処理器２０５はマイクロホン信号を増幅し、フィルタリングし、デジタル化してもよい。
【００６４】
デジタル化された音響信号は次いで、オーディオ・ビーム形成を実行するよう構成されたビーム形成器２０７に供給される。このように、ビーム形成器２０７は、マイクロホン・アレイの個々のマイクロホン２０１、２０３からの信号を組み合わせて、全体的なオーディオ方向性が得られるようにすることができる。具体的には、ビーム形成器２０７は、主オーディオ・ビームを生成し、これを話者のほうに向けてもよい。
【００６５】
多くの異なるオーディオ・ビーム形成アルゴリズムが当業者に知られており、本発明を損なうことなく、いかなる好適なビーム形成アルゴリズムも使ってよいことは理解されるであろう。好適なビーム形成アルゴリズムの例が、たとえば米国特許第6774934号において開示されている。この例では、マイクロホンからの各オーディオ信号は、フィルタ処理されて（あるいは単に複素値によって重み付けされて）、話者からの異なるマイクロホン２０１、２０３へのオーディオ信号がコヒーレントに加算されるようにする。ビーム形成器２０７は、マイクロホン・アレイ２０１、２０３に対する話者の動きを追跡し、よって、個々の信号に適用されるフィルタ（重み）を適応させる。
【００６６】
本システムでは、ビーム形成器２０７の適応動作は、ビーム形成器２０７に結合されたビーム形適応処理器２０９によって制御される。
【００６７】
ビーム形成器２１１は、（ビーム形フィルタリング／重み付けに続いて）異なるマイクロホン２０１、２０３からの組み合わされた信号に対応する単一の出力信号を与える。よって、ビーム形成器２０７の出力は、指向性マイクロホンによって受け取られるであろう出力に対応し、典型的には、オーディオ・ビームが話者のほうに向けられるので改善された発話信号を与える。
【００６８】
今の例では、ビーム形成器２０７は、ノイズ補償処理を実行するよう構成された干渉打ち消し処理器２１１に結合されている。具体的には、干渉打ち消し処理器２１１は、オーディオ信号中の有意な干渉を検出してこれを除去しようとする適応的な干渉打ち消しプロセスを実装する。たとえば、発話信号に関係していない強い正弦波の存在が検出され、補償される。
【００６９】
多くの異なるオーディオ・ノイズ補償アルゴリズムが当業者に知られており、本発明を損なうことなく、いかなる好適なアルゴリズムが使われてもよいことは理解されるであろう。好適な干渉打ち消しアルゴリズムの例が、たとえば米国特許US5740256に開示されている。
【００７０】
干渉打ち消し処理器２１１は、このように、処理およびノイズ補償を、現在の信号の特性に合わせて適応する。干渉打ち消し処理器２１１はさらに、干渉打ち消し処理器２１１によって実行される干渉打ち消し処理の適応を制御する打ち消し適応処理器２１３に結合されている。
【００７１】
図２のシステムは発話品質を改善するためにビーム形成および干渉打ち消しの両方を用いているものの、これらのプロセスのそれぞれは互いに独立して採用されてもよく、発話向上システムはしばしばこれらのうちの一方のみを用いることがあることは理解されるであろう。
【００７２】
図２のシステムはさらに、EMGセンサー２１７（これは図１のEMGセンサー１０７に対応しうる）に結合されたEMG処理器２１５を有する。EMG処理器２１５は、ビーム形成適応処理器２０９および打ち消し適応処理器２１３に結合され、特に、EMG信号を、適応処理器２０９、２１３に供給する前に、増幅、フィルタリングおよびデジタル化する。
【００７３】
今の例では、ビーム形適応処理器２０９は、EMG処理器２１５から受け取られたEMG信号に対して発話活動検出を実行する。具体的には、ビーム形適応処理器２０９は、話者が話しているか否かを示す二値の発話活動検出を実行してもよい。ビーム形成器は所望される信号がアクティブであるときに適応され、干渉打ち消し器は所望される信号がアクティブでないときに適応される。そのような活動検出は、EMG信号を使って堅牢な仕方で実行されることができる。EMG信号は所望される信号のみを捕捉し、音響擾乱がないからである。
【００７４】
このように、この信号を使って堅牢な活動検出が実行できる。たとえば、所望される信号は、捕捉されたEMG信号の平均エネルギーが所定の第一閾値より上であればアクティブであると検出され、所定の第二閾値より下であれば非アクティブであると検出されてもよい。
【００７５】
今の例では、ビーム形適応処理器２０９は単に、ビーム形成フィルタまたは重みの適応が、発話活動検出が話者によって本当に発話が生成されていることを示す時間期間の間に受け取られるオーディオ信号のみに基づくよう、ビーム形成器２０７を制御する。しかしながら、発話活動検出がユーザーによって発話が生成されていないことを示す時間期間の間は、オーディオ信号は適応に関して無視される。
【００７６】
このアプローチは、改善されたビーム形成を提供し、よってビーム形成器２０７の出力における発話信号の改善された品質を与える。声にならないEMG信号に基づく発話活動検出の使用は、ユーザーが実際に話している時間期間に焦点を当てられる可能性が高くなるので、改善された適応を提供しうる。たとえば、従来のオーディオ・ベースの発話検出器は、発話と他のオーディオ源とを区別することは典型的には難しいので、ノイズのある環境では不正確な結果を与える傾向があった。さらに、より単純な声活動検出が利用できるので、複雑さが軽減された処理が達成できる。さらに、適応は、発話活動検出が、もっぱら特定の所望される話者について導出される声にならない信号のみに基づき、音響環境における他のアクティブな話者の存在によって影響されたり劣化したりしないので、特定の話者に、より焦点が当てられうる。
【００７７】
いくつかの実施形態では、発話活動検出は、EMG信号およびオーディオ信号の両方に基づいていてもよいことは理解されるであろう。たとえば、EMGベースの発話活動アルゴリズムは、従来式のオーディオ・ベースの発話検出によって補完されてもよい。そのような場合、両方のアプローチが組み合わされてもよい。それはたとえば、両方のアルゴリズムが独立して発話活動を示さなければならないと要求することによる、あるいはたとえば、一方の指標にとっての発話活動閾値を他方の指標に応じて調整することによる。
【００７８】
同様に、打ち消し適応処理器２１３は、発話活動検出を実行し、干渉打ち消し処理器２１１によって信号に適用される処理の適応を制御してもよい。
【００７９】
特に、打ち消し適応処理器２１３は、単純な二値の声活動指示を生成するために、ビーム形適応処理器２０９と同じ声活動検出を実行してもよい。打ち消し適応処理器２１３は、次いで、ノイズ補償／干渉打ち消しの適応を、発話活動指示が所与の基準を満たすときにのみこの適応が行われるよう、制御してもよい。具体的には、適応は、発話活動が検出されないときの状況に限定されてもよい。このように、ビーム形成は発話信号に適応されるが、干渉打ち消しは、ユーザーによって発話が生成されないときに測定される特性に、よって捕捉された音響信号がオーディオ環境におけるノイズによって支配されるシナリオに適応される。
【００８０】
このアプローチは、改善されたノイズ補償／干渉打ち消しを提供しうる。ノイズおよび干渉の特性の改善された決定を許容し、それにより、より効率的な補償／打ち消しを許容しうるからである。声にならないEMG信号に基づく発話活動検出の使用は、改善された適応を提供しうる。ユーザーが話していない時間期間に焦点が当てられる可能性が高くなり、それにより発話信号の要素がノイズ／干渉と考えられうるリスクが軽減されるからである。特に、ノイズのある環境におけるおよび／またはオーディオ環境中の複数の話者のうちの特定の話者を目標とする、より精密な適応が達成できる。
【００８１】
図２のような組み合わされたシステムでは、ビーム形成器２０７および干渉打ち消し処理器２１１の両方について同じ発話活動検出が使用できることは理解されるであろう。
【００８２】
発話活動検出は、具体的には、発話前活動検出であってもよい。実際、EMGベースの発話活動検出の実質的な利点は、改善された、目標話者を絞った発話活動検出を許容するのみならず、さらに発話前の発話活動検出を許容しうることにある。
【００８３】
実際、本発明者らは、EMG信号を使って発話が始まろうとしていることを検出することに基づいて発話処理を適応することによって、改善されたパフォーマンスが達成できることを認識するに至った。特に、発話活動検出は、発話生成の直前に脳によって生成されるEMG信号を測定することに基づいていてもよい。これらの信号は、実際に耳に聞こえる発話信号を生成する発話器官を刺激することを受け持っており、話そうとする意思だけはあるが耳に聞こえる音はわずかしか、あるいは全く出されていないとき、たとえば人が黙読するときにさえ検出および測定されることができる。
【００８４】
このように、声活動検出のためにEMG信号を使うことは、実質的な利点を提供する。たとえば、発話信号への適応における遅延を短縮でき、あるいはたとえば発話処理がその発話のために事前初期化されることが許容されうる。
【００８５】
いくつかの実施形態では、発話処理は、発話信号のエンコードであってもよい。図３は、発話信号をエンコードするための発話信号処理システムの例を示している。
【００８６】
本システムは、エンコードされるべき発話を含むオーディオ信号を捕捉するマイクロホン３０１を有する。マイクロホン３０１は、たとえば取り込まれたオーディオ信号を増幅し、フィルタリングし、デジタル化する機能を有しうるオーディオ処理器３０３に結合される。オーディオ処理器３０３は、該オーディオ処理器３０３から受け取ったオーディオ信号に発話エンコード・アルゴリズムを適用することによってエンコードされた発話信号を生成するよう構成された発話エンコーダ３０５に結合される。
【００８７】
図３のシステムはさらに、EMGセンサー３０９（これは図１のEMGセンサー１０７に対応しうる）に結合されたEMG処理器３０７を有する。EMG処理器３０７は、EMG信号を受け取り、これを増幅し、フィルタリングし、デジタル化することに進みうる。EMG処理器３０７はさらに、エンコード制御器３１１に結合される。エンコード制御器３１１はさらにエンコーダ３０５に結合される。エンコード制御器３１１は、EMG信号に依存してエンコード処理を修正するよう構成される。
【００８８】
具体的には、エンコード制御器３１１は、話者から受け取られた音響発話信号に関係する発話特性指示を決定する機能を有する。発話特性は、EMG信号に基づいて決定され、次いでエンコーダ３０５によって適用されるエンコード・プロセスを適応させるまたは修正するために使われる。
【００８９】
個別的な例では、エンコード制御器３１１は、EMG信号から、発話信号における有声化の度合いを検出する機能を有する。有声の発話はより周期的であり、これに対し、無声の発話はよりノイズ様である。現代の発話符号化器は、一般に、信号の有声発話か無声発話への硬分類は避ける。その代わり、より適切な指標は、有声化の度合い（degree  of  voicing）である。これも、EMG信号から推定できる。たとえば、零交差数（the  number  of  zero  crossings）は信号が有声か無声かの簡単な指示である。無声の信号は、そのノイズ様な性質のため、より多くの零交差をもつ傾向がある。EMG信号は音響的な背景ノイズがないので、有声／無声検出はより堅牢である。
【００９０】
したがって、図３のシステムでは、エンコード制御器３１１は、有声化の度合いに依存してエンコード・パラメータを選択するようエンコーダ３０５を制御する。具体的には、連邦標準MELP（Mixed  Excitation  Linear  Prediction［混合励振線形予測］）符号化器のような発話符号化器のパラメータが、有声化の度合いに依存して設定されてもよい。
【００９１】
図４は、分散式発話処理システムを有する通信システムの例を示す。本システムは、具体的には、図１を参照して記述した要素を有する。しかしながら、今の例では、図１のシステムが通信システム内において分散させられ、分散をサポートする通信機能によってによって向上されている。
【００９２】
本システムでは、発話源ユニット４０１は、図１を参照して記述したマイクロホン１０１、オーディオ処理器１０３、EMGセンサー１０７およびEMG処理器１０９を有する。
【００９３】
しかしながら、発話処理器１０５は発話源ユニット４０１内に位置しているのではなく、リモートに位置されており、発話源ユニット４０１に第一の通信システム／ネットワーク４０３を介して接続されている。今の例では、第一の通信ネットワーク４０３はたとえばインターネットのようなデータ・ネットワークである。
【００９４】
さらに、音源ユニット４０１は、第一の通信ネットワーク４０３を介して（データを受信するデータ受信器を有する）発話処理器１０５にデータを送信できる第一および第二のデータ・トランシーバ４０５、４０７を有する。第一のデータ・トランシーバ４０５は、オーディオ処理器１０３に結合され、オーディオ信号を表すデータを発話処理器１０５に送信するよう構成される。同様に、第二のデータ・トランシーバ４０７は、EMG処理器１０９に結合され、EMG信号を表すデータを発話処理器１０５に送信するよう構成される。こうして、発話処理器１０５は、EMG信号に基づいて音響発話信号の発話向上を実行することに進むことができる。
【００９５】
図４の例では、発話処理器１０５はさらに、声専用通信システムである第二の通信システム／ネットワーク４０９に結合されている。たとえば、第二の通信システム４０９は、伝統的な有線電話システムであってもよい。
【００９６】
本システムはさらに、第二の通信システム４０９に結合されたリモート装置４１１を有する。発話処理器１０５はさらに、受け取られたEMG信号に基づいて向上された発話信号を生成し、該向上された発話信号をリモート装置４１１に、標準的な第二の通信システム４０９の声通信機能を使って通信するよう構成される。このように、本システムは、標準化された音声専用通信システムを使って、リモート装置４０９に向上された発話信号を提供しうる。さらに、向上処理は中央集中的に実行されるので、同じ向上機能が複数の音源ユニットのために使用でき、それにより、より効率的および／または複雑さが低いシステム解決策が許容される。
【００９７】
上記の記述は明確のため、種々の機能ユニットや処理器に言及しつつ本発明の実施形態を記述していることは理解されるであろう。しかしながら、種々の機能ユニットや処理器の間での機能のいかなる好適な配分も、本発明を損なうことなく、使用されうることは明白であろう。たとえば、別個の処理器または制御器によって実行されるよう例解されている機能が、同じ処理器または制御器によって実行されてもよい。よって、個別的な機能ユニットへの言及は、厳密な論理的または物理的な構造または編成を示すのではなく、記載される機能を提供する好適な手段を言及しているものと理解されるべきである。
【００９８】
本発明は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組み合わせを含むいかなる好適な形で実装されることもできる。本発明は任意的には、少なくとも部分的に、一つまたは複数のデータ・プロセッサおよび／またはデジタル信号プロセッサ上で走るコンピュータ・ソフトウェアとして実装されてもよい。本発明の実施形態の要素およびコンポーネントは、物理的、機能的および論理的に、いかなる好適な仕方で実装されてもよい。実際、機能は、単一のユニットで、複数のユニットで、あるいは他の機能ユニットの一部として、実装されてもよい。よって、本発明は、単一のユニットで実装されてもよく、異なるユニットおよび処理器の間で物理的および機能的に配分されてもよい。
【００９９】
本発明について、いくつかの実施形態との関連で記述してきたが、本発明は、本稿に記載される特定の形に限定されることは意図されていない。むしろ、本発明の範囲は付属の請求項によってのみ限定される。さらに、ある特徴が特定の実施形態との関連で記述されているように見えたとしても、当業者は、記述される諸実施形態のさまざまな特徴が本発明に基づいて組み合わされてもよいことを認識するであろう。請求項において、有する、含むという語は他の要素やステップの存在を排除するものではない。
【０１００】
さらに、ここに挙げられていても、複数の手段、要素または方法ステップがたとえば単一のユニットまたは処理器によって実装されてもよい。さらに、個々の特徴が異なる請求項に含められていたとしても、これらの特徴が有利に組み合わされる可能性はありうる。異なる請求項に含まれていることが、特徴の組み合わせが実現可能および／または有利でないことを含意するものではない。また、ある特徴があるカテゴリーの請求項に含まれていることは、このカテゴリーに限定することを含意するものではなく、その特徴が適宜、他の請求項のカテゴリーにも等しく適用可能であることを示すものである。さらに、請求項における特徴の順序、特に方法請求項における個々のステップの順序は、それらのステップがこの順序で実行しなければならないことを含意するものではない。むしろ、それらのステップは任意の好適な順序で実行されうる。さらに、単数形での言及は複数を排除するものではない。よって、「ある」「第一の」「第二の」などの表現は、複数を排除するものではない。請求項に参照符号があったとしても、単に明確にする例として与えられているのであって、いかなる仕方であれ特許請求の範囲を限定するものと解釈してはならない。
【図１】
2012512425.tif 000003
【図２】
2012512425.tif 000004
【図３】
2012512425.tif 000005
【図４】
2012512425.tif 000006
【手続補正書】
【提出日】平成23年6月17日(2011.6.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
発話信号処理システムであって：
話者についての音響発話信号を表す第一の信号を与える第一手段と；
前記音響発話信号と同時に捕捉される前記話者についての筋電計信号を表す第二の信号を与える第二手段と；
前記第二の信号に応じて前記第一の信号を処理して修正された発話信号を生成する処理手段とを有しており、
前記処理は、前記第一の信号の適応的な処理を含み、前記処理手段は、前記第二の信号に応じて発話活動検出を実行し、前記発話活動検出がある基準を満たすときにのみ前記適応的な処理を適応させるよう構成されている、
システム。
【請求項２】
話者の皮膚表面伝導度の測定に応答して前記筋電計信号を生成するよう構成された筋電計センサーをさらに有する、請求項１記載の本発話信号処理システム。
請求項１記載の発話信号処理システム。
【請求項３】
前記発話活動検出が、発話前活動検出である、請求項１記載の発話信号処理システム。
【請求項４】
前記適応的な処理が適応的オーディオ・ビーム形成処理を含む、請求項１記載の発話信号処理システム。
【請求項５】
前記適応的な処理が適応的なノイズ補償処理を含む、請求項１記載の発話信号処理システム。
【請求項６】
前記処理手段が、前記第二の信号に応答して発話特性を決定し、該発話特性に応答して前記第一の信号の処理を修正するよう構成されている、請求項１記載の発話信号処理システム。
【請求項７】
前記発話特性が有声化特性であり、前記第一の信号の前記処理は、前記有声化特性によって示される現在の有声化の度合いに依存して変えられる、請求項６記載の発話信号処理システム。
【請求項８】
修正された発話信号はエンコードされた発話信号であり、前記処理手段は、前記発話特性に応答して前記第一の信号をエンコードするためのエンコード・パラメータの集合を選択するよう構成される、請求項６記載の発話信号処理システム。
【請求項９】
修正された発話信号はエンコードされた発話信号であり、前記第一の信号の前記処理は前記第一の信号の発話エンコードを含む、請求項１記載の発話信号処理システム。
【請求項１０】
請求項１記載の発話信号処理システムであって、当該システムは、前記第一手段および第二手段を有する第一の装置と、前記第一の装置からリモートであり前記処理装置を有する第二の装置とを有し、前記第一の装置はさらに前記第一の信号および前記第二の信号を前記第二の装置に通信する手段を有する、システム。
【請求項１１】
前記第二の装置がさらに、前記発話信号を、発話専用の通信接続を通じて第三の装置に送信する手段を有する、請求項１０記載のシステム。
【請求項１２】
発話信号処理システムの動作方法であって：
話者の音響発話信号を表す第一の信号を提供する段階と；
前記音響発話信号と同時に捕捉される、前記話者についての筋電計信号を表す第二の信号を提供する段階と；
前記第二の信号に応じて前記第一の信号を処理して修正された発話信号を生成する段階とを含み、
前記処理は、前記第一の信号の適応的な処理を含み、前記第二の信号に応じて発話活動検出を実行し、前記発話活動検出がある基準を満たすときにのみ前記適応的な処理を適応させることを含む、
方法。
【請求項１３】
請求項１２記載の方法を実行することを可能にするコンピュータ・プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば発話エンコードまたは発話の向上といった、発話信号処理に関する。
【背景技術】
【０００２】
発話の処理は、重要性が高まってきており、たとえば発話信号の高度なエンコードおよび向上が広まっている。
【０００３】
典型的には、スピーカーからの音響発話信号が捕捉され、デジタル領域に変換される。デジタル領域では、信号を処理するために高度なアルゴリズムが適用されうる。たとえば、高度な発話エンコードまたは発話明瞭度（speech  intelligibility）向上の技法が捕捉された信号に適用されうる。
【０００４】
しかしながら、そのような多くの従来の処理アルゴリズムの問題は、あらゆるシナリオにおいて最適にはならない傾向があるということである。たとえば、多くのシナリオでは捕捉されたマイクロホン信号は話者によって生成された実際の発話の最適でない表現であることがある。これはたとえば、音響経路またはマイクロホンによる捕捉における歪みのために生じることがありうる。そのような歪みは、捕捉された発話信号の忠実度を低下させる可能性がありうる。個別的な例として、発話信号の周波数応答が修正されることがありうる。もう一つの例として、音響的な環境が実質的なノイズまたは干渉を含み、その結果、捕捉された信号が単に発話信号を表現するのではなく、組み合わされた発話およびノイズ／干渉信号となることがありうる。そのようなノイズは、結果として得られる発話信号の処理に実質的に影響することがあり、生成される発話信号の品質および明瞭度を実質的に低下させることがありうる。
【０００５】
たとえば、伝統的な発話向上方法は主として、所望される信号対雑音比（SNR:  Signal  to  Noise  Ratio）を改善するよう入力発話信号に音響信号処理技法を適用することに基づくものであった。しかしながら、そのような方法は、根本的にSNRおよび動作環境条件によって制限されており、したがって常に良好な性能を与えることはできない。
【０００６】
他の領域では、顎の下の喉頭に近い領域および舌下領域において話者の発声系の動きを表す信号を測定することが提案されている。話者の発声系の要素のそのような測定が発話に変換でき、よって発話障害のある者のために発話信号を生成し、それにより発話障害のある者が発話を使って意思伝達できるようにするために使うことができることが提案されている。これらのアプローチは、そのような信号が、口、唇、舌および鼻腔を含む最終的なサブシステムにおいて音響信号に最終的に変換される前に、人間の発話系のサブシステムにおいて生成されるという原理に基づいている。しかしながら、この方法は、その効力において限られており、それ自身で発話を完全に再現することはできない。
【０００７】
米国特許第5,729,694号では、電磁波を、話者のたとえば喉頭のような発話器官に向けることが提案されている。次いで、センサーが発話器官によって散乱された電磁放射を検出し、この信号が、同時に記録される音響発話情報と関連して、音響発話の完全な数学的符号化を実行するために使われる。しかしながら、記載されるアプローチは、複雑で、実装するのが面倒になる傾向があり、電磁信号を測定するための実際的でない、典型的な高価な設備を必要とする。さらに、電磁信号の測定は、比較的不正確である傾向があり、したがって結果として得られる発話エンコードは最適でない傾向があり、特に、結果として得られるエンコードされた発話品質は最適でない傾向がある。
【０００８】
よって、改善された発話信号処理が有利であり、特に、柔軟性を高め、複雑さを軽減し、ユーザー利便性を高め、品質を改善し、コストを削減し、および／またはパフォーマンスを改善することを許容するシステムが有利であろう。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
したがって、本発明は、単独でまたは任意の組み合わせにおいて上述した欠点の一つまたは複数を好ましくは緩和し、軽減し、あるいは解消することを志向するものである。
【課題を解決するための手段】
【００１０】
発話信号処理システムが：話者についての音響発話信号を表す第一の信号を与える第一手段と；前記音響発話信号と同時に捕捉される前記話者についての筋電計信号を表す第二の信号を与える第二手段と；前記第二の信号に応答して前記第一の信号を処理して修正された発話信号を生成する処理手段とを有する。
【００１１】
このアプローチは、改善された発話処理システムを提供しうる。特に、低い複雑さおよび／またはコストを維持しつつ、発話処理を高めるために、発声に至らない（sub  vocal）信号が使用されうる。さらに、多くの実施形態において、ユーザーにとっての不便さが軽減されうる。筋電計信号の使用は、他の型の発声に至らない信号にとっては便利に利用可能ではない情報を提供しうる。たとえば、筋電計信号は、実際に話し始めるのに先立って発話に関係するデータが検出されることを許容しうる。
【００１２】
本発明は、多くのシナリオにおいて、改善された発話品質を提供することができ、追加的または代替的にコストおよび／または複雑さおよび／または資源要求を軽減しうる。
【００１３】
第一および第二の信号は、同期されていてもいなくてもよい（たとえば、一方が他方に対して遅延されていてもよい）が、同時の音響発話信号および筋電計信号を表していてもよい。具体的には、第一の信号は第一の時間期間における音響発話信号を表していてもよく、第二の信号は第二の時間期間における筋電計信号を表していてもよく、第一の時間期間および第二の時間期間は重なり合う時間期間である。第一の信号および第二の信号は、特に、少なくともある時間期間における前記話者からの同じ発話の情報を提供しうる。
【００１４】
本発明のある任意的な特徴によれば、本発話信号処理システムはさらに、話者の皮膚表面伝導度の測定に応答して筋電計信号を生成するよう構成された筋電計センサーを有する。
【００１５】
これは、ユーザー・フレンドリーであり、それほどじゃまにならないセンサー動作を提供しつつ、高い品質の第二の信号を提供する筋電計信号の決定を与えうる。
【００１６】
前記処理手段は、前記第二の信号に応答して発話活動検出を実行するよう構成され、前記処理手段は、前記発話活動検出に応答して前記第一の信号の処理を修正するよう構成される。
【００１７】
これは、多くの実施形態において改善されたおよび／または容易にされた発話操作を提供しうる。特に、改善された検出および発話活動依存の処理を、例えばノイズのある環境のような多くのシナリオにおいて許容しうる。もう一つの例として、発話検出が、複数の話者が同時に話している環境において単独の話者を目標とすることを許容しうる。
【００１８】
発話活動検出は、たとえば、発話があるか否かの単なる二値検出であってもよい。
【００１９】
本発明のある任意的な特徴によれば、発話活動検出は、発話前活動検出である。
【００２０】
これは、多くの実施形態において、改善されたおよび／または容易にされた発話操作を提供しうる。実際、本アプローチは、実際に話し始めるのに先立って発話活動が検出されることを許容しうる。それにより、適応的動作の事前初期化およびより素速い収束を許容する。
【００２１】
前記処理は、第一の信号の適応的な処理を含み、前記処理手段は、発話活動検出がある基準を満たすときにのみ適応的な処理を適応させるよう構成される。
【００２２】
本発明は、適応的な発話処理の改善された適応を許容してもよく、特に、適応がいつ実行されるべきかの改善された検出に基づく改善された適応を許容しうる。具体的には、一部の適応的処理は発話があるときにのみ適応されることが有利であり、他の適応的処理は発話がないときにのみ適応されることが有利である。こうして、改善された適応、よって結果として得られる発話処理および品質は、多くの状況において、筋電計信号に基づいて適応的処理をいつ適応するかを選択することによって達成されうる。
【００２３】
前記基準は、たとえば、いくつかの応用については、発話活動が検出されることを要求してもよく、他の応用については、発話活動が検出されないことを要求してもよい。
【００２４】
本発明のある任意的な特徴によれば、適応的処理は、適応的オーディオ・ビーム形成処理を含む。
【００２５】
本発明は、いくつかの実施形態では、改善されたオーディオ・ビーム形成を提供してもよい。具体的には、より正確な適応およびビーム形成トラッキングが達成されうる。たとえば、適応は、ユーザーが話している時間期間により焦点を当ててもよい。
【００２６】
本発明のある任意的な特徴によれば、適応的処理は、適応的なノイズ補償処理を含む。
【００２７】
本発明は、いくつかの実施形態では、改善されたノイズ補償処理を提供してもよい。具体的には、ノイズ補償のより正確な適応が、たとえばノイズ補償適応をユーザーが話していない時間期間に対して焦点を当てる改善によって、達成されうる。
【００２８】
ノイズ補償処理は、たとえば、ノイズ抑制処理または干渉打ち消し／削減処理であってもよい。
【００２９】
本発明のある任意的な特徴によれば、前記処理手段は、前記第二の信号に応答して発話特性を決定し、該発話特性に応答して前記第一の信号の処理を修正するよう構成されている。
【００３０】
これは、多くの実施形態において、改善された発話処理を提供しうる。多くの実施形態において、発話処理の、発話の特定の属性に対する改善された適応を提供しうる。さらに、多くのシナリオにおいて、筋電計信号は、発話処理が、発話信号が受領されるのに先立って適応されることを許容しうる。
【００３１】
本発明のある任意的な特徴によれば、発話特性は、有声特性であり、前記第一の信号の前記処理は、有声特性によって示される有声の現在の度合いに依存して変えられる。
【００３２】
これは、発話処理の特に有利な適応を許容しうる。具体的には、異なる音素に関連付けられた特性は実質的に変動することがあり（たとえば有声信号および無声信号）、したがって筋電計信号に基づく有声特性の改善された検出は、実質的に改善された発話処理および結果としての発話品質につながりうる。
【００３３】
本発明のある任意的な特徴によれば、修正された発話信号は、エンコードされた発話信号であり、前記処理手段は、前記発話特性に応答して前記第一の信号をエンコードするためのエンコード・パラメータの集合を選択するよう構成される。
【００３４】
これは、発話信号の改善されたエンコードを許容しうる。たとえば、エンコードは、発話信号が主として正弦波信号であるかノイズ様信号であるかを反映するよう適応されてもよく、それによりエンコードがこの特性を反映するよう適応されることが許容される。
【００３５】
本発明のある任意的な特徴によれば、修正された発話信号はエンコードされた発話信号であり、前記第一の信号の前記処理は、前記第一の信号の発話エンコードを含む。
【００３６】
本発明は、いくつかの実施形態では、改善された発話エンコードを提供してもよい。
【００３７】
本発明のある任意的な特徴によれば、本システムは、前記第一手段および第二手段を有する第一の装置と、前記第一の装置からリモートであり前記処理装置を有する第二の装置とを有し、前記第一の装置はさらに前記第一の信号および前記第二の信号を前記第二の装置に通信するための手段を有する。
【００３８】
これは、多くの実施形態において、改善された発話信号配信および処理を提供しうる。特に、要求される機能の分散したおよび／または中央集中した処理を許容しつつ、個々の話者についての筋電計信号が利用されることの利点を許容しうる。
【００３９】
本発明のある任意的な特徴によれば、前記第二の装置はさらに、前記発話信号を、発話のみの通信接続を通じて第三の装置に送信する手段を有する。
【００４０】
これは、多くの実施形態において、改善された発話信号配信および処理を提供しうる。特に、要求される機能の分散したおよび／または中央集中した処理を許容しつつ、個々の話者についての筋電計信号が利用されることの利点を許容しうる。さらに、エンドツーエンドのデータ通信を必要とすることなく、前記利点が提供されることを許容しうる。本特徴は、特に、たとえば携帯または固定ネットワークの電話システムを含む多くの既存の通信システムに対する改善された上位互換性を提供しうる。
【００４１】
本発明のある側面によれば、発話信号処理システムの動作方法であって：話者の音響発話信号を表す第一の信号を提供する段階と；前記音響発話信号と同時に捕捉される、前記話者についての筋電計信号を表す第二の信号を提供する段階と；前記第二の信号に応答して前記第一の信号を処理して修正された発話信号を生成する段階とを含み、前記処理は、前記第一の信号の適応的な処理を含み、前記第二の信号に応じて発話活動検出を実行し、前記発話活動検出がある基準を満たすときにのみ前記適応的な処理を適応させることを含む、
方法が提供される。
【００４２】
本発明のある側面によれば、上記の方法を実行することを可能にするコンピュータ・プログラム・プロダクトが提供される。
【００４３】
本発明のこれらおよびその他の側面、特徴および利点は、以下に記載される実施形態を参照することから明白となり、明快にされるであろう。
【図面の簡単な説明】
【００４４】
本発明の実施形態は、単に例として、図面を参照して説明される。
【図１】本発明のいくつかの実施形態に基づく、発話信号処理システムの例を示す図である。
【図２】本発明のいくつかの実施形態に基づく、発話信号処理システムの例を示す図である。
【図３】本発明のいくつかの実施形態に基づく、発話信号処理システムの例を示す図である。
【図４】本発明のいくつかの実施形態に基づく、発話信号処理システムを有する通信システムの例を示す図である。
【発明を実施するための形態】
【００４５】
図１は、本発明のいくつかの実施形態に基づく、発話信号処理システムの例を示している。
【００４６】
本発話信号処理システムは、記録要素を有する。該記録要素は、特にマイクロホン１０１である。マイクロホン１０１は、話者の口近くに位置され、話者の音響発話信号を捕捉する。マイクロホン１０１はオーディオ信号を処理できるオーディオ処理器１０３に結合されている。たとえば、オーディオ処理器１０３は、たとえばフィルタリング、増幅およびアナログからデジタル領域への信号の変換のための機能を有していてもよい。
【００４７】
オーディオ処理器１０３は、発話処理を実行するよう構成された発話処理器１０５に結合されている。こうして、オーディオ処理器１０３は、捕捉された音響発話信号を表す信号を発話処理器１０５に与える。すると発話処理器１０５は、該信号を処理することに進んで、修正された発話信号を生成する。修正された発話信号は、たとえばノイズ補償された、ビーム形成された、発話向上されたおよび／またはエンコードされた発話信号でありうる。
【００４８】
本システムはさらに、話者についての筋電計信号を捕捉する機能をもつ筋電計（EMG:  electromyographic）センサー１０７を有する。話者の一つまたは複数の筋肉の電気的な活動を表す筋電計信号が捕捉される。
【００４９】
具体的には、EMGセンサー１０７は、筋肉細胞が収縮するとき、また筋肉細胞が静止しているときに筋肉細胞によって生成される電位を反映する信号を測定してもよい。電気の源は、典型的には、約70mVの筋膜電位である。測定されるEMG電位は典型的には、観察する筋肉に依存して、50μV未満から20ないし30mVまでの間の範囲である。
【００５０】
静止している筋組織は、電気的に不活性である。しかしながら、筋肉が随意収縮するとき、活動電位が現れ始める。筋収縮の強さが増すにつれて、ますます多くの筋繊維が活動電位を生じる。筋肉が完全に収縮すると、さまざまなレートおよび振幅の活動電位の乱雑なグループが現れるはずである（完全な動員（recruitment）および干渉（interference）パターン）。図１のシステムでは、そのような電位の変動がEMGセンサー１０７によって検出され、EMG処理器１０９に供給され、EMG処理器１０９が受け取ったMEG信号の処理に進む。
【００５１】
電位の測定は、個別的な例では、皮膚表面伝導度測定によって実行される。具体的には、喉頭および人の発話生成の手段となる他の部分のまわりの領域において、電極が話者に取り付けられてもよい。皮膚伝導度検出のアプローチは、いくつかのシナリオでは、測定されるEMG信号の精度を下げることがありうるが、本発明者らは、これは、（医療用途などとは対照的に）EMG信号に部分的にしか依拠しない多くの発話用途については、典型的には受け容れ可能であることを認識するに至った。表面測定の使用は、ユーザーに対する不便を軽減でき、特にユーザーが自由に動くことを許容しうる。
【００５２】
他の実施形態では、EMG信号を捕捉するために、より正確な侵入的な測定が使用されてもよい。たとえば、針が筋組織中に挿入され、電位が測定されてもよい。
【００５３】
EMG処理器１０９は、特に、EMG信号を増幅し、フィルタリングし、アナログ領域からデジタル領域に変換する。
【００５４】
EMG処理器１０９はさらに、発話処理器１０５に結合され、捕捉されたEMG信号を表す信号を該発話処理器に与える。本システムでは、発話処理器１０５は、EMG処理器１０９によって与えられる、測定されたEMG信号を表す第二の信号に依存して第一の信号（音響信号に対応する）を処理するよう構成される。
【００５５】
このように、本システムでは、筋電図信号および音響信号が同時に捕捉される。すなわち、両者は、少なくともある時間期間の範囲内で、話者によって生成された同じ発話に関係する。こうして、第一および第二の信号は、同じ発話に関係する対応する音響信号および筋電図信号を反映する。したがって、発話処理器１０５の処理は、第一および第二の信号両方によって与えられる情報を一緒に考慮に入れうる。
【００５６】
しかしながら、第一および第二の信号が同期されている必要はなく、たとえば一方の信号が、ユーザーによって生成された発話に関して、他方の信号に対して遅延されていてもよいことは理解されるであろう。そのような二つの経路の遅延の差は、たとえば、音響領域、アナログ領域および／またはデジタル領域で生じうる。
【００５７】
簡明のため、捕捉されたオーディオ信号を表す信号は以下ではオーディオ信号と称されることがあり、捕捉された筋電図信号を表す信号は以下では筋電図信号（またはEMG信号）と称されることがある。
【００５８】
こうして、図１のシステムでは、音響信号が、マイクロホン１０１を使って、伝統的なシステムにおけるように捕捉される。さらに、非音響的な、発声に至らないEMG信号が、たとえば喉頭に近い皮膚上に位置された好適なセンサーを使って捕捉される。次いでこれら二つの信号が発話信号を生成するために使われる。具体的には、これら二つの信号が組み合わされて向上した発話信号を生成してもよい。
【００５９】
たとえば、ノイズのある環境における人間の話者が、発話内容にしか関心がなく、オーディオ環境全体には関心がない別のユーザーと意思疎通しようと努めることがありうる。そのような例では、傾聴するユーザーは、より理解しやすい発話信号を生成するよう発話向上を実行する個人的なサウンド装置を携行してもよい。今の例では、話者は口頭で意思を伝え（発声された発話）、さらに、話されることが意図された内容の情報を含むEMG信号を検出することのできる皮膚伝導度センサーを身につけている。今の例では、検出されたEMG信号は話者から受け手の個人的なサウンド装置に（たとえば電波伝送を使って）伝えられる。ここで、音響発話信号は、個人的なサウンド装置自身のマイクロホンによって捕捉される。こうして、個人的なサウンド装置は、周辺ノイズによって損なわれ、話者とマイクロホンの間の音響チャネルから帰結する残響などによって歪められた音響信号を受け取る。さらに、発話を示す発声に至らないEMG信号が受け取られる。しかしながら、EMG信号は音響環境によって影響されず、特に、音響ノイズおよび／または音響伝達関数によって影響されない。したがって、発話向上プロセスは、EMG信号に依存する処理を用いて音響信号に適用されてもよい。たとえば、処理は、音響信号およびEMG信号の組み合わされた処理によって音響信号の発話部分の向上された推定を生成しようと試みてもよい。
【００６０】
異なる実施形態では異なる処理が適用されてもよいことは理解されるであろう。
【００６１】
いくつかの実施形態では、音響信号の処理は、EMG信号に応答して適応される適応的処理である。特に、適応的処理の適応をいつ適用するかは、EMG信号に基づく発話活動検出に基づいていてもよい。
【００６２】
そのような適応的発話信号処理システムの例が図２に示されている。
【００６３】
今の例では、適応的発話信号処理システムは、複数のマイクロホンを有する。そのうち二つ２０１、２０３が図示されている。マイクロホン２０１、２０３は、オーディオ処理器２０５に結合されている。オーディオ処理器２０５はマイクロホン信号を増幅し、フィルタリングし、デジタル化してもよい。
【００６４】
デジタル化された音響信号は次いで、オーディオ・ビーム形成を実行するよう構成されたビーム形成器２０７に供給される。このように、ビーム形成器２０７は、マイクロホン・アレイの個々のマイクロホン２０１、２０３からの信号を組み合わせて、全体的なオーディオ方向性が得られるようにすることができる。具体的には、ビーム形成器２０７は、主オーディオ・ビームを生成し、これを話者のほうに向けてもよい。
【００６５】
多くの異なるオーディオ・ビーム形成アルゴリズムが当業者に知られており、本発明を損なうことなく、いかなる好適なビーム形成アルゴリズムも使ってよいことは理解されるであろう。好適なビーム形成アルゴリズムの例が、たとえば米国特許第6774934号において開示されている。この例では、マイクロホンからの各オーディオ信号は、フィルタ処理されて（あるいは単に複素値によって重み付けされて）、話者からの異なるマイクロホン２０１、２０３へのオーディオ信号がコヒーレントに加算されるようにする。ビーム形成器２０７は、マイクロホン・アレイ２０１、２０３に対する話者の動きを追跡し、よって、個々の信号に適用されるフィルタ（重み）を適応させる。
【００６６】
本システムでは、ビーム形成器２０７の適応動作は、ビーム形成器２０７に結合されたビーム形適応処理器２０９によって制御される。
【００６７】
ビーム形成器２１１は、（ビーム形フィルタリング／重み付けに続いて）異なるマイクロホン２０１、２０３からの組み合わされた信号に対応する単一の出力信号を与える。よって、ビーム形成器２０７の出力は、指向性マイクロホンによって受け取られるであろう出力に対応し、典型的には、オーディオ・ビームが話者のほうに向けられるので改善された発話信号を与える。
【００６８】
今の例では、ビーム形成器２０７は、ノイズ補償処理を実行するよう構成された干渉打ち消し処理器２１１に結合されている。具体的には、干渉打ち消し処理器２１１は、オーディオ信号中の有意な干渉を検出してこれを除去しようとする適応的な干渉打ち消しプロセスを実装する。たとえば、発話信号に関係していない強い正弦波の存在が検出され、補償される。
【００６９】
多くの異なるオーディオ・ノイズ補償アルゴリズムが当業者に知られており、本発明を損なうことなく、いかなる好適なアルゴリズムが使われてもよいことは理解されるであろう。好適な干渉打ち消しアルゴリズムの例が、たとえば米国特許US5740256に開示されている。
【００７０】
干渉打ち消し処理器２１１は、このように、処理およびノイズ補償を、現在の信号の特性に合わせて適応する。干渉打ち消し処理器２１１はさらに、干渉打ち消し処理器２１１によって実行される干渉打ち消し処理の適応を制御する打ち消し適応処理器２１３に結合されている。
【００７１】
図２のシステムは発話品質を改善するためにビーム形成および干渉打ち消しの両方を用いているものの、これらのプロセスのそれぞれは互いに独立して採用されてもよく、発話向上システムはしばしばこれらのうちの一方のみを用いることがあることは理解されるであろう。
【００７２】
図２のシステムはさらに、EMGセンサー２１７（これは図１のEMGセンサー１０７に対応しうる）に結合されたEMG処理器２１５を有する。EMG処理器２１５は、ビーム形成適応処理器２０９および打ち消し適応処理器２１３に結合され、特に、EMG信号を、適応処理器２０９、２１３に供給する前に、増幅、フィルタリングおよびデジタル化する。
【００７３】
今の例では、ビーム形適応処理器２０９は、EMG処理器２１５から受け取られたEMG信号に対して発話活動検出を実行する。具体的には、ビーム形適応処理器２０９は、話者が話しているか否かを示す二値の発話活動検出を実行してもよい。ビーム形成器は所望される信号がアクティブであるときに適応され、干渉打ち消し器は所望される信号がアクティブでないときに適応される。そのような活動検出は、EMG信号を使って堅牢な仕方で実行されることができる。EMG信号は所望される信号のみを捕捉し、音響擾乱がないからである。
【００７４】
このように、この信号を使って堅牢な活動検出が実行できる。たとえば、所望される信号は、捕捉されたEMG信号の平均エネルギーが所定の第一閾値より上であればアクティブであると検出され、所定の第二閾値より下であれば非アクティブであると検出されてもよい。
【００７５】
今の例では、ビーム形適応処理器２０９は単に、ビーム形成フィルタまたは重みの適応が、発話活動検出が話者によって本当に発話が生成されていることを示す時間期間の間に受け取られるオーディオ信号のみに基づくよう、ビーム形成器２０７を制御する。しかしながら、発話活動検出がユーザーによって発話が生成されていないことを示す時間期間の間は、オーディオ信号は適応に関して無視される。
【００７６】
このアプローチは、改善されたビーム形成を提供し、よってビーム形成器２０７の出力における発話信号の改善された品質を与える。声にならないEMG信号に基づく発話活動検出の使用は、ユーザーが実際に話している時間期間に焦点を当てられる可能性が高くなるので、改善された適応を提供しうる。たとえば、従来のオーディオ・ベースの発話検出器は、発話と他のオーディオ源とを区別することは典型的には難しいので、ノイズのある環境では不正確な結果を与える傾向があった。さらに、より単純な声活動検出が利用できるので、複雑さが軽減された処理が達成できる。さらに、適応は、発話活動検出が、もっぱら特定の所望される話者について導出される声にならない信号のみに基づき、音響環境における他のアクティブな話者の存在によって影響されたり劣化したりしないので、特定の話者に、より焦点が当てられうる。
【００７７】
いくつかの実施形態では、発話活動検出は、EMG信号およびオーディオ信号の両方に基づいていてもよいことは理解されるであろう。たとえば、EMGベースの発話活動アルゴリズムは、従来式のオーディオ・ベースの発話検出によって補完されてもよい。そのような場合、両方のアプローチが組み合わされてもよい。それはたとえば、両方のアルゴリズムが独立して発話活動を示さなければならないと要求することによる、あるいはたとえば、一方の指標にとっての発話活動閾値を他方の指標に応じて調整することによる。
【００７８】
同様に、打ち消し適応処理器２１３は、発話活動検出を実行し、干渉打ち消し処理器２１１によって信号に適用される処理の適応を制御してもよい。
【００７９】
特に、打ち消し適応処理器２１３は、単純な二値の声活動指示を生成するために、ビーム形適応処理器２０９と同じ声活動検出を実行してもよい。打ち消し適応処理器２１３は、次いで、ノイズ補償／干渉打ち消しの適応を、発話活動指示が所与の基準を満たすときにのみこの適応が行われるよう、制御してもよい。具体的には、適応は、発話活動が検出されないときの状況に限定されてもよい。このように、ビーム形成は発話信号に適応されるが、干渉打ち消しは、ユーザーによって発話が生成されないときに測定される特性に、よって捕捉された音響信号がオーディオ環境におけるノイズによって支配されるシナリオに適応される。
【００８０】
このアプローチは、改善されたノイズ補償／干渉打ち消しを提供しうる。ノイズおよび干渉の特性の改善された決定を許容し、それにより、より効率的な補償／打ち消しを許容しうるからである。声にならないEMG信号に基づく発話活動検出の使用は、改善された適応を提供しうる。ユーザーが話していない時間期間に焦点が当てられる可能性が高くなり、それにより発話信号の要素がノイズ／干渉と考えられうるリスクが軽減されるからである。特に、ノイズのある環境におけるおよび／またはオーディオ環境中の複数の話者のうちの特定の話者を目標とする、より精密な適応が達成できる。
【００８１】
図２のような組み合わされたシステムでは、ビーム形成器２０７および干渉打ち消し処理器２１１の両方について同じ発話活動検出が使用できることは理解されるであろう。
【００８２】
発話活動検出は、具体的には、発話前活動検出であってもよい。実際、EMGベースの発話活動検出の実質的な利点は、改善された、目標話者を絞った発話活動検出を許容するのみならず、さらに発話前の発話活動検出を許容しうることにある。
【００８３】
実際、本発明者らは、EMG信号を使って発話が始まろうとしていることを検出することに基づいて発話処理を適応することによって、改善されたパフォーマンスが達成できることを認識するに至った。特に、発話活動検出は、発話生成の直前に脳によって生成されるEMG信号を測定することに基づいていてもよい。これらの信号は、実際に耳に聞こえる発話信号を生成する発話器官を刺激することを受け持っており、話そうとする意思だけはあるが耳に聞こえる音はわずかしか、あるいは全く出されていないとき、たとえば人が黙読するときにさえ検出および測定されることができる。
【００８４】
このように、声活動検出のためにEMG信号を使うことは、実質的な利点を提供する。たとえば、発話信号への適応における遅延を短縮でき、あるいはたとえば発話処理がその発話のために事前初期化されることが許容されうる。
【００８５】
いくつかの実施形態では、発話処理は、発話信号のエンコードであってもよい。図３は、発話信号をエンコードするための発話信号処理システムの例を示している。
【００８６】
本システムは、エンコードされるべき発話を含むオーディオ信号を捕捉するマイクロホン３０１を有する。マイクロホン３０１は、たとえば取り込まれたオーディオ信号を増幅し、フィルタリングし、デジタル化する機能を有しうるオーディオ処理器３０３に結合される。オーディオ処理器３０３は、該オーディオ処理器３０３から受け取ったオーディオ信号に発話エンコード・アルゴリズムを適用することによってエンコードされた発話信号を生成するよう構成された発話エンコーダ３０５に結合される。
【００８７】
図３のシステムはさらに、EMGセンサー３０９（これは図１のEMGセンサー１０７に対応しうる）に結合されたEMG処理器３０７を有する。EMG処理器３０７は、EMG信号を受け取り、これを増幅し、フィルタリングし、デジタル化することに進みうる。EMG処理器３０７はさらに、エンコード制御器３１１に結合される。エンコード制御器３１１はさらにエンコーダ３０５に結合される。エンコード制御器３１１は、EMG信号に依存してエンコード処理を修正するよう構成される。
【００８８】
具体的には、エンコード制御器３１１は、話者から受け取られた音響発話信号に関係する発話特性指示を決定する機能を有する。発話特性は、EMG信号に基づいて決定され、次いでエンコーダ３０５によって適用されるエンコード・プロセスを適応させるまたは修正するために使われる。
【００８９】
個別的な例では、エンコード制御器３１１は、EMG信号から、発話信号における有声化の度合いを検出する機能を有する。有声の発話はより周期的であり、これに対し、無声の発話はよりノイズ様である。現代の発話符号化器は、一般に、信号の有声発話か無声発話への硬分類は避ける。その代わり、より適切な指標は、有声化の度合い（degree  of  voicing）である。これも、EMG信号から推定できる。たとえば、零交差数（the  number  of  zero  crossings）は信号が有声か無声かの簡単な指示である。無声の信号は、そのノイズ様な性質のため、より多くの零交差をもつ傾向がある。EMG信号は音響的な背景ノイズがないので、有声／無声検出はより堅牢である。
【００９０】
したがって、図３のシステムでは、エンコード制御器３１１は、有声化の度合いに依存してエンコード・パラメータを選択するようエンコーダ３０５を制御する。具体的には、連邦標準MELP（Mixed  Excitation  Linear  Prediction［混合励振線形予測］）符号化器のような発話符号化器のパラメータが、有声化の度合いに依存して設定されてもよい。
【００９１】
図４は、分散式発話処理システムを有する通信システムの例を示す。本システムは、具体的には、図１を参照して記述した要素を有する。しかしながら、今の例では、図１のシステムが通信システム内において分散させられ、分散をサポートする通信機能によってによって向上されている。
【００９２】
本システムでは、発話源ユニット４０１は、図１を参照して記述したマイクロホン１０１、オーディオ処理器１０３、EMGセンサー１０７およびEMG処理器１０９を有する。
【００９３】
しかしながら、発話処理器１０５は発話源ユニット４０１内に位置しているのではなく、リモートに位置されており、発話源ユニット４０１に第一の通信システム／ネットワーク４０３を介して接続されている。今の例では、第一の通信ネットワーク４０３はたとえばインターネットのようなデータ・ネットワークである。
【００９４】
さらに、音源ユニット４０１は、第一の通信ネットワーク４０３を介して（データを受信するデータ受信器を有する）発話処理器１０５にデータを送信できる第一および第二のデータ・トランシーバ４０５、４０７を有する。第一のデータ・トランシーバ４０５は、オーディオ処理器１０３に結合され、オーディオ信号を表すデータを発話処理器１０５に送信するよう構成される。同様に、第二のデータ・トランシーバ４０７は、EMG処理器１０９に結合され、EMG信号を表すデータを発話処理器１０５に送信するよう構成される。こうして、発話処理器１０５は、EMG信号に基づいて音響発話信号の発話向上を実行することに進むことができる。
【００９５】
図４の例では、発話処理器１０５はさらに、声専用通信システムである第二の通信システム／ネットワーク４０９に結合されている。たとえば、第二の通信システム４０９は、伝統的な有線電話システムであってもよい。
【００９６】
本システムはさらに、第二の通信システム４０９に結合されたリモート装置４１１を有する。発話処理器１０５はさらに、受け取られたEMG信号に基づいて向上された発話信号を生成し、該向上された発話信号をリモート装置４１１に、標準的な第二の通信システム４０９の声通信機能を使って通信するよう構成される。このように、本システムは、標準化された音声専用通信システムを使って、リモート装置４０９に向上された発話信号を提供しうる。さらに、向上処理は中央集中的に実行されるので、同じ向上機能が複数の音源ユニットのために使用でき、それにより、より効率的および／または複雑さが低いシステム解決策が許容される。
【００９７】
上記の記述は明確のため、種々の機能ユニットや処理器に言及しつつ本発明の実施形態を記述していることは理解されるであろう。しかしながら、種々の機能ユニットや処理器の間での機能のいかなる好適な配分も、本発明を損なうことなく、使用されうることは明白であろう。たとえば、別個の処理器または制御器によって実行されるよう例解されている機能が、同じ処理器または制御器によって実行されてもよい。よって、個別的な機能ユニットへの言及は、厳密な論理的または物理的な構造または編成を示すのではなく、記載される機能を提供する好適な手段を言及しているものと理解されるべきである。
【００９８】
本発明は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組み合わせを含むいかなる好適な形で実装されることもできる。本発明は任意的には、少なくとも部分的に、一つまたは複数のデータ・プロセッサおよび／またはデジタル信号プロセッサ上で走るコンピュータ・ソフトウェアとして実装されてもよい。本発明の実施形態の要素およびコンポーネントは、物理的、機能的および論理的に、いかなる好適な仕方で実装されてもよい。実際、機能は、単一のユニットで、複数のユニットで、あるいは他の機能ユニットの一部として、実装されてもよい。よって、本発明は、単一のユニットで実装されてもよく、異なるユニットおよび処理器の間で物理的および機能的に配分されてもよい。
【００９９】
本発明について、いくつかの実施形態との関連で記述してきたが、本発明は、本稿に記載される特定の形に限定されることは意図されていない。むしろ、本発明の範囲は付属の請求項によってのみ限定される。さらに、ある特徴が特定の実施形態との関連で記述されているように見えたとしても、当業者は、記述される諸実施形態のさまざまな特徴が本発明に基づいて組み合わされてもよいことを認識するであろう。請求項において、有する、含むという語は他の要素やステップの存在を排除するものではない。
【０１００】
さらに、ここに挙げられていても、複数の手段、要素または方法ステップがたとえば単一のユニットまたは処理器によって実装されてもよい。さらに、個々の特徴が異なる請求項に含められていたとしても、これらの特徴が有利に組み合わされる可能性はありうる。異なる請求項に含まれていることが、特徴の組み合わせが実現可能および／または有利でないことを含意するものではない。また、ある特徴があるカテゴリーの請求項に含まれていることは、このカテゴリーに限定することを含意するものではなく、その特徴が適宜、他の請求項のカテゴリーにも等しく適用可能であることを示すものである。さらに、請求項における特徴の順序、特に方法請求項における個々のステップの順序は、それらのステップがこの順序で実行しなければならないことを含意するものではない。むしろ、それらのステップは任意の好適な順序で実行されうる。さらに、単数形での言及は複数を排除するものではない。よって、「ある」「第一の」「第二の」などの表現は、複数を排除するものではない。請求項に参照符号があったとしても、単に明確にする例として与えられているのであって、いかなる仕方であれ特許請求の範囲を限定するものと解釈してはならない。
【国際調査報告】
2012512425.tif 000007
2012512425.tif 000008
2012512425.tif 000009