(57)【要約】      （修正有）【課題】音響信号の質を向上させる超音波ドップラ技法を使用する。【解決手段】方法及びシステムは、同時に音響源の可動部分から超音波ドップラ信号を取得しながら、音響源からマイクロフォンによって取得された音響信号の質を向上させる。そして、モデルに従って音響信号とドップラ信号とを分析することにより、質の向上した音響信号を生成する。【選択図】図１
2006313344.tif 000002
【特許請求の範囲】
【請求項１】
音響源から音響信号を取得することと、
同時に、前記音響源の可動部分から反射される超音波ドップラ信号を取得することと、
モデルに従って前記音響信号と前記超音波ドップラ信号とを合わせて分析することによって、質が向上された音響信号を生成することと
を備えた、雑音を含む音響信号の質を向上させる方法。
【請求項２】
前記取得された音響信号は雑音を含み、前記質が向上された音響信号は雑音の量が低減している、請求項１に記載の方法。
【請求項３】
前記超音波ドップラ信号を生成すること
をさらに含む、請求項１に記載の方法。
【請求項４】
前記超音波ドップラ信号は、前記音響信号より周波数が高い、請求項１に記載の方法。
【請求項５】
前記音響信号はマイクロフォンによって取得され、前記超音波ドップラ信号は超音波センサによって取得される、請求項１に記載の方法。
【請求項６】
前記音響源は人間の話者である、請求項１に記載の方法。
【請求項７】
前記音響源は可動部分を備えた機械である、請求項１に記載の方法。
【請求項８】
前記音響源はスピーカである、請求項１に記載の方法。
【請求項９】
前記質が向上された音声信号で音声認識を実行すること
をさらに含む、請求項６に記載の方法。
【請求項１０】
自動車においてハンズフリー電話に対して雑音を含む音声の質を向上させること
をさらに含む、請求項６に記載の方法。
【請求項１１】
雑音の多い環境で動作している携帯電話に対し雑音を含む音声の質を向上させること
をさらに含む、請求項６に記載の方法。
【請求項１２】
前記機械の動作を診断すること
をさらに含む、請求項７に記載の方法。
【請求項１３】
複数のクリーンな音響スペクトルと複数の対応するドップラスペクトルとを用いて前記モデルをトレーニングすること
をさらに含む、請求項１に記載の方法。
【請求項１４】
前記モデルは、分布の混合の形式である、請求項１に記載の方法。
【請求項１５】
前記分布はガウス分布である、請求項１４に記載の方法。
【請求項１６】
前記モデルは複数の状態を含み、各状態は、１つの音響スペクトル及び１つの対応するドップラスペクトルをモデル化する、請求項１４に記載の方法。
【請求項１７】
前記モデルは、前記状態の事前確率、前記ドップラスペクトルの状態依存分布、及び前記音響スペクトルの状態依存分布を含む、請求項１６に記載の方法。
【請求項１８】
前記モデルの前記状態の事後確率を重みとして使用することにより音響スペクトルと前記ドップラスペクトルとを結合することにより、前記質が向上された音響信号を生成すること
をさらに含む、請求項１７に記載の方法。
【請求項１９】
前記モデルはガウス分布を含む、請求項１に記載の方法。
【請求項２０】
前記モデルは隠れマルコフモデルである、請求項１に記載の方法。
【請求項２１】
前記モデルはベイズネットワークである、請求項１に記載の方法。
【請求項２２】
音響源から音響信号を取得するように構成されたマイクロフォンと、
前記音響源から反射した超音波ドップラ信号を同時に取得するように構成されたセンサと、
モデルに従って前記音響信号と前記ドップラ信号とを合わせて分析することにより、質が向上された音響信号を生成する手段と
を備えた、音響信号を取得して該音響信号の質を向上させるシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理に関し、特に音響信号を取得しその質を向上させることに関する。
【背景技術】
【０００２】
ハンズフリー移動体通信、電話及びハンズフリー音声認識等、遠距離場（far-field）マイクロフォンによって音響信号が取得される多くの用途がある。このような用途では、取得された音響信号は、大量の雑音、たとえば交通、群集、ラジオ、ＴＶ、風、又は環境における他の周囲雑音を含むことが多い。雑音は、特に音声認識において、取得された音響信号を解釈する際や、他の処理を行う際の妨げとなる。
【０００３】
多くの用途に対しドップラ技術が使用されてきた。２００１年６月２６日にモー（Mo）他に対して発行された、「Method and apparatus for dynamic noise reduction for Doppler audio output」と題する米国特許第６，２５１，０７７号は、適応型雑音低減用低域通過フィルタを用いてスペクトル・ドップラ画像の背景雑音を抑制する方法について述べている。２００４年８月１０日にンジェマンゼ（Njemanze）に対して発行された、「Noninvasive transcranial Doppler ultrasound face and object recognition testing system」と題する米国特許第６，７７３，４００号は、大脳動脈におけるベースライン血流速度を測定すると同時に、顔及び物体認識タスクを用いて被験者を試験する方法について述べている。２００４年８月１０日にキム（Kim）他に対して発行された、「Ultra-sonic apparatus and method for measuring the velocities of human tissues using the Doppler effects」と題する米国特許第６，７７３，４０３号は、速度を含むデータの周波数分布を生成することにより、人体から反射したエコー信号をサンプリングすることによって組織成分の速度を測定する方法について述べている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
音響信号の質を向上させる超音波ドップラ技法を使用することが望まれる。
【課題を解決するための手段】
【０００５】
［発明の概要］
本発明は、ドップラ超音波信号発生器と、たとえばマイクロフォン等の音響信号検出器と、超音波信号センサとを含む。また、広帯域マイクロフォンを使用して音響信号と超音波信号とをともに取得することも可能である。超音波信号は、周波数が、公称可聴周波数範囲より高く、たとえば２０ＫＨｚより高い。
【０００６】
動作中、人間の話者は、音響検出器及び超音波センサに面しながら発話する。検出器及びセンサを、机の上に配置しても、台の上に配置しても、もしくは他の方法で、例えば車のダッシュボード又はバックミラーに取り付けてもよい。音響マイクロフォンは、話者が生成する音響信号を取得する。
【０００７】
同時に、超音波発生器は、話者の顔に向かって高周波数音響信号を送信する。超音波信号は、話者の顔、特に口の周りの領域、すなわち、唇、舌及び顎によって反射される。反射されたドップラ信号は、超音波センサによって取得される。反射したドップラ信号の周波数は、音響信号が生成される際に話者の顔、舌、唇及び口の動きによって変調される。
【０００８】
したがって、音響信号及びドップラ信号は非常に相関性が高い。取得された超音波信号は、音響信号の質を向上させるために、音響信号と合わせて分析される。そして、質の向上した音響信号を、改善された音声認識システムにおいて等、多数の用途でさらに処理することができる。
【発明を実施するための最良の形態】
【０００９】
システム構成
図１は、超音波信号を使用して雑音を含む音響信号の質を向上させるシステム１００を示す。本明細書では、音響信号を、公称２０ＫＨｚ未満であるように定義し、すなわち音響信号は人間の耳が聞き取ることができる信号であり、超音波信号は音響信号より周波数が高い信号である。すなわち、音響信号及び超音波信号の周波数は、同一の要素を持たない。
【００１０】
システム１００は、音響マイクロフォン１０２、超音波トランスデューサ１０３及び超音波センサ１０４を組み込んだハウジング１１０を含む。音響マイクロフォン及び超音波センサの代りに、超音波ドップラ周波数を含む広範囲の音響周波数にわたって感知可能な広帯域マイクロフォンを用いてもよい。
【００１１】
音響マイクロフォン１０２は、音響源１０１、たとえば人間の話者から、雑音を含む音響信号１０５を取得する。雑音を含む音響信号は、音響信号を表す電気信号１０６に変換され、それが検出される１２０。音響源は、スピーカコーン又はダイアフラム、或いは可動部分を有する機械等、何らかの他の音響源であってもよいことが留意されるべきである。この場合、本発明は、音響信号と可動部分によって変調される反射ドップラ信号とを合わせて分析することにより、機械が適切に動作している時を決定することができる。
【００１２】
超音波信号発生器１３０は、トランスデューサ１０３に対し超音波信号１０８を生成する。超音波信号は、概して音響源１０１に向けられ、別個に反射ドップラ信号１０９が検出される１４０。
【００１３】
音響源の可動部分、たとえば口、唇及び舌によって音響信号が生成される時、反射ドップラ信号は対応する音響信号に対して高い相関性がある。
【００１４】
したがって、本発明は、「クリーンな」音響スペクトルと対応するドップラスペクトルとの状態を表したモデルを使用する。そして、このモデルを使用して、取得されたドップラ信号を対応するクリーンな音響信号と相関させることにより本来雑音を含む音響信号の質を向上させることができる。
【００１５】
検出された雑音を含む音響信号とドップラ信号とを、モデル２００に従って合わせて分析することにより、雑音の量が低減した質の向上した音響信号１５１が生成される１５０。質の向上した音響信号１５１を、たとえば音声認識１６０を実行するためにさらに処理することができる。
【００１６】
混合モデルトレーニング
図２は、超音波信号を使用して、音声等の音響信号の質を向上させるモデル２００を示す。このモデルは、音響スペクトル２０１、ドップラ又は超音波スペクトル２０２及び雑音スペクトル２０３を用いてトレーニングされる。雑音スペクトル２０３が音響スペクトル２０１に追加される２１０ことにより、雑音を含む音響スペクトル２０４がもたらされる。
【００１７】
モデルは、複数の状態２２０を有する。各状態において、「クリーンな」音響信号に対する１つのスペクトル２０１と、対応するドップラ信号に対する１つのスペクトル２０２とがある。このような分布を、
【００１８】
【数１】
2006313344.tif 000003
【００１９】
として数学的に表してもよい。ここで、ｚは状態を表し、Ｄはドップラスペクトルを表し、Ｓは、たとえば取得された信号の３０ミリ秒セグメントに対する音響スペクトルを表す。
【００２０】
モデルのパラメータは、モデル２００の状態Ｐ（ｚ）の事前確率と、ドップラスペクトルの状態依存分布Ｐ（Ｄ｜ｚ）と、音響スペクトルの状態依存分布Ｐ（Ｓ｜ｚ）とを含む。モデルは、同時の「クリーンな」音響信号と対応するドップラ信号とのコーパスから「トレーニングされる」。モデルは、ガウス分布の混合の形式であってもよく、各分布は平均と分散とを有する。
【００２１】
隠れマルコフモデル（ＨＭＭ）又はベイズネットワーク等の他のモデルを使用することも可能である。
【００２２】
モデルによれば、音響信号発生プロセス又はたとえば顔又は機械等の音響源は、すべての瞬間において異なる状態にある。その状態では、音響源は、音響信号に対する唯一のスペクトルと、同時にその音響信号と相関させることができるドップラ信号に対する対応する唯一のスペクトルとを生成する。音響スペクトル２０１が加法性雑音２０３によって汚染されることにより、雑音を含む音響スペクトル２０４が生成される。
【００２３】
雑音を含む音響信号からの質を向上させた音響信号の推定
図３は、ドップラ信号を使用して雑音を含む音響信号１０５から推定される質の向上した音響信号１５１を取得する方法３００を示す。周波数が高いドップラスペクトル３０２は、それより周波数の低い音響信号によって汚染されない。ドップラスペクトルは、モデル２００のさまざまな状態２２０の事後確率を推定するために使用される「証拠」を提供する。これらの推定値は、ドップラ信号が音響雑音によって汚染されないため信頼性が高いとみなされる。
【００２４】
雑音スペクトルに対するモデルを使用して、分析及び生成ステップ３１０において雑音を含む音響信号１０５から質の向上した音響スペクトル３０１の状態依存推定値を取得する。ドップラ信号から取得された状態の事後確率を重みとして使用して雑音スペクトルとドップラスペクトルとが結合されることにより、質の向上した音響信号１５１に対する推定値が生成される。
【００２５】
手続き例を以下のように説明することができる。Ｙは、雑音を含む音声の音響スペクトルを表すものとする。ｆ（Ｓ，Ｎ）は、クリーンな音響信号の音響スペクトルＳに対する雑音Ｎの影響を表す関数を表すものとする。すなわち、Ｙ＝ｆ（Ｓ，Ｎ）とする。雑音は未知である。Ｎは既知ではない。
【００２６】
クリーンな音響スペクトルＳもまた既知である場合、逆関数Ｎ＝ｆ１（Ｙ，Ｓ）を通して雑音を推定することができることが理想的である。不都合なことに、クリーンな音声スペクトルＳもまた未知である。しかしながら、音響スペクトルＳを生成した状態ｚが既知である場合、雑音Ｎを
【００２７】
【数２】
2006313344.tif 000004
【００２８】
として推定することができる。ここで、μｚは、音響スペクトルの状態依存分布Ｐ（Ｓ｜ｚ）の平均値である。しかしながら、状態ｚもまた未知であり、音響信号に雑音が含まれるため取得された音響信号から正確に推定することはできない。しかしながら、ドップラスペクトルＤは雑音によって汚染されておらず、ドップラスペクトルから証拠を導出することにより
【００２９】
【数３】
2006313344.tif 000005
【００３０】
として、状態ｚの事後確率を推定することができる。
【００３１】
そして、雑音の推定されたスペクトルを、状態の各々から導出された推定値の重み付きの組合せとして取得することができる。ここで、状態の重みは、
【００３２】
【数４】
2006313344.tif 000006
【００３３】
に従ってドップラスペクトルから取得されている。
【００３４】
推定された雑音を使用して、逆変換
【００３５】
【数５】
2006313344.tif 000007
【００３６】
を通して、取得された音響信号のスペクトルの「雑音を除去する」ことができる。この変換は、本発明により雑音を含む音響信号に対しいかに雑音除去を実行することができるかを表す。
【００３７】
上述した変換は一例に過ぎないということが理解されるべきである。手続きにより種々の変換関数ｆ（．）及びｇ（．）を使用することができる。同様に、さまざまなスペクトルを表すために他の統計モデルを使用することも可能である。
【００３８】
本発明により、音声認識等、多数の用途が質の向上した音響信号で動作することができる。たとえば、本発明を使用して、自動車においてハンズフリー電話に対し信号の雑音を除去し、携帯電話において、それが雑音の多い環境で使用される場合に伝送信号の質を向上させるために信号の雑音を除去し、又は機械類の動作を診断し潜在的な故障を検出するために使用することができる。
【００３９】
本発明を好ましい実施形態の例を用いて説明したが、本発明の精神及び範囲内においてさまざまな他の適応及び変更を行ってもよい、ということが理解されるべきである。したがって、本発明の真の精神及び範囲内にあるこのような変形及び変更のすべてを包含することが添付の特許請求の範囲の目的である。
【図面の簡単な説明】
【００４０】
【図１】本発明による音響信号を取得するシステム及び方法のブロック図である。
【図２】本発明によるモデルのブロック図である。
【図３】本発明による音響信号の質を向上させる方法のブロック図である。
【図１】
2006313344.tif 000008
【図２】
2006313344.tif 000009
【図３】
2006313344.tif 000010
【外国語明細書】
2006313344.tif 000011
2006313344.tif 000012
2006313344.tif 000013
2006313344.tif 000014
2006313344.tif 000015
2006313344.tif 000016
2006313344.tif 000017
2006313344.tif 000018
2006313344.tif 000019
2006313344.tif 000020
2006313344.tif 000021
2006313344.tif 000022
2006313344.tif 000023
2006313344.tif 000024