(57)【特許請求の範囲】
【請求項１】
音響波をスピーチのフレームを表す電気マイクロフォン信号に変換する空気伝導マイクロフォンと、
前記空気伝導マイクロフォン以外の二つ以上の代替センサであって、ユーザと、前記二つ以上の代替センサに結合された、スピーカの両側に備わる少なくとも２つの接触点のうちの少なくとも一つと、の間の接触点に基づいて、スピーチの前記フレームを示す、電気代替センサ信号を提供し、前記二つ以上の代替センサは、第１の代替センサ信号を提供する第１の代替センサおよび第２の代替センサ信号を提供する第２の代替センサを備え、前記第１の代替センサおよび前記第２の代替センサは、骨伝導センサである、代替センサと、
前記マイクロフォン信号および前記代替センサ信号を使用して、スピーチの前記フレームに対するクリーン・スピーチ値を推定するプロセッサと
を備えることを特徴とするモバイル・ハンドヘルド・デバイス。
【請求項２】
前記モバイル・ハンドヘルド・デバイスは、左側と、前記左側の反対に位置する右側とを有し、前記第１の代替センサは、前記左側の近くに配置され、前記第２の代替センサは、前記右側の近くに配置されることを特徴とする請求項１に記載のモバイル・ハンドヘルド・デバイス。
【請求項３】
前記第１の代替センサ信号と前記第２の代替センサ信号のうちの一方を選択する選択ユニットをさらに備えることを特徴とする請求項１に記載のモバイル・ハンドヘルド・デバイス。
【請求項４】
前記選択ユニットは、前記第１の代替センサ信号および前記第２の代替センサ信号の大きさに基づいて前記第１の代替センサ信号および前記第２の代替センサ信号のうちの一方を選択することを特徴とする請求項３に記載のモバイル・ハンドヘルド・デバイス。
【請求項５】
前記スピーカは、前記クリーン・スピーチ値におけるノイズ量に基づいてサウンドを生成することを特徴とする請求項１に記載のモバイル・ハンドヘルド・デバイス。
【請求項６】
前記モバイル・ハンドヘルド・デバイスと対象物の間の距離を示す近接信号を生成する近接センサをさらに備えることを特徴とする請求項１に記載のモバイル・ハンドヘルド・デバイス。
【請求項７】
前記プロセッサは、前記マイクロフォン信号、前記代替センサ信号、および前記近接信号に基づいて前記クリーン・スピーチ値を決定することを特徴とする請求項６に記載のモバイル・ハンドヘルド・デバイス。
【請求項８】
前記プロセッサは、
前記マイクロフォン信号に基づいて前記クリーン・スピーチ値へのマイクロフォンの寄与を決定すること、
前記代替センサ信号に基づいて前記クリーン・スピーチ値への代替センサの寄与を決定すること、および
前記近接信号に基づいて前記マイクロフォンの寄与、および前記代替センサの寄与を重み付けすること
を備えるプロセスを介して前記クリーン・スピーチ値を決定することを特徴とする請求項７に記載のモバイル・ハンドヘルド・デバイス。
【請求項９】
前記スピーカは、前記近接信号に基づいてサウンドを生成することを特徴とする請求項６に記載のモバイル・ハンドヘルド・デバイス。
【請求項１０】
前記二つ以上の代替センサは、媒体で充てんされたパッドに流体力学的に結合される圧力トランスデューサを備えることを特徴とする請求項１に記載のモバイル・ハンドヘルド・デバイス。
【請求項１１】
前記モバイル・ハンドヘルド・デバイスは、左側と、前記左側の反対に位置する右側とを有し、前記パッドは、前記左側に第１の部分を、前記右側に第２の部分を有することを特徴とする請求項１０に記載のモバイル・ハンドヘルド・デバイス。
【請求項１２】
前記二つ以上の代替センサは、さらに近接信号を提供することを特徴とする請求項１０に記載のモバイル・ハンドヘルド・デバイス。
【請求項１３】
前記近接信号は、前記圧力トランスデューサによって生成される電気信号のＤＣ成分を備えることを特徴とする請求項１２に記載のモバイル・ハンドヘルド・デバイス。
【請求項１４】
前記代替センサ信号は、前記圧力トランスデューサによって生成される前記電気信号のＡＣ成分を備えることを特徴とする請求項１３に記載のモバイル・ハンドヘルド・デバイス。
【請求項１５】
音響波を電気マイクロフォン信号に変換する空気伝導マイクロフォンと、
スピーチを示す電気代替センサ信号を提供する二つ以上の代替センサであって、前記二つ以上の代替センサは、第１の代替センサ信号を提供する第１の代替センサおよび第２の代替センサ信号を提供する第２の代替センサを備え、前記第１の代替センサおよび前記第２の代替センサは、骨伝導センサである、代替センサと、
モバイル・デバイスから対象物までの距離を示す、前記マイクロフォン信号とは別の電気近接信号を提供する、前記空気伝導マイクロフォンとは別の近接センサと、
前記マイクロフォン信号、前記代替信号および前記近接信号を使用して前記マイクロフォン信号からノイズを除去し、これによって改良されたクリーン・スピーチ信号を生成するクリーン信号推定器と
を備えることを特徴とするモバイル・デバイス。
【請求項１６】
前記改良されたクリーン・スピーチ信号中のノイズ・レベルの推定値に基づいてサウンドを生成するスピーカをさらに備えることを特徴とする請求項１５に記載のモバイル・デバイス。
【請求項１７】
前記モバイル・デバイスは、前記近接信号を使用して、前記代替センサ信号から形成される前記改良されたクリーン・スピーチ信号に対する寄与を重み付けすることによって前記改良されたクリーン・スピーチ信号を生成することを特徴とする請求項１５に記載のモバイル・デバイス。
【請求項１８】
前記寄与を重み付けすることは、前記モバイル・デバイスが前記対象物から離れていることを前記近接信号が示すときに、より少ない重みを前記寄与に与えることを備えることを特徴とする請求項１７に記載のモバイル・デバイス。
【請求項１９】
前記近接信号に基づいてサウンドを生成するスピーカをさらに備えることを特徴とする請求項１５に記載のモバイル・デバイス。
【請求項２０】
前記サウンドのボリュームは、前記モバイル・デバイスと前記対象物の間の距離が増大することを前記近接信号が示すときに増大することを特徴とする請求項１９に記載のモバイル・デバイス。
【請求項２１】
前記代替センサ信号および前記近接センサ信号は、単一センサによって生成されることを特徴とする請求項１５に記載のモバイル・デバイス。
【請求項２２】
前記単一センサは、前記近接信号を表すＤＣ成分と前記代替センサ信号を表すＡＣ成分とを有する電気信号を生成する圧力トランスデューサを備えることを特徴とする請求項２１に記載のモバイル・デバイス。
【請求項２３】
空気伝導マイクロフォン信号を受け取ること、
二つ以上の代替センサのうちの少なくとも一つの代替センサからスピーチを示す代替センサ信号を受け取ることであって、前記二つ以上の代替センサは、第１の代替センサ信号を提供する第１の代替センサおよび第２の代替センサ信号を提供する第２の代替センサを備え、前記第１の代替センサおよび前記第２の代替センサは、骨伝導センサであること、
モバイル・デバイスと対象物との間の距離を示す近接センサ信号を受け取ること、
前記近接センサ信号に基づいて前記代替センサ信号から導き出される、前記改良されたクリーン・スピーチ値に対する、寄与を重み付けすることにより、前記空気伝導マイクロフォン信号、前記代替センサ信号、および前記近接センサ信号に基づいて改良されたクリーン・スピーチ値を推定すること、
前記改良されたクリーン・スピーチ値中のノイズを推定すること、および
ノイズの前記推定値を使用してモバイル・デバイス中のスピーカを介してサウンドを生成すること
を備えることを特徴とするモバイル・デバイスにおける方法。
【請求項２４】
前記サウンドのボリュームは、ノイズの前記推定値が増大するときに増大することを特徴とする請求項２３に記載の方法。
【請求項２５】
寄与を重み付けすることは、前記モバイル・デバイスが対象物に近接していることを前記近接センサ信号が示すときに、前記代替センサ信号から導き出される前記寄与に対して、より大きな重みを適用することを備えることを特徴とする請求項２３に記載の方法。
【請求項２６】
前記対象物は、ユーザの頭であることを特徴とする請求項２５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ノイズの低減に関する。より詳細には、本発明は、モバイル・ハンドヘルド・デバイスが受信したスピーチ信号からノイズを除去することに関する。
【背景技術】
【０００２】
電話ファンクションを提供しスピーチ入力を受け入れるモバイル電話器や携帯型情報端末器（personal digital assistant）などのモバイル・ハンドヘルド・デバイスは、繁華街、レストラン、空港、車などの、不都合なノイズ環境においてしばしば使用されることがある。これらの環境における激しい周囲のノイズは、ユーザのスピーチを不明瞭にし、その人が何を話しているのかを理解しにくくする可能性がある。
【０００３】
このノイズのモデルに基づいてノイズを除去しようとするノイズ・フィルタリング・システムが開発されてきているが、これらのシステムでは、このノイズのすべてを除去することができない。特に、これらのシステムの多くでは、背景における他の人々の会話から構成されるノイズを除去することが困難なことが見出されてきている。この１つの理由は、もし不可能でないとしても、これらのシステムでは、マイクロフォンで受信したスピーチ信号がモバイル・デバイスを使用する人以外から来ていることを決定することが極めて困難なことである。
【０００４】
ヘッドセットをユーザの頭または耳に巻き付けることによってユーザの頭の位置に保持される電話器のヘッドセットでは、そのヘッドセット中の別のタイプのセンサに依存することによってより強固なノイズ・フィルタリングを提供するシステムが開発されてきている。一実施例では、骨伝導センサがそのヘッドセットの一端に配置され、そのヘッドセットの弾性によってユーザの頭蓋骨、耳、または下あごを覆う皮膚と接触するように押し付けられる。この骨伝導センサは、そのユーザが話をするときに引き起こされる、頭蓋骨、耳または下あごの振動を検出する。この骨伝導センサからの信号を使用して、このシステムは、ユーザが話をしているときをより良く識別することができ、その結果、このスピーチ信号中のノイズをより良好にフィルタすることができる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
この骨伝導センサとそのユーザの間の接触が、そのヘッドセットの機構設計によって保持されるようなヘッドセットでは、かかるシステムはよく機能する。しかし、ハンドヘルド・モバイル・デバイスでは、これらのシステムを直接に使用することはできない。その理由は、ハンドヘルド・モバイル・デバイスでは、ユーザにとってこの骨伝導センサを適切な位置に保持することが難しく、またこれらのシステムでは、この骨伝導センサがその適切な位置に保持されないこともあり得ることが考慮されていないからである。
【課題を解決するための手段】
【０００６】
ユーザの指または親指によって操作することができるディジット入力部、空気伝導マイクロフォン、およびスピーチを示す代替センサ信号を提供する代替センサを含むモバイル・デバイスが、提供される。
一部の実施形態においては、このモバイル・デバイスはまた、モバイル・デバイスからある対象物（object）までの距離を示す近接信号（proximity signal）を提供する近接センサ（proximity sensor）を含んでいる。一部実施形態においては、この空気伝導マイクロフォンからの信号、この代替的なセンサ信号、およびこの近接信号を使用してクリーン・スピーチ値（clean speech value）の推定値を形成する。さらなる実施形態においては、サウンドが、このクリーン・スピーチ値中のノイズ量に基づいてこのモバイル・デバイス中のスピーカを介して生成される。他の実施形態においては、このスピーカを介して生成されるサウンドは、この近接センサ信号に基づいている。
【発明を実施するための最良の形態】
【０００７】
本発明の実施形態では、スピーチ検出およびノイズ・フィルタリングに使用することができる空気伝導マイクロフォンと代替センサの両方を含むハンドヘルド・モバイル・デバイスが提供される。図１は、このハンドヘルド・モバイル・デバイスがモバイル電話器１００である実施形態の一例を提供している。モバイル電話器１００は、キー・パッド１０２、ディスプレイ１０４、カーソル制御部１０６、空気伝導マイクロフォン１０８、スピーカ１１０、２つの骨伝導マイクロフォン１１２および１１４、ならびにオプションとしての近接センサ１１６を含んでいる。
【０００８】
タッチパッド１０２は、ユーザがこのモバイル電話器に数字および文字を入力できるようにする。他の実施形態においては、タッチパッド１０２は、タッチ・スクリーンの形態のディスプレイ１０４と組み合わせられる。カーソル制御部１０６は、ユーザがディスプレイ１０４上の情報をハイライトし選択し、またディスプレイ１０４よりも大きな画像およびページをスクロールすることができるようにする。
【０００９】
図２および図３に示すように、モバイル電話器１００が、この電話器を介して会話をするための標準的な位置に置かれるときに、スピーカ１１０は、そのユーザの左耳２００または右耳３００の近くに位置づけられ、空気伝導マイクロフォン１０８は、そのユーザの口２０２の近くに位置づけられる。この電話器が、図２に示すように、そのユーザの左耳近くに位置づけられるときには、骨伝導マイクロフォン１１４は、そのユーザの頭蓋骨または耳に接触し、空気伝導マイクロフォン１０８が受信するスピーチ信号からノイズを除去するために使用することができる代替的なセンサ信号を生成する。この電話器が、図３に示すようにそのユーザの右耳の近くに位置づけられるときには、骨伝導マイクロフォン１１２は、そのユーザの頭蓋骨または耳に接触し、そのスピーチ信号からノイズを除去するために使用することができる代替的なセンサ信号を生成する。
【００１０】
このオプションとしての近接センサ１１６は、この電話器がそのユーザにどれほど近いかを指示する。以下でさらに考察するように、この情報を使用してクリーン・スピーチ値を生成する際におけるその骨伝導マイクロフォンの寄与を重み付けする。一般的に、この近接検出器が、この電話器がユーザのすぐそばにあることを検出する場合には、この骨伝導マイクロフォン信号には、この電話器がユーザからある距離だけ離れている場合よりも重い重み付けが行われる。この調整は、この骨伝導マイクロフォン信号が、この電話器がそのユーザと接触しているときにユーザの会話をさらに示しやすいことを反映している。この電話器がユーザから離れているときには、電話器は周囲のノイズにより影響されやすい。ユーザがこの電話器を常にユーザの頭に押し付けて保持しないので、この近接センサが、本発明の実施形態において使用される。
【００１１】
図４は、本発明の骨伝導センサ４００の一実施形態を示している。センサ４００においては、柔らかいエラストマ・ブリッジ（elastomer bridge）４０２が通常の空気伝導マイクロフォン４０６のダイヤフラム（diaphragm）４０４に接着されている。この柔らかいブリッジ４０２は、ユーザの皮膚接触４０８からマイクロフォン４０６のダイヤフラム４０４に直接に振動を伝導する。ダイヤフラム４０４の動きは、マイクロフォン４０６中のトランスデューサ４１０によって電気信号に変換される。
【００１２】
図５は、本発明のハンドヘルド・モバイル・デバイスの代替的なモバイル電話器の実施形態５００を提供するものである。モバイル電話器５００は、キー・パッド５０２、ディスプレイ５０４、カーソル制御部５０６、空気伝導マイクロフォン５０８、スピーカ５１０、ならびに骨伝導マイクロフォンと近接センサ５１２との組合せを含んでいる。
【００１３】
図６の断面図に示すように、骨伝導マイクロフォンと近接センサ５１２との組合せは、ユーザがこの電話器をユーザの耳に当てるときにこのユーザに接触するように設計された外部表面６０２を有する柔らかい、媒体（流体またはエラストマ）で充てんされたパッド６００から構成される。パッド６００は、スピーカ５１０からのサウンドの通路を提供する開口部の周囲でリングを形成し、このスピーカは、電話器５００の内部の開口部内、または開口部の直下に配置される。パッド６００は、この形状に限定されることなく、このパッドについては任意の形状を使用することができる。しかし、一般にパッド６００が、スピーカ５１０の左側および右側に対する部分を含む場合には、その結果、ユーザがこの電話器をどちらの耳に当てるかにかかわらず、パッド６００の少なくとも一部分がユーザに接触しているようにすることが好ましい。このパッドのこの部分は、外側が連続していてもよく、あるいは外側が分かれているがこの電話器の内部では互いに流体的に接続していてもよい。
【００１４】
電子圧力トランスデューサ６０４は、流体的にパッド６００中の流体またはエラストマに流体力学的に接続され、パッド６００中の流体の圧力を導体６０６上の電気信号に変換する。電子圧力トランスデューサ６０４の実施例は、ＭＥＭＳベースのトランスデューサを含んでいる。一般的に、圧力トランスデューサ６０４は、高周波数応答を有するべきである。
【００１５】
導体６０６上の電気信号は２つの成分、すなわちＤＣ成分とＡＣ成分とを含んでいる。パッド６００内の静的圧力が、電話器がユーザの耳からある距離にあるときよりも電話器がユーザの耳に押し付けられるときに高くなるので、このＤＣ成分は、近接センサ信号を提供する。この電気信号のＡＣ成分は、ユーザの頭蓋骨、顎または耳の骨の振動がパッド６００中の圧力の変動を生成し、それは圧力トランスデューサ６０４によってＡＣ電気信号に変換されるので、骨伝導マイクロフォン信号を提供する。一実施形態においては、この電気信号に対してフィルタが適用されて、この信号のＤＣ成分と最小周波数を超えるＡＣ成分とが通過できるようにされる。
【００１６】
骨伝導センサの２つの実施例について以上で説明してきたが、骨伝導センサについての他の形態も本発明の範囲内に含まれる。
【００１７】
図７は、本発明の一実施形態におけるモバイル・デバイス７００のブロック図である。モバイル・デバイス７００は、マイクロ・プロセッサ７０２、メモリ７０４、Ｉ／Ｏ（input/output：入出力）インターフェース７０６、および通信インターフェース７０８を含み、通信インターフェース７０８は、リモート・コンピュータ通信ネットワーク、または他のモバイル・デバイスと情報をやりとりする。一実施形態においては、前述の各コンポーネントは、互いに通信を行うために適切なバス７１０を介して結合される。
【００１８】
メモリ７０４に格納された情報が、モバイル・デバイス７００への一般的な電力が遮断状態にあるときに失われないように、メモリ７０４は、バッテリ・バックアップ・モジュール（図示せず）を有するＲＡＭ（random access memory：ランダム・アクセス・メモリ）などの不揮発性電子メモリとして実装することができる。あるいは、メモリ７０４のすべてまたは一部分は、揮発性または不揮発性の着脱可能メモリでもよい。メモリ７０４の一部分は、プログラム実行をするためのアドレス指定可能メモリとして割り付けられることが好ましいが、メモリ７０４の別の部分は、ディスク・ドライブ上のストレージをシミュレートするなどの、ストレージとして使用されることが好ましい。
【００１９】
メモリ７０４は、オペレーティング・システム７１２、アプリケーション・プログラム７１４、ならびにオブジェクト格納域７１６を含んでいる。動作中に、オペレーティング・システム７１２が、メモリ７０４からプロセッサ７０２によって実行されることが好ましい。好ましい一実施形態においては、オペレーティング・システム７１２は、マイクロソフトコーポレーションから市販されているＷＩＮＤＯＷ（登録商標）ＣＥブランドのオペレーティング・システムである。オペレーティング・システム７１２は、モバイル・デバイス用に設計され、１組の公開されたアプリケーション・プログラミング・インターフェースおよび方法を介してアプリケーション７１４が利用することができるデータベース機能を実装することが好ましい。オブジェクト格納域７１６中のオブジェクトは、この公開されたアプリケーション・プログラミング・インターフェースおよび方法に対する呼出しに少なくとも部分的に応答して、アプリケーション７１４およびオペレーティング・システム７１２によって保持される。
【００２０】
通信インターフェース７０８は、モバイル・デバイス７００が情報を送信し受信することができるようにする非常に多数のデバイスおよび技術を表している。モバイル電話器の実施形態においては、通信インターフェース７０８は、セルラ電話器ネットワークと対話して呼出しを行い受信することができるようにするセルラ電話器ネットワーク・インターフェースを表す。通信インターフェース７０８が表す可能性のある他のデバイスには、例えばいくつか名前を挙げれば、有線モデムおよび無線モデム、衛星レシーバ、ならびにブロードキャスト・チューナが含まれる。モバイル・デバイス７００は、コンピュータに直接に接続してそれとデータを交換することもできる。かかる場合においては、通信インターフェース７０８は、赤外線トランシーバ、シリアル通信接続またはパラレル通信接続とすることが可能であり、これらのすべては、ストリーミング情報を伝送する能力がある。
【００２１】
本発明を実装するプロセッサ７０２が実行するコンピュータ実行可能命令は、メモリ７０４に格納することができ、または通信インターフェース７０８を経由して受信することができる。これらの命令は、コンピュータ読取り可能媒体中で見出され、これは、限定されないが、コンピュータ・ストレージ媒体、および通信媒体を含むことが可能である。
【００２２】
コンピュータ・ストレージ媒体は、コンピュータ読取り可能命令、データ構造、プログラムモジュール、他のデータなどの情報を記憶するための任意の方法および技術の形で実装される揮発性と不揮発性の着脱可能媒体と着脱不能媒体を共に含んでいる。コンピュータ・ストレージ媒体には、それだけには限定されないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリまたは他のメモリ技術、ＣＤ−ＲＯＭ、ＤＶＤ（digital versatile disk：デジタル多用途ディスク）または他の光ディスク・ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージまたは他の磁気ストレージ・デバイス、あるいはそれを使用して所望の情報を記憶することができ、アクセスすることが可能な他の任意の媒体が含まれる。
【００２３】
通信媒体は一般に、搬送波や他の搬送メカニズムなどの被変調データ信号の形で、コンピュータ読取り可能命令、データ構造、プログラムモジュールまたは他のデータを実施し、任意の情報配信媒体を含んでいる。用語「被変調データ信号（modulated data signal）」は、その信号中で情報を符号化するようにして１つまたは複数のその特性が設定されまたは変更された信号を意味する。一例として、限定するものではないが、通信媒体は、有線ネットワークや直接配線接続などの有線媒体と、音響、ＲＦ、赤外線、他の無線媒体などの無線媒体とを含んでいる。以上のうちの任意の組合せもまた、コンピュータ読取り可能媒体の範囲内に含められるものとする。
【００２４】
入出力インターフェース７０６は、スピーカ７３０、（ユーザの親指または指で操作することができる、１つまたは１組のボタン、タッチ・スクリーン、トラック・ボール、マウス・パッド、ローラ、これらのコンポーネントの組合せなどの）ディジット入力部７３２、ディスプレイ７３４、空気伝導マイクロフォン７３６、代替センサ７３８、代替センサ７４０、および近接センサ７４２を含めて入力デバイスおよび出力デバイスの集まりに対するインターフェースを表している。一実施形態においては、代替センサ７３８および７４０は、骨伝導マイクロフォンである。以上にリストアップしたデバイスは、一例であり、必ずしもすべてがモバイル・デバイス７００上に存在する必要はない。さらに、少なくとも一実施形態においては、この代替センサと近接センサとは、近接センサ信号および代替センサ信号を提供する単一センサとして組み合わせられる。これらの信号は、別々の導電線上に出力することもでき、また１つの線上の信号の成分とすることもできる。さらに、他の入出力デバイスが、本発明の範囲内に含まれるモバイル・デバイス７００に取り付けられたり、またはこのモバイル・デバイス７００に備えられたりしている可能性もある。
【００２５】
図８は、本発明の実施形態におけるスピーチ処理システムの基本的なブロック図を提供している。図８において、話し手８００は、空気伝導マイクロフォン８０４、ならびに代替センサ８０６と代替センサ８０７のうちの一方または両方が検出するスピーチ信号８０２を生成する。代替センサの一実施例は、（顎骨など）ユーザの顔もしくは頭蓋の骨につけてまたは隣接して、あるいはユーザの耳に付けて配置され、このユーザが生成するスピーチに対応する、耳、頭蓋骨、または顎骨の振動をセンスする骨伝導センサである。代替センサの別の実施例は、ユーザの口に向けられ、ユーザの口の動きを検出する赤外線センサである。一部の実施形態においては、１つの代替センサしか存在しないことに留意されたい。空気伝導マイクロフォン８０４は、一般にオーディオ空気波を電気信号に変換するために使用されるタイプのマイクロフォンである。
【００２６】
空気伝導マイクロフォン８０４はまた、１つまたは複数のノイズ源８１０が生成するノイズ８０８を受け取る。代替センサのタイプおよびそのノイズ・レベルに応じてノイズ８０８はまた、代替センサ８０６または８０７によって検出することもできる。しかし、本発明の実施形態においては、代替センサ８０６および８０７は、一般に空気伝導マイクロフォン８０４よりも周囲ノイズの影響を受けることが少ない。したがって、代替センサ８０６および８０７がそれぞれ生成するこの代替センサ信号８１２および８１３は、一般に空気伝導マイクロフォン８０４が生成する空気伝導マイクロフォン信号８１４よりもノイズを少ししか含んでいない。
【００２７】
２つの骨伝導センサなどの、２つの代替センサが存在する場合には、センサ信号８１２および８１３は、比較／選択ユニット８１５に対してオプションとして供給することができる。比較／選択ユニット８１５は、これら２つの信号の強度を比較し、そのより強い方の信号をその出力８１７として選択する。この弱い方の信号は、さらに処理するために伝えられることはない。図１〜３のモバイル電話器などの、モバイル電話器の実施形態では、比較／選択ユニット８１５は通常、ユーザの皮膚と接触している骨伝導センサが生成する信号を選択することになる。したがって、図２においては骨伝導センサ１１４からの信号が選択されることになり、図３においては骨伝導センサ１１２からの信号が選択されることになる。
【００２８】
代替センサ信号８１７および空気伝導マイクロフォン信号８１４は、クリーン信号推定器（clean signal estimator）８１６に提供され、このクリーン信号の推定器は、以下で詳細に考察するプロセスを介してクリーン・スピーチ信号（clean speech signal）８１８を推定する。オプションとして、クリーン信号推定器８１６は、クリーン信号８１８を推定する際に使用される近接センサ８３２からの近接信号８３０も受け取る。上述したように、この近接センサは、一部の実施形態においては、代替センサ信号と組み合わせることもできる。クリーン信号の推定値８１８は、スピーチ・プロセス８２０に供給される。クリーン・スピーチ信号８１８は、フィルタされたタイム・ドメイン信号でも、あるいはフィーチャ・ドメイン・ベクトル（feature domain vector）でもよい。クリーン信号の推定値８１８が、タイム・ドメイン信号である場合、スピーチ・プロセス８２０は、聞き手（listener）、セルラ電話器のトランスミッタ、スピーチ符号化システム、またはスピーチ認識システムの形態を取ることができる。クリーン・スピーチ信号８１８がフィーチャ・ドメイン・ベクトルである場合には、スピーチ・プロセス８２０は、一般にスピーチ認識システムになる。
【００２９】
クリーン信号推定器８１６は、ノイズ推定値８１９も生成し、これはクリーン・スピーチ信号８１８中に存在する推定されたノイズを示す。ノイズ推定値８１９は、サイド・トーン生成器（side tone generator）８２１に供給され、このサイド・トーン生成器は、ノイズ推定値８１９に基づいてこのモバイル・デバイスのスピーカを介してトーンを生成する。特に、サイド・トーン生成器８２１は、ノイズ推定値８１９が増大するにつれて、このサイド・トーンのボリュームを増大させる。
【００３０】
このサイド・トーンは、ユーザがこの代替センサをうまく利用する最良の位置でこのモバイル・デバイスを保持しているかどうかを指し示すフィードバックを、このユーザに対して提供する。例えば、ユーザが、この骨伝導センサをこのユーザの頭に押し付けていない場合には、このクリーン信号の推定器は、弱い代替センサ信号を受け取ることになり、この弱い代替センサ信号のためにノイズの多いクリーン信号８１８を生成することになってしまう。この結果、サイド・トーンがより大きくなってしまう。ユーザがこの骨伝導センサをそのユーザの頭に接触させると、この代替センサ信号は改善され、それによってクリーン信号８１８中のノイズが低減し、このサイド・トーンのボリュームの低減することになる。したがって、ユーザは、このサイド・トーンにおけるフィードバックに基づいて、このクリーン信号中のノイズを最も低減させるには、どのように電話器を保持すべきかを速やかに学習することができる。
【００３１】
代替実施形態においては、このサイド・トーンは、近接センサ８３２からの近接センサ信号８３０に基づいて生成される。この近接センサが、この電話器がユーザの頭に接触しているか、または非常に近くにあることを示すときには、このサイド・トーン・ボリュームは、低いものとなる。この近接センサが、この電話器がユーザの頭から離れていることを示すときには、このサイド・トーンは、より大きなものとなる。
【００３２】
本発明は、空気伝導マイクロフォン信号８１４、代替センサ信号８１７、およびオプションとして近接センサ信号８３０を使用してクリーン・スピーチを推定するためのいくつかの方法およびシステムを利用している。１つのシステムでは、ステレオ・トレーニング・データ（stereo training data）を使用して、この代替センサ信号についての補正ベクトルをトレーニングする。これらの補正ベクトルが、テスト代替センサ・ベクトルに後で追加されるときには、これらは、クリーン信号ベクトルの推定値を提供する。このシステムのさらなる１つの拡張は、最初に時間変化する変動を追跡し、次いでこの情報をこの補正ベクトルの計算、およびこのクリーン・スピーチの推定に組み入れることである。
【００３３】
第２のシステムは、この補正ベクトルによって生成されるこのクリーン信号の推定値と、この空気伝導テスト信号中の現在のノイズの推定値をその空気伝導信号から差し引くことによって生成される推定値と、の間の補間を提供する。第３のシステムは、この代替センサ信号を使用してこのスピーチ信号のピッチ（pitch）を推定し、次いでこの推定されたピッチを使用してこのクリーン・スピーチ信号についての推定値を特定する。これらの各システムについて以下で別々に考察している。
【００３４】
ステレオ補正ベクトルのトレーニング
図９および図１０は、補正ベクトルを利用してクリーン・スピーチの推定値を生成する本発明の２つの実施形態についてのステレオ補正ベクトルをトレーニングするためのブロック図および流れ図を提供するものである。
【００３５】
補正ベクトルを特定するための方法は、図１０のステップ１０００から開始され、このステップでは、「クリーンな」空気伝導マイクロフォン信号が、フィーチャ・ベクトルのシーケンスに変換される。これを行うために、図９の話し手９００は、空気伝導マイクロフォン９１０に向かって話をし、このマイクロフォンが、そのオーディオ波を電気信号へと変換する。次いで、この電気信号は、アナログ・デジタル・コンバータ９１４によってサンプリングされてデジタル値のシーケンスを生成し、このデジタル値は、フレーム・コンストラクタ（frame constructor）９１６によって値のフレーム（frames of values）にグループ化される。一実施形態においては、Ａ／Ｄコンバータ９１４は、このアナログ信号を１６ｋＨｚ、サンプル当たり１６ビットでサンプリングし、それによって毎秒３２キロ・バイトのスピーチ・データが作成され、フレーム・コンストラクタ９１６は、２５ミリ秒相当のデータを含む新しいフレームを１０ミリ秒ごとに生成する。
【００３６】
フレーム・コンストラクタ９１６が提供する各データ・フレームは、フィーチャ抽出器（feature extractor）９１８によってフィーチャ・ベクトルに変換される。一実施形態においては、フィーチャ抽出器９１８は、ケプストラル・フィーチャ（cepstral feature）を形成する。かかるフィーチャの実施例は、ＬＰＣ派生ケプストラム（LPC derived cepstrum）、およびメル周波数ケプストラム係数（Mel-Frequency Cepstrum Coefficients）を含んでいる。本発明と共に使用できる可能性のある他のフィーチャ抽出モジュールの実施例は、ＬＰＣ（Linear Predictive Coding：線形予測符号化）、ＰＬＰ（Perceptive Linear Prediction：知覚線形予測）、および聴覚モデル・フィーチャ抽出（Auditory model feature extraction）を実施するためのモジュールを含んでいる。本発明は、これらのフィーチャ抽出モジュールに限定されないこと、および本発明の文脈の範囲内で他のモジュールを使用できることに留意されたい。
【００３７】
図１０のステップ１００２において、代替センサ信号は、フィーチャ・ベクトルに変換される。ステップ１００２のこの変換は、ステップ１０００の変換後に行われるものとして示しているが、本発明においてはステップ１０００のステップ以前、ステップ中、またはステップ以後にこの変換の任意の部分を実施することもできる。ステップ１００２のこの変換は、ステップ１０００について以上で説明したプロセスと同様のプロセスを介して実施される。
【００３８】
図９の実施形態においては、代替センサ９０２および９０３が、骨の振動や顔の動きなど、話し手９００によるスピーチの生成に関連付けられる物理イベントを検出すると、このプロセスが、開始される。代替センサ９０２および９０３は、このモバイル・デバイス上で間隔をあけて配置されているので、これらがスピーチの生成に関連して同じ値を検出しないことになる。代替センサ９０２および９０３は、この物理イベントをアナログ電気信号に変換する。これらの電気信号は、比較／選択ユニット９０４に供給され、このユニットは、これら２つの信号のうちの強い方を識別し、この強い方の信号をその出力に提供する。一部の実施形態においては、１つの代替センサしか使用されないことに留意されたい。かかるケースにおいては、比較／選択ユニット９０４は、存在しない。
【００３９】
この選択されたアナログ信号は、アナログ・デジタル・コンバータ９０５によってサンプリングされる。Ａ／Ｄコンバータ９０５についてのサンプリング特性は、Ａ／Ｄコンバータ９１４について以上で説明した特性と同じである。Ａ／Ｄコンバータ９０５が提供するサンプルは、フレーム・コンストラクタ９０６によってフレームに集められ、このフレーム・コンストラクタ９０６は、フレーム・コンストラクタ９１６と同様にして動作する。次いで、このサンプル・フレームは、フィーチャ抽出器９０８によってフィーチャ・ベクトルに変換され、このフィーチャ抽出器９０８は、フィーチャ抽出器９１８と同じフィーチャ抽出方法を使用する。
【００４０】
この代替センサ信号および空気伝導信号についてのフィーチャ・ベクトルは、図９におけるノイズ低減トレーナ（trainer）９２０に対して供給される。図１０のステップ１００４において、ノイズ低減トレーナ９２０は、この代替センサ信号についてのフィーチャ・ベクトルを混合成分（mixture components）にグループ分けする。このグループ分けは、最尤トレーニング技法（maximum likelihood training technique）を使用して同様なフィーチャ・ベクトルを一緒にグループ分けすることにより、あるいはこのスピーチ信号の一時的セクションを表すフィーチャ・ベクトルを一緒にグループ分けすることによって行うことができる。このフィーチャ・ベクトルをグループ分けするための他の技法を使用することができること、および以上にリストアップされた２つの技法は、実施例として提供されているにすぎないことが当業者には理解されよう。
【００４１】
次いで、ノイズ低減トレーナ９２０は、図１０のステップ１００８において、混合成分ｓごとに補正ベクトルｒｓを決定する。一実施形態においては、混合成分ごとのこの補正ベクトルは、最尤判断基準（maximum likelihood criterion）を使用して決定される。この技法の下では、この補正ベクトルは次式のように計算される。
【００４２】
【数１】
0004796309.tif 000002
【００４３】
式中、ｘｔは、フレームｔについての空気伝導ベクトルの値であり、ｂｔは、フレームｔについての代替センサ・ベクトルの値である。式１において次式が成立する。
【００４４】
【数２】
0004796309.tif 000003
【００４５】
式中、ｐ（ｓ）は、単に混合成分数の逆数であり、ｐ（ｂｔ｜ｓ）は、次式のガウス分布としてモデル化され、  
ｐ（ｂｔ｜ｓ）＝Ｎ（ｂｔ；μｂ，Γｂ）            式３  
ここで、この平均値μｂおよび分散Γｂは、ＥＭ（Expectation Maximization：期待値最大化）アルゴリズムを使用してトレーニングされ、ここで各反復は、以下のステップから構成される。  
γｓ（ｔ）＝ｐ（ｓ｜ｂｔ）                      式４
【００４６】
【数３】
0004796309.tif 000004
【００４７】
【数４】
0004796309.tif 000005
【００４８】
式４は、このＥＭアルゴリズムにおけるＥ−ステップであり、このアルゴリズムでは、以前に推定済みのパラメータが使用される。式５および式６は、Ｍ−ステップであり、これは、このＥ−ステップの結果を使用してこれらのパラメータを更新する。
【００４９】
このアルゴリズムのこのＥ−ステップおよびＭ−ステップは、このモデル・パラメータについての安定な値が決定されるまで、反復される。次いで、これらのパラメータを使用してこの補正ベクトルを形成する式１が評価される。次いで、これらの補正ベクトルおよびモデル・パラメータは、ノイズ低減パラメータ・ストレージ９２２に格納される。
【００５０】
ステップ１００８において混合成分ごとに補正ベクトルが決定されると、本発明のこのノイズ低減システムをトレーニングするプロセスが完了する。混合部ごとに補正ベクトルが決定されると、このベクトルを本発明のノイズ低減技法中で使用することができる。この補正ベクトルを使用した２つの別々のノイズ低減技法について以下で考察する。
【００５１】
補正ベクトルおよびノイズ推定値を使用したノイズ低減
補正ベクトルおよびノイズ推定値に基づいたノイズの多いスピーチ信号中のノイズを低減するシステムおよび方法が、それぞれ図１１のブロック図および図１２の流れ図に示されている。
【００５２】
ステップ１２００において、空気伝導マイクロフォン１１０４が検出するオーディオ・テスト信号は、フィーチャ・ベクトルに変換される。マイクロフォン１１０４が受け取るこのオーディオ・テスト信号は、話し手１１００からのスピーチと、１つまたは複数のノイズ源１１０２からの付加的ノイズとを含んでいる。マイクロフォン１１０４が検出するこのオーディオ・テスト信号は、電気信号に変換され、この信号は、アナログ・デジタル・コンバータ１１０６に供給される。
【００５３】
Ａ／Ｄコンバータ１１０６は、マイクロフォン１１０４からのアナログ信号を一連のデジタル値に変換する。いくつかの実施形態においては、Ａ／Ｄコンバータ１１０６は、このアナログ信号を１６ｋＨｚで、サンプル当たり１６ビットでサンプリングし、それによって毎秒３２キロバイトのスピーチ・データが生成される。これらのデジタル値は、フレーム・コンストラクタ１１０８に供給され、このフレーム・コンストラクタは、一実施形態において、これらの値を１０ミリ秒離れて開始される２５ミリ秒のフレームにグループ分けする。
【００５４】
フレーム・コンストラクタ１１０８が生成するデータ・フレームは、フィーチャ抽出器１１１０に供給され、このフィーチャ抽出器は、各フレームからフィーチャを抽出する。一実施形態においては、このフィーチャ抽出器は、これらの補正ベクトルをトレーニングするために使用したフィーチャ抽出器９０８および９１８とは異なっている。特に、この実施形態においては、フィーチャ抽出器１１１０は、ケプストラル値（cepstral value）の代わりにパワー・スペクトル値（power spectrum value）を生成する。この抽出されたフィーチャは、クリーン信号推定器１１２２、スピーチ検出ユニット１１２６、およびノイズ・モデル・トレーナ１１２４に供給される。
【００５５】
ステップ１２０２において、話し手１１００によるスピーチの生成に関連する、骨の振動や顔の動きなどの物理イベントは、フィーチャ・ベクトルに変換される。図１２では別のステップとして示されているが、これらのステップの一部分は、ステップ１２００と同じ時刻に行うこともできることが、当業者には理解されよう。ステップ１２０２中に、この物理イベントは、代替センサ１１１２および１１１４のうちの一方または両方によって検出される。代替センサ１１１２および１１１４は、この物理イベントに基づいてアナログ電気信号を生成する。このアナログ信号は、比較／選択ユニット１１１５に供給され、このユニットは、この大きい方の信号をその出力として選択する。一部の実施形態においては、１つの代替センサしか提供されないことに留意されたい。かかる実施形態においては、比較／選択ユニット１１１５は、必要とされない。
【００５６】
この選択済みのアナログ信号は、アナログ・デジタル・コンバータ１１１６によってデジタル信号に変換され、この結果得られるデジタル・サンプルは、フレーム・コンストラクタ１１１８によってフレームにグループ分けされる。一実施形態においては、アナログ・デジタル・コンバータ１１１６およびフレーム・コンストラクタ１１１８は、アナログ・デジタル・コンバータ１１０６およびフレーム・コンストラクタ１１０８と同様にして動作する。
【００５７】
複数のデジタル値から成るフレームは、フィーチャ抽出器１１２０に供給され、このフィーチャ抽出器は、この補正ベクトルをトレーニングするために使用された同じフィーチャ抽出技法を使用する。前述のように、かかるフィーチャ抽出モジュールの実施例は、線形予測符号化（Linear Predictive Coding：ＬＰＣ）、ＬＰＣ派生ケプストラム（LPC derived cepstrum）、知覚線形予測（Perceptive Linear Prediction：ＰＬＰ）、聴覚モデル・フィーチャ抽出、およびＭＦＣＣ（Mel-Frequency Cepstrum Coefficient：メル周波数ケプストラム係数）フィーチャ抽出を実施するためのモジュールを含んでいる。しかし、多くの実施形態においては、ケプストラル・フィーチャ（cepstral feature）を生成するフィーチャ抽出技法が使用される。
【００５８】
このフィーチャ抽出モジュールは、このスピーチ信号の個々のフレームにそれぞれ関連付けられるフィーチャ・ベクトルのストリームを生成する。このフィーチャ・ベクトルのストリームは、クリーン信号推定器１１２２に供給される。
【００５９】
フレーム・コンストラクタ１１１８からの複数の値から成るフレームは、また、フィーチャ抽出器１１２１にも供給され、一実施形態において、このフィーチャ抽出器は、各フレームのエネルギー値を抽出する。フレームごとのこのエネルギー値は、スピーチ検出ユニット１１２６に供給される。
【００６０】
ステップ１２０４において、スピーチ検出ユニット１１２６は、この代替センサ信号のエネルギー・フィーチャを使用してスピーチがいつ存在する可能性があるかを決定する。この情報は、ノイズ・モデル・トレーナ１１２４に渡され、このノイズ・モデル・トレーナは、ステップ１２０６においてスピーチが存在しない期間中にこのノイズをモデル化しようと試みる。
【００６１】
一実施形態においては、スピーチ検出ユニット１１２６は、まずフレーム・エネルギー値のシーケンスを探索して、このエネルギーのピークを見出す。次いで、このスピーチ検出ユニットは、このピークの後の谷を探索する。この谷のエネルギーは、エネルギー・セパレータｄと呼ばれる。次いで、あるフレームがスピーチを含んでいるかどうかを決定するために、このフレーム・エネルギーｅをこのエネルギー・セパレータｄで割った比ｋが、ｋ＝ｅ／ｄとして決定される。次いで、このフレームについてのスピーチ信頼度（speech confidence）ｑが、次式として決定される。
【００６２】
【数５】
0004796309.tif 000006
【００６３】
式中、αは、２つの状態間の遷移を定義し、一実装形態においては２に設定される。最終的に、（それ自体も含めて）その５個の隣接フレームの平均信頼度値が、このフレームについての最終的な信頼度値として使用される。
【００６４】
一実施形態においては、スピーチが存在するかどうかを決定するのに固定しきい値が使用され、その結果、この信頼度値がそのしきい値を超過する場合に、このフレームがスピーチを含んでいると考え、この信頼度値がそのしきい値を超過しない場合には、このフレームがスピーチを含んでいないと考える。一実施形態においては、０．１のしきい値が使用される。
【００６５】
スピーチ検出ユニット１１２６によって非スピーチ・フレームが検出されると、ノイズ・モデル・トレーナ１１２４は、ステップ１２０６においてノイズ・モデル１１２５を更新する。一実施形態においては、ノイズ・モデル１１２５は、平均値μｎおよび分散Σｎを有するガウス・モデルである。このモデルは、非スピーチの最新フレームの移動ウィンドウに基づいている。ウィンドウ中の非スピーチ・フレームからこの平均値と分散を決定するための技法は、当技術分野においてよく知られている。
【００６６】
パラメータ・ストレージ９２２およびノイズ・モデル１１２５中の補正ベクトルおよびモデル・パラメータは、この代替センサについてのフィーチャ・ベクトルｂ、およびこのノイズの多い空気伝導マイクロフォン信号についてのフィーチャ・ベクトルＳｙと共にクリーン信号推定器１１２２に供給される。ステップ１２０８において、クリーン信号推定器１１２２は、代替センサ・フィーチャ・ベクトル、補正ベクトル、およびこの代替センサについてのモデル・パラメータに基づいてこのクリーン・スピーチ信号についての初期値を推定する。詳細には、このクリーン信号のこの代替センサ推定値は、次式のように計算される。
【００６７】
【数６】
0004796309.tif 000007
【００６８】
式中、
【００６９】
【数７】
0004796309.tif 000008
【００７０】
は、ケプストラル・ドメイン（cepstral domain）中のクリーン信号の推定値であり、ｂは、この代替センサ・フィーチャ・ベクトルであり、ｐ（ｓ｜ｂ）は、上記の式２を使用して決定され、ｒｓは、混合成分ｓについての補正ベクトルである。したがって、式８中のこのクリーン信号の推定値は、補正ベクトルの重み付けされた和にこの代替センサ・フィーチャ・ベクトルを加えることによって形成され、ここで、この重みは、この代替センサ・フィーチャ・ベクトルを仮定した、混合成分の確率に基づく重みである。
【００７１】
ステップ１２１０において、この初期の代替センサのクリーン・スピーチの推定値は、この推定値を、このノイズの多い空気伝導マイクロフォン・ベクトルおよびこのノイズ・モデルから形成されるクリーンなスピーチの推定値と結合することによって絞り込み（リファイン）がされる。この結果、絞り込まれたクリーン・スピーチ推定値１１２８がもたらされる。この初期のクリーン信号の推定値のケプストラル値（cepstral value）をこのノイズの多い空気伝導マイクロフォンのパワー・スペクトル・フィーチャ・ベクトル（power spectrum feature vector）と結合するために、このケプストラム値は、次式を使用してこのパワー・スペクトル・ドメインに変換される。
【００７２】
【数８】
0004796309.tif 000009
【００７３】
式中、Ｃ−１は、逆離散コサイン変換であり、
【００７４】
【数９】
0004796309.tif 000010
【００７５】
は、この代替センサに基づくクリーン信号のパワー・スペクトル推定値である。
【００７６】
この代替センサからの初期のクリーン信号の推定値が、パワー・スペクトル・ドメインに配置された後に、この初期のクリーン信号の推定値は、次式のようにこのノイズの多い空気伝導マイクロフォン・ベクトルおよびこのノイズ・モデルと結合することができる。
【００７７】
【数１０】
0004796309.tif 000011
【００７８】
式中、
【００７９】
【数１１】
0004796309.tif 000012
【００８０】
は、このパワー・スペクトル・ドメイン中の絞り込まれたクリーン信号の推定値であり、Ｓｙは、このノイズの多い空気伝導マイクロフォン・フィーチャ・ベクトルであり、（μｎ，Σｎ）は、この以前のノイズ・モデル（１１２４参照）の平均値および分散であり、
【００８１】
【数１２】
0004796309.tif 000013
【００８２】
は、この代替センサに基づいた初期のクリーン信号の推定値であり、Σｘ｜ｂは、この代替センサの測定値を与えたクリーン・スピーチについての条件付き確率分布の共分散マトリックスである。Σｘ｜ｂは、以下のように計算することができる。ここで、Ｊを、式９の右辺にあるファンクションのヤコビアンを示すものとし、Σを
【００８３】
【数１３】
0004796309.tif 000014
【００８４】
の共分散マトリックスであるものとする。この場合には、
【００８５】
【数１４】
0004796309.tif 000015
【００８６】
の共分散は、次式で表される。
【００８７】
Σｘ｜ｂ＝ＪΣＪＴ    式１１
簡略化された実施形態においては、式１０は、以下の式のように書き換えられる。
【００８８】
【数１５】
0004796309.tif 000016
【００８９】
式中、α（ｆ）は、時刻と周波数帯域の両方のファンクションである。例えば、この代替センサが３ＫＨｚまでの帯域幅を有する場合、α（ｆ）は、３ＫＨｚより下の周波数帯域では０であるように選択される。基本的に、この代替センサからの初期のクリーン信号の推定値は、低い周波数帯域では信頼される。
【００９０】
高い周波数帯域では、この代替センサからの初期のクリーン信号の推定値は、信頼可能なものではない。直感的には、このノイズが現在のフレームにおける周波数帯域について小さいときには、この周波数帯域についてより多くの情報がこの空気伝導マイクロフォンから取得されるようにするために、大きなα（ｆ）が選択される。そうでない場合には小さなα（ｆ）を選択することによって、この代替センサからのより多くの情報が使用される。一実施形態においては、この代替センサからの初期のクリーン信号の推定値のエネルギーを使用して周波数帯域ごとのノイズ・レベルが決定される。ここで、Ｅ（ｆ）が、周波数帯域ｆについてのこのエネルギーを示すものとし、Ｍ＝ＭａｘｆＥ（ｆ）とする。ｆのファンクションとしてのα（ｆ）が、次式のように定義されるものとする。
【００９１】
【数１６】
0004796309.tif 000017
【００９２】
ここで、線形補間が３Ｋから４Ｋまでの移行に対して使用されてα（ｆ）がなめらかになるようにしている。
【００９３】
一実施形態においては、ユーザの頭に対するこのモバイル・デバイスの近接度が、α（ｆ）の決定に組み込まれる。詳細には、この近接センサ８３２が最大距離値Ｄおよび現在の距離値ｄを生成する場合、式１３は、次式のように修正することができる。
【００９４】
【数１７】
0004796309.tif 000018
【００９５】
式中で、βは、ゼロと１の間にあり、この空気伝導マイクロフォンについてのノイズ・モデル、またはこの代替センサについての補正ベクトルが、このクリーン信号の最良の推定値を提供することになるかどうかについての最良の指示を、エネルギーまたは近接度のどちらのファクタが提供すると思われるかに基づいてこのβの値が選択される。
【００９６】
βがゼロに設定される場合には、α（ｆ）は、もはや周波数依存性がなく、単に次式のようになる。
【００９７】
【数１８】
0004796309.tif 000019
【００９８】
このパワー・スペクトル・ドメインにおけるこの絞り込まれたクリーン信号の推定値を使用してノイズの多い空気伝導マイクロフォン信号をフィルタするウィーナ・フィルタ（Wiener filter）を構築することができる。詳細には、このウィーナ・フィルタＨは、次式のように設定される。
【００９９】
【数１９】
0004796309.tif 000020
【０１００】
次いで、このフィルタをこのタイム・ドメインのノイズの多い空気伝導マイクロフォン信号に対して適用して、ノイズ低減された、またはクリーン・タイム・ドメイン信号を生成することができる。このノイズ低減された信号を聞き手に対して提供することができ、またスピーチ認識器に適用することもできる。
【０１０１】
式１２は、２つのファクタの重み付けされた和となる改良されたクリーン信号の推定値を提供し、このファクタの一方は、代替センサからのクリーン信号の推定値であることに留意されたい。この重み付けされた和を拡張して追加の代替センサについての追加のファクタを含めることができる。したがって、複数の代替センサを使用してこのクリーン信号の独立な推定値を生成することができる。次いで、式１２を使用してこれらの複数の推定値を結合することができる。
【０１０２】
一実施形態においては、この改良されたクリーン信号の推定値中のノイズも推定される。一実施形態においては、このノイズは、次式で決定される共分散を有する平均値ゼロのガウシアン（Gaussian）として取り扱われる。
【０１０３】
【数２０】
0004796309.tif 000021
【０１０４】
式中で、Σｎは、この空気伝導マイクロフォン中のノイズの分散であり、Σｘ｜ｂは、この代替センサからの推定値中のノイズの分散である。特に、この代替センサが皮膚表面と良好な接触をしない場合、Σｘ｜ｂは、より大きなものとなる。この接触がいかに良好かについては、追加の近接センサを使用するか、またはこの代替センサを分析することによって評価することができる。後者では、代替センサの接触が良好な場合にこの代替センサが（４ＫＨｚよりも高い）高周波数応答をほとんど生じないことを観察することによって、我々は、高周波数エネルギーに対する（３ＫＨｚよりも低い）低周波数エネルギーの比率を使用して接触品質を評価する。この比率が高くなればなるほど、この接触は、さらに良好になる。
【０１０５】
一部の実施形態においては、このクリーン信号の推定値中のノイズを使用して図６に関連して以上で考察したようなサイド・トーンを生成する。この絞り込まれたクリーン信号の推定値中のノイズが増大するにつれて、このサイド・トーンのボリュームが増大して、のユーザがこの代替センサをより良好な位置に配置するように働きかけ、その結果、この改良プロセスが改善される。例えば、このサイド・トーンは、ユーザがこの骨伝導センサをユーザの頭に押し付けるように働きかけ、その結果、この改良プロセスが改善される。
【０１０６】
ノイズ推定値のない補正ベクトルを使用したノイズ低減
図１３は、本発明における、クリーン・スピーチ値を推定する代替システムのブロック図を提供している。この図１３のシステムは、このクリーン・スピーチ値の推定値が空気伝導マイクロフォンまたはノイズ・モデルの必要性なしに形成される点を除いて、図１１のシステムと同様である。
【０１０７】
図１３において、スピーチを行う話し手１３００に関連する物理イベントは、図１１の代替センサ１１１４、アナログ・デジタル・コンバータ１１１６、フレーム・コンストラクタ１１１８およびフィーチャ抽出器１１２０について以上で考察した方法と同様な方法で、代替センサ１３０２、アナログ・デジタル・コンバータ１３０４、フレーム・コンストラクタ１３０６、およびフィーチャ抽出器１３０８によってフィーチャ・ベクトルに変換される。１つの代替センサしか図１３には示されていないが、図１１について以上で考察したように、比較／選択ユニットを追加して、図１１に示すように追加の代替センサを使用することもできる。
【０１０８】
フィーチャ抽出器１３０８からのこのフィーチャ・ベクトルと、ノイズ低減パラメータ９２２が、クリーン信号の推定器１３１０に供給され、この推定器は、上記の式８および９を使用して、クリーン信号値１３１２の推定値
【０１０９】
【数２１】
0004796309.tif 000022
【０１１０】
を決定する。
【０１１１】
パワー・スペクトル・ドメインにおけるこのクリーン信号の推定値
【０１１２】
【数２２】
0004796309.tif 000023
【０１１３】
を使用して、ノイズの多い代替センサ信号をフィルタするウィーナ・フィルタを構築することができる。詳細には、このウィーナ・フィルタＨは、次式のように設定される。
【０１１４】
【数２３】
0004796309.tif 000024
【０１１５】
次いで、このフィルタをタイム・ドメインのノイズの多い代替センサ信号に対して適用して、ノイズ低減された、またはクリーン信号を生成することができる。このノイズ低減された信号を聞き手に提供することもでき、またスピーチ認識器に適用することもできる。
【０１１６】
あるいは、式８中で計算される、このケプストラル・ドメイン（cepstral domain）におけるクリーン信号の推定値
【０１１７】
【数２４】
0004796309.tif 000025
【０１１８】
は、スピーチ認識システムに対して直接に適用することもできる。
【０１１９】
ピッチ追跡（pitch tracking）を使用したノイズ低減
クリーン・スピーチ信号の推定値を生成するための代替技法を、図１４のブロック図と図１５の流れ図に示している。特に、図１４および１５の実施形態は、代替センサを使用してそのスピーチ信号についてのピッチを識別し、次いでこのピッチを使用してノイズの多い空気伝導マイクロフォン信号をハーモニッック成分とランダム成分に分解することによってクリーン・スピーチの推定値を決定する。例えば、このノイズの多い信号は、次式のように表される。  
ｙ＝ｙｈ＋ｙｒ                                式１８  
式中でｙはノイズの多い信号であり、ｙｈはこのハーモニック成分であり、ｙｒはこのランダム成分である。このハーモニック成分とランダム成分の重み付けされた和を使用して、ノイズ低減されたスピーチ信号を表すノイズ低減されたフィーチャ・ベクトルを形成する。
【０１２０】
一実施形態においては、このハーモニック成分は、調和的（harmonically）に関連した正弦波の和として次式のようにモデル化される。
【０１２１】
【数２５】
0004796309.tif 000026
【０１２２】
式中で、ｗ０は基本周波数またはピッチ周波数であり、Ｋは、この信号中のハーモニクスの総数である。
【０１２３】
したがって、このハーモニック成分を特定するためには、このピッチ周波数の推定値および振幅パラメータ｛ａ１ａ２．．．ａｋｂ１ｂ２．．．ｂｋ｝を決定する必要がある。
【０１２４】
ステップ１５００において、ノイズの多いスピーチ信号が、収集され、デジタル・サンプルに変換される。これを行うために、空気伝導マイクロフォン１４０４は、話し手１４００からのオーディオ波、および１つまたは複数の付加的なノイズ源１４０２を電気信号に変換する。次いで、この電気信号をアナログ・デジタル・コンバータ１４０６によってサンプリングしてデジタル値のシーケンスを生成する。一実施形態においては、Ａ／Ｄコンバータ１４０６は、このアナログ信号を１６ｋＨｚで、サンプル当たり１６ビットでサンプリングし、それによって毎秒３２キロバイトのスピーチ・データを生成する。ステップ１５０２において、このデジタル・サンプルは、フレーム・コンストラクタ１４０８によってフレームにグループ分けされる。一実施形態においては、フレーム・コンストラクタ１４０８は、２５ミリ秒相当のデータを含む新しいフレームを１０ミリ秒ごとに生成する。
【０１２５】
ステップ１５０４において、スピーチの生成に関連付けられる物理イベントが、代替センサ１４４４によって検出される。この実施形態においては、骨伝導センサなど、ハーモニック成分を検出することが可能な代替センサが、代替センサ１４４４として使用するのに最も適している。ステップ１５０４は、ステップ１５００とは別のものとして示されているが、これらのステップは、同時に実行することもできることが当業者には理解されるであろうことに留意されたい。さらに、１つの代替センサしか図１４には示されていないが、図１１について以上で考察したように、比較／選択ユニットを追加して、図１１に示すように追加の代替センサを使用することもできる。
【０１２６】
代替センサ１４４４が生成するこのアナログ信号は、アナログ・デジタル・コンバータ１４４６によってデジタル・サンプルへと変換される。次いで、このデジタル・サンプルは、ステップ１５０６において、フレーム・コンストラクタ１４４８によってフレームにグループ分けされる。
【０１２７】
ステップ１５０８において、ピッチ追跡器１４５０が、この代替センサ信号のフレームを使用してこのスピーチのピッチ周波数または基本周波数を識別する。
【０１２８】
このピッチ周波数についての推定値は、任意数の使用可能な追跡システムを使用して決定することができる。これらのシステムの多くでは、候補ピッチを使用してこの代替センサ信号のセグメントの中心間の可能性のあるスペーシングを識別する。各候補ピッチについて、相関が、スピーチの連続するセグメント間で決定される。一般的に、最良の相関をもたらす候補ピッチは、このフレームのピッチ周波数となるはずである。一部のシステムにおいては、追加の情報を使用してこの信号エネルギーおよび／または予想されたピッチ・トラック（pitch track）など、このピッチの選択を絞り込む。
【０１２９】
ピッチ追跡器１４５０からのピッチの推定値を仮定すると、ステップ１５１０において、この空気伝導信号ベクトルは、ハーモニック成分とランダム成分に分解することができる。そのようにするために、式１９は、次式のように書き換えられる。  
ｙ＝Ａｂ                                    式２０  
式中、ｙは、このノイズの多いスピーチ信号のＮ個のサンプルのベクトルであり、Ａは、次式で与えられるＮ×２Ｋのマトリックスであり、  
Ａ＝［ＡｃｏｓＡｓｉｎ］                        式２１  
諸要素は、次式で与えられ、  
Ａｃｏｓ（ｋ，ｔ）＝ｃｏｓ（ｋｗ０ｔ）      Ａｓｉｎ（ｋ，ｔ）＝ｓｉｎ（ｋｗ０ｔ）    式２２  
またｂは、次式で与えられる２Ｋ×１のベクトルである。  
ｂＴ＝［ａ１ａ２．．．ａｋｂ１ｂ２．．．ｂｋ］      式２３  
この場合には、この振幅係数についての最小自乗解法は、次式となる。
【０１３０】
【数２６】
0004796309.tif 000027
【０１３１】
ノイズの多いスピーチ信号のハーモニック成分についての推定値は、
【０１３２】
【数２７】
0004796309.tif 000028
【０１３３】
を使用して次式のように決定することができる。
【０１３４】
【数２８】
0004796309.tif 000029
【０１３５】
次いで、このランダム成分の推定値は、次式のように計算される。  
ｙｒ＝ｙ−ｙｈ                                式２６
したがって、以上の式２０〜２６を使用して、ハーモニック分解ユニット１４１０は、ハーモニック成分のサンプル・ベクトル１４１２、ｙｈと、ランダム成分のサンプル・ベクトル１４１４、ｙｒとを生成することが可能となる。
【０１３６】
このフレームのサンプルが、ハーモニック・サンプルおよびランダム・サンプルに分解された後に、ステップ１５１２において、スケーリング・パラメータまたは重みがこのハーモニック成分について決定される。このスケーリング・パラメータは、以下でさらに考察するように、ノイズ低減されたスピーチ信号の計算の一部分として使用される。一実施形態においては、このスケーリング・パラメータは、次式のように計算される。
【０１３７】
【数２９】
0004796309.tif 000030
【０１３８】
式中で、αｈは、このスケーリング・パラメータであり、ｙｈ（ｉ）は、ハーモニック成分サンプルｙｈのベクトル中のｉ番目のサンプルであり、ｙ（ｉ）は、このフレームについてのこのノイズの多いスピーチ信号のｉ番目のサンプルである。式２７において、分子は、ハーモニック成分の各サンプルのエネルギーの和であり、分母は、このノイズの多いスピーチ信号の各サンプルのエネルギーの和である。したがって、このスケーリング・パラメータは、このフレームの合計エネルギーに対するこのフレームのハーモニック・エネルギーの比率である。
【０１３９】
代替実施形態においては、このスケーリング・パラメータは、確率的な有声−無声検出ユニットを使用して設定される。こうしたユニットは、特定のスピーチ・フレームが、有声である確率を提供しており、これは、ボーカル・コード（vocal cord：声帯）が、無声の場合よりもフレーム中において鳴り響いていることを意味する。このフレームがスピーチの有声領域からのものであることを示すこの確率は、このスケーリング・パラメータとして直接に使用することができる。
【０１４０】
このスケーリング・パラメータが決定された後に、またはこのスケーリング・パラメータが決定される間に、ステップ１５１４において、ハーモニック成分のサンプル・ベクトルとランダム成分のサンプル・ベクトルについてのＭｅｌスペクトルが決定される。これは、ＤＦＴ（Discrete Fourier Transform：離散フーリエ変換）１４１８に各サンプル・ベクトルを渡して、ハーモニック成分周波数値ベクトル１４２２とランダム成分周波数値ベクトル１４２０を生成するものである。次いで、これらの周波数値ベクトルによって表されるパワー・スペクトルが、Ｍｅｌスケールに沿って適用される一連の重み付け三角関数を使用して、Ｍｅｌ重み付けユニット１４２４によって平滑化される。この結果、ハーモニック成分Ｍｅｌスペクトル・ベクトル１４２８、Ｙｈと、ランダム成分Ｍｅｌスペクトル・ベクトル１４２６、Ｙｒとがもたらされる。
【０１４１】
ステップ１５１６において、このハーモニック成分とランダム成分についてのＭｅｌスペクトルが重み付けされた和として結合されてノイズ低減されたＭｅｌスペクトルの推定値を形成する。このステップは、以上で決定されたスケーリング・ファクタを使用して重み付け和計算器１４３０によって次式において実施される。
【０１４２】
【数３０】
0004796309.tif 000031
【０１４３】
式中、
【０１４４】
【数３１】
0004796309.tif 000032
【０１４５】
は、このノイズ低減されたＭｅｌスペクトルの推定値であり、Ｙｈ（ｔ）は、このハーモニック成分Ｍｅｌスペクトルであり、Ｙｒ（ｔ）は、ランダム成分Ｍｅｌスペクトルであり、αｈ（ｔ）は、以上で決定されたスケーリング・ファクタであり、αｒは、一実施形態において０．１に等しく設定されるこのランダム成分についての固定スケーリング・ファクタであり、またこの時刻指標ｔは、このハーモニック成分についてのスケーリング・ファクタがフレームごとに決定されることを強調するために使用している、ただし、このランダム成分についてのスケーリング・ファクタは、固定されたままであるが。他の実施形態においては、このランダム成分についてのスケーリング・ファクタは、フレームごとに決定することもできることに留意されたい。
【０１４６】
ステップ１５１６においてこのノイズ低減されたＭｅｌスペクトルが計算された後に、ステップ１５１８において、このＭｅｌスペクトルのログ１４３２が決定され、次いでこれは離散コサイン変換（Discrete Cosine Transform）１４３４に対して加えられる。これによって、ノイズ低減されたスピーチ信号を表すＭｅｌ周波数ケプストラル係数（ＭＦＣＣ）フィーチャ・ベクトル１４３６が生成される。
【０１４７】
別々のノイズ低減されたＭＦＣＣフィーチャ・ベクトルが、このノイズの多い信号のフレームごとに生成される。これらのフィーチャ・ベクトルは、スピーチの改良およびスピーチの認識を含めて所望の任意の目的のために使用することができる。スピーチの改良のためには、このＭＦＣＣフィーチャ・ベクトルをパワー・スペクトル・ドメインに変換することができ、またノイズの多い空気伝導信号と共に使用してウィーナ・フィルタを形成することができる。
【０１４８】
本発明では、代替センサとして骨伝導センサを使用することに特に関係して、以上で考察してきたが、他の代替センサも使用することができる。例えば、図１６においては、本発明のモバイル・デバイスは、一般にユーザの顔、とりわけ口の領域に向けられ、スピーチに対応するユーザの顔の動きの変化を示す信号を生成する赤外線センサ１６００を利用している。赤外線センサ１６００が生成する信号は、前述の技法における代替センサ信号として使用することができる。
【０１４９】
本発明を、特定の実施形態に関して説明してきたが、本発明の趣旨および範囲を逸脱することなく形態および詳細において変更を行うことができることが、当業者には理解されよう。
【図面の簡単な説明】
【０１５０】
【図１】本発明の一実施形態の斜視図である。
【図２】ユーザの頭の左側の位置にある、図１の電話器を示す図である。
【図３】ユーザの頭の右側の位置にある、図１の電話器を示す図である。
【図４】骨伝導マイクロフォンのブロック図である。
【図５】本発明の一代替実施形態の斜視図である。
【図６】本発明の一実施形態における代替的な骨伝導マイクロフォンの断面図である。
【図７】本発明の一実施形態におけるモバイル・デバイスのブロック図である。
【図８】本発明の一般的なスピーチ処理システムのブロック図である。
【図９】本発明の一実施形態における、ノイズ低減パラメータを訓練するためのシステムのブロック図である。
【図１０】図９のシステムを使用してノイズ低減パラメータを訓練するための流れ図である。
【図１１】本発明の一実施形態における、ノイズの多いテストスピーチ信号からクリーン・スピーチ信号の推定値を特定するためのシステムのブロック図である。
【図１２】図１１のシステムを使用してクリーン・スピーチ信号の推定値を特定するための方法の流れ図である。
【図１３】クリーン・スピーチ信号の推定値を特定するための代替システムのブロック図である。
【図１４】クリーン・スピーチ信号の推定値を特定するための第２の代替システムのブロック図である。
【図１５】図１４のシステムを使用してクリーン・スピーチ信号の推定値を特定するための方法の流れ図である。
【図１６】本発明のモバイル・デバイスのさらなる実施形態の斜視図である。
【符号の説明】
【０１５１】
１００    モバイル電話器
１０２    キー・パッド
１０４    ディスプレイ
１０６    カーソル制御部
１０８    空気伝導マイクロフォン
１１０    スピーカ
１１２、１１４    骨伝導マイクトフォン
２００    ユーザの左耳
２０２    ユーザの口
３００    ユーザの右耳
４００    骨伝導センサ
４０２    エラストマ・ブリッジ
４０４    ダイヤフラム
４０６    マイクロフォン
４０８    ユーザの皮膚
４１０    トランスデューサ
５００    本発明のハンドヘルド・モバイル・デバイスの代替的なモバイル電話器の実施形態
５０２    キー・パッド
５０４    ディスプレイ
５０６    カーソル制御部
５０８    空気伝導マイクロフォン
５１０    スピーカ
５１２    近接センサ
６００    パッド
６０２    外部表面
６０４    電子圧力トランスデューサ
６０６    導体
７０２    プロセッサ
７０４    メモリ
７０８    通信インターフェース
７１４    アプリケーション
７１６    オブジェクト格納域
７３０    スピーカ
７３２    ディジット入力部
７３４    ディスプレイ
７３６    空気伝導マイクロフォン
７３８    代替センサ１
７４０    代替センサ２
７４２    近接センサ
８００    話し手
８０４    空気伝導マイクロフォン
８０６    代替センサ２
８０７    代替センサ１
８１０    ノイズ
８１５    比較／選択
８１６    クリーン信号推定器
８２０    スピーチ・プロセス
８２１    サイド・トーン生成器
８３２    近接センサ
９００    話し手
９０２    代替センサ
９０３    代替センサ
９０４    比較／選択
９０６    フレーム・コンストラクタ
９０８    フィーチャ抽出器
９１０    空気伝導マイクロフォン
９１６    フレーム・コンストラクタ
９１８    フィーチャ抽出器
９２０    ノイズ低減トレーナ
９２２    ノイズ低減パラメータ・ストレージ
１１００    話し手
１１０２    付加的ノイズ
１１０４    空気伝導マイクロフォン
１１０８    フレーム・コンストラクタ
１１１０    フィーチャ抽出器
１１１２    代替センサ
１１１４    代替センサ
１１１５    比較／選択
１１１８    フレーム・コンストラクタ
１１２０    フィーチャ抽出器
１１２１    フィーチャ抽出器
１１２２    クリーン信号推定器
１１２４    ノイズ・モデル・トレーナ
１１２５    ノイズ・モデル
１１２６    スピーチ検出器
１１２８    クリーン信号推定値
１３００    話し手
１３０２    代替センサ
１３０６    フレーム・コンストラクタ
１３０８    フィーチャ抽出器
１３１０    クリーン信号推定器
１３１２    クリーン信号推定値
１４００    話し手
１４０２    付加的ノイズ
１４０４    マイクロフォン
１４０８    フレーム・コンストラクタ
１４１０    ハーモニック分解ユニット
１４１６    ハーモニック・スケーリング値決定
１４２４    ＭＥＬ重み付け
１４３０    重み付け和計算器
１４４４    代替センサ
１４４８    フレーム・コンストラクタ
１４５０    ピッチ追跡器
【図１】
0004796309.tif 000033
【図２】
0004796309.tif 000034
【図３】
0004796309.tif 000035
【図４】
0004796309.tif 000036
【図５】
0004796309.tif 000037
【図６】
0004796309.tif 000038
【図７】
0004796309.tif 000039
【図８】
0004796309.tif 000040
【図９】
0004796309.tif 000041
【図１０】
0004796309.tif 000042
【図１１】
0004796309.tif 000043
【図１２】
0004796309.tif 000044
【図１３】
0004796309.tif 000045
【図１４】
0004796309.tif 000046
【図１５】
0004796309.tif 000047
【図１６】
0004796309.tif 000048