(57)【特許請求の範囲】
【請求項１】
下部にメインマイクが設けられ、メインマイクから離れる位置に一つ又は複数の補助マイクが設けられた携帯電話に適用する音声強調方法であって、
前記メインマイクの信号及び前記補助マイクの信号により、ユーザーが発話状態にあるか受話状態にあるかを判断するステップと、
前記メインマイク信号及び前記補助マイク信号により、ユーザーが発話状態にあるか受話状態にあるかを判断するステップは、前記メインマイク信号と前記補助マイク信号との間の相関値を算出し、該相関値が第一の閾値よりも大きい場合、ユーザーが発話状態にあると判断し、該相関値が第一の閾値以下の場合、ユーザーが受話状態にあると判断する処理を含み、
ユーザーが発話状態にあると判断した時、ユーザーの携帯電話の把持状態について、携帯電話を正常に把持しているのか異常に把持しているのかを更に検出し、ユーザーが受話状態にあると判断した時は、その前の音声強調処理方式をそのまま保持するステップと、
ユーザーが携帯電話を正常に把持していると検出した場合、マルチマイクノイズ低減とシングルマイクノイズ低減とを組み合わせる方式を用いて音声強調処理を行うステップと、
ユーザーが携帯電話を異常に把持していると検出した場合は、シングルマイクノイズ低減方式のみを用いて音声強調処理を行うステップとを含むことを特徴とする携帯電話に適用する音声強調方法。
【請求項２】
前記メインマイク信号と前記補助マイク信号との間の相関値を算出するとは、メインマイク信号と複数の補助マイク信号各々との間の相関値を算出してから、平均して平均相関値を得て、又は、メインマイク信号と一つの補助マイク信号との間の相関値を算出することを特徴とする請求項１に記載の携帯電話に適用する音声強調方法。
【請求項３】
前記ユーザーの携帯電話の把持状態について、携帯電話を正常に把持しているのか異常に把持しているのかを検出するのは、
前記メインマイク及び補助マイクを含むマルチマイクによって音声の方向を検出し、音声が携帯電話の下部方向から来た場合、ユーザーが携帯電話を正常に把持していると確定し、音声が携帯電話の側方向又は頂部方向から来た場合、ユーザーが携帯電話を異常に把持していると確定し、又は、
メインマイク信号のエネルギーと補助マイク信号のエネルギーとの比を算出し、この比が第二の閾値よりも大きい場合、ユーザーが携帯電話を正常に把持していると確定し、この比が第二の閾値以下の場合、ユーザーが携帯電話を異常に把持していると確定する処理を含むことを特徴とする請求項１に記載の携帯電話に適用する音声強調方法。
【請求項４】
前記メインマイク信号及び前記補助マイク信号によりユーザーが発話状態にあるか受話状態にあるかを判断する前に、メインマイク信号及び補助マイク信号に対して高速フーリエ変換処理を行うステップを更に含み、
音声強調処理を行った後、ノイズ低減された信号に対して逆高速フーリエ変換処理を行うステップを更に含むことを特徴とする請求項１に記載の携帯電話に適用する音声強調方法。
【請求項５】
前記のマルチマイクノイズ低減とシングルマイクノイズ低減とを組み合わせる方式を用いて音声強調処理を行うステップは、まずマルチマイクノイズ低減処理を行い、そしてシングルマイクノイズ低減処理を行う処理を含み、そのうち、
まずマルチマイクノイズ低減処理を行うとは、各周波数サブバンドにおいて、メインマイク信号と補助マイク信号との該周波数サブバンドにおけるエネルギー比を算出し、該エネルギー比により、雑音抑圧関数の該周波数サブバンドにおける関数値を確定し、そして、雑音抑圧関数にメインマイク信号を乗算して、非定常騒音が抑制された信号を得ることであり、
そしてシングルマイクノイズ低減処理を行うとは、各周波数サブバンドにおいて、移動平均アルゴリズムによって前記の非定常騒音が抑制された信号の該周波数サブバンドにおける定常雑音エネルギーを算出し、更に、音声成分比例函数の該周波数サブバンドにおける関数値を算出し、そして、音声成分比例函数に、前記の非定常騒音が抑制された信号を乗算して、非定常騒音が抑制された上で定常騒音も抑制された信号を得ることであり、
前記のシングルマイクノイズ低減方式のみを用いて音声強調処理を行うステップは、各周波数サブバンドにおいて、移動平均アルゴリズムによってメインマイク信号の該周波数サブバンドにおける定常雑音エネルギーを算出し、更に、音声成分比例函数の該周波数サブバンドにおける関数値を算出し、そして、音声成分比例函数にメインマイク信号を乗算して、定常騒音が抑制された信号を得る処理を含むことを特徴とする請求項４に記載の携帯電話に適用する音声強調方法。
【請求項６】
下部にメインマイクが設けられ、メインマイクから離れる位置に一つ又は複数の補助マイクが設けられた携帯電話に適用する音声強調装置であって、
検出ユニットとノイズ低減ユニットとを含み、
前記検出ユニットは、前記メインマイクの信号及び前記補助マイクの信号により、ユーザーが発話状態にあるか受話状態にあるかを判断し、前記メインマイク信号及び前記補助マイク信号により、ユーザーが発話状態にあるか受話状態にあるかを判断するのは、前記メインマイク信号と前記補助マイク信号との間の相関値を算出し、該相関値が第一の閾値よりも大きい場合、ユーザーが発話状態にあると判断し、該相関値が第一の閾値以下の場合、ユーザーが受話状態にあると判断する処理を含み、ユーザーが発話状態にあると判断した時、ユーザーの携帯電話の把持状態について、携帯電話を正常に把持しているのか異常に把持しているのかを更に検出してノイズ低減ユニットに通知し、ユーザーが受話状態にあると判断した時は、更なる操作をせずに、ノイズ低減ユニットにその前の音声強調処理方式をそのまま保持させるために用いられ、
前記ノイズ低減ユニットは、ユーザーが携帯電話を正常に把持しているという通知を受信した時、マルチマイクノイズ低減とシングルマイクノイズ低減とを組み合わせる方式を用いて音声強調処理を行うために用いられ、ユーザーが携帯電話を異常に把持しているという通知を受信した時は、シングルマイクノイズ低減方式のみを用いて音声強調処理を行うために用いられることを特徴とする携帯電話に適用する音声強調装置。
【請求項７】
前記検出ユニットは、近距離場音声検出モジュールと把持状態検出モジュールとを含み、
前記ノイズ低減ユニットは、マルチマイクノイズ低減処理モジュールとシングルマイクノイズ低減処理モジュールとを含み、
前記近距離場音声検出モジュールは、前記メインマイク信号及び前記補助マイク信号を受信するとともに、メインマイク信号及び補助マイク信号により、ユーザーが発話状態にあるか受話状態にあるかを判断し、ユーザーが発話状態にあると判断した時、把持状態検出モジュールに通知を送信し、ユーザーが受話状態にあると判断した時は、把持状態検出モジュールに通知を送信しないために用いられ、
前記把持状態検出モジュールは、前記メインマイク信号及び前記補助マイク信号を受信し、近距離場音声検出モジュールからの通知を受信した時、ユーザーの携帯電話把持状態につき、携帯電話を正常に把持しているのか異常に把持しているのかを検出し、ユーザーが携帯電話を正常に把持していると検出した場合、メインマイク信号及び補助マイク信号をマルチマイクノイズ低減処理モジュールに送信し、ユーザーが携帯電話を異常に把持していると検出した場合は、メインマイク信号をシングルマイクノイズ低減処理モジュールに送信するために用いられ、
前記マルチマイクノイズ低減処理モジュールは、受信された信号を、マルチマイクノイズ低減処理を行った後にシングルマイクノイズ低減処理モジュールに送信するために用いられ、
前記シングルマイクノイズ低減処理モジュールは、受信された信号を、シングルマイクノイズ低減処理を行った後に出力するために用いられることを特徴とする請求項６に記載の携帯電話に適用する音声強調装置。
【請求項８】
前記メインマイク信号と前記補助マイク信号との間の相関値を算出するとは、メインマイク信号と複数の補助マイク信号各々との間の相関値を算出してから、平均して平均相関値を得て、又は、メインマイク信号と一つの補助マイク信号との間の相関値を算出することを特徴とする請求項６に記載の携帯電話に適用する音声強調装置。
【請求項９】
前記把持状態検出モジュールは、前記メインマイク及び補助マイクを含むマルチマイクによって音声の方向を検出し、音声が携帯電話の下部方向から来た場合、ユーザーが携帯電話を正常に把持していると確定し、音声が携帯電話の側方向又は頂部方向から来た場合、ユーザーが携帯電話を異常に把持していると確定するために用いられ、又は、
前記把持状態検出モジュールは、メインマイク信号のエネルギーと補助マイク信号のエネルギーとの比を算出し、この比が第二の閾値よりも大きい場合、ユーザーが携帯電話を正常に把持していると確定し、この比が第二の閾値以下の場合、ユーザーが携帯電話を異常に把持していると確定するために用いられることを特徴とする請求項７に記載の携帯電話に適用する音声強調装置。
【請求項１０】
高速フーリエ変換モジュールと逆高速フーリエ変換モジュールとを更に含み、
前記高速フーリエ変換モジュールは、その入力が前記メインマイク及び前記補助マイクに接続され、出力が検出ユニットに接続されており、メインマイク信号及び補助マイク信号を、それぞれ高速フーリエ変換処理を行った後、近距離場音声検出モジュール及び把持状態検出モジュールに送信するために用いられ、
前記マルチマイクノイズ低減処理モジュールは、各周波数サブバンドにおいて、メインマイク信号と補助マイク信号との該周波数サブバンドにおけるエネルギー比を算出し、該エネルギー比により、雑音抑圧関数の該周波数サブバンドにおける関数値を確定し、そして、雑音抑圧関数にメインマイク信号を乗算して、非定常騒音が抑制された信号を得てからシングルマイクノイズ低減処理モジュールに出力するために用いられ、
前記シングルマイクノイズ低減処理モジュールは、各周波数サブバンドにおいて、移動平均アルゴリズムによって、受信された信号の該周波数サブバンドにおける定常雑音エネルギーを算出し、更に、音声成分比例函数の該周波数サブバンドにおける関数値を算出し、そして、音声成分比例函数に、受信された信号を乗算して、定常騒音が抑制された信号を得てから、逆高速フーリエ変換モジュールに出力するために用いられ、
前記逆高速フーリエ変換モジュールは、その入力がノイズ低減ユニットに接続されており、ノイズ低減された信号を逆高速フーリエ変換処理してから出力するために用いられることを特徴とする請求項７に記載の携帯電話に適用する音声強調装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号処理技術分野に関し、特に、携帯電話に適用する音声強調方法及び装置に関する。
【背景技術】
【０００２】
携帯電話は、人々の日常生活及び仕事の中で広く利用されており、人々の通信の時間と空間の制約を解消し、人々の生活及び仕事に大きな利便性を提供した。しかし、人々が通信を行う環境が複雑で変わりやすく、そのうち、ざわめきの環境雑音も含まれており、環境雑音により通話の音声品質が極端に低下してしまうため、携帯電話に適用する雑音を抑制する音声強調技術は、重要な意義を持っている。
【０００３】
現在、携帯電話によく使われている音声強調技術には、シングルマイクによるスペクトルサブトラクション音声強調技術があり、シングルチャネルのスペクトルサブトラクション音声強調技術とも称し、シングルマイクノイズ低減技術と称しても良い。この技術は、定常雑音しか抑制できず、スーパーマーケット又はレストランにおいての周りの人々の話し声等のような非定常雑音に対しては、明らかな抑制効果がない。
もう一つのより好ましいノイズ低減技術は、マルチマイクアレイ音声強調技術であり、マルチマイクノイズ低減技術とも称し、この技術は、更に二種類に分けられている。
【０００４】
第一の種類は、マルチマイク信号処理によって固定的な指向性を形成するものである。即ち、一つの指定された方向からの声を保留してその他の方向からの声を抑制し、処理で形成された指向性が利用者の口を指すとなれば、音声を保護しながら周囲の雑音を抑制する効果を及ぼすことができる。
【０００５】
第二の種類は、マルチマイクに受信された信号のエネルギー差によって音声と雑音とを区別することでノイズ低減処理を行うものである。図１は、マルチマイクに受信された信号のエネルギー差によって音声と雑音とを区別することでノイズ低減処理を行うという技術におけるマルチマイクの取付け位置の模式図である。図１に示すように、ここでメインマイク1と補助マイク2という二つのマイクがあり、メインマイク1が、携帯電話の下部の、人の口に近づく位置に取付けられて、メインマイク1に受信された利用者からの音声信号のエネルギーが大きく、補助マイク2が、携帯電話の上部の、人の口から離れた位置に取付けられて、補助マイク2に受信された利用者からの音声信号のエネルギーが小さい。図１に示すように、外部環境雑音に対して、二つのマイクに受信されたエネルギーが近いため、二つのマイクに受信された信号のエネルギー差を比較することで、受信された信号が雑音信号か音声信号かを判断することができ、これにより、音声成分を保留しながら雑音成分を抑制し、ＳＮ比を高める効果を及ぼす。
【０００６】
マルチマイクノイズ低減技術がシングルマイクノイズ低減技術よりも優れたところは、マルチマイクノイズ低減技術では、非定常雑音を効果的に抑制することができる。しかし、マルチマイクノイズ低減技術は、ユーザーの携帯電話の使用方式に対して厳格な制約があり、即ち、ユーザーの携帯電話を把持する方式が制限されている。前記第一の種類の指向性を利用する技術については、ユーザーは、指向性を人の口に位置合わせする把持方式を保持しなければならず、さもなければ、ユーザーの把持方式に偏差があると、人の口が、保護された方向から外れてしまうことになり、音声が他方向からの雑音として抑制される。同様に、第二の種類のエネルギー差を利用する技術については、ユーザーが携帯電話を正常に把持している状態の模式図である図２に示すように、ユーザーに、メインマイク1が人の口に近づくとともに補助マイク2が人の口から離れるという把持方式を保証することが要求されている。ユーザーが異常に把持している時、例えば、携帯電話を水平に把持している時、ユーザーが携帯電話を異常に把持している状態の模式図である図３に示すように、二つのマイクから人の口までの距離が近く、音声から二つのマイクに受信されたエネルギーが近く、音声が同様に雑音として抑制される。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
これに鑑みて、本発明は、シングルマイクノイズ低減のみを用いると定常騒音しか抑制できず、マルチマイクノイズ低減を用いると、非定常騒音が抑制できるが、ユーザーが携帯電話を異常に把持している時に、音声信号を損傷する場合があるという問題を解決するために、携帯電話に適用する音声強調方法及び装置を提供する。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の技術は、以下のように実現される。
【０００９】
本発明は、下部にメインマイクが設けられ、メインマイクから離れる位置に一つ又は複数の補助マイクが設けられた携帯電話に適用する音声強調方法を開示しており、前記方法は、メインマイク信号及び補助マイク信号により、ユーザーが発話状態にあるか受話状態にあるかを判断するステップと、前記メインマイク信号及び前記補助マイク信号により、ユーザーが発話状態にあるか受話状態にあるかを判断するステップは、前記メインマイク信号と前記補助マイク信号との間の相関値を算出し、該相関値が第一の閾値よりも大きい場合、ユーザーが発話状態にあると判断し、該相関値が第一の閾値以下の場合、ユーザーが受話状態にあると判断する処理を含み、ユーザーが発話状態にあると判断した時、ユーザーの携帯電話把持状態につき、携帯電話を正常に把持しているのか異常に把持しているのかを更に検出し、ユーザーが受話状態にあると判断した時、その前の音声強調処理方式をそのまま保持するステップと、ユーザーが携帯電話を正常に把持していると検出した場合、マルチマイクノイズ低減とシングルマイクノイズ低減とを組み合わせる方式を用いて音声強調処理を行うステップと、ユーザーが携帯電話を異常に把持していると検出した場合、シングルマイクノイズ低減方式のみを用いて音声強調処理を行うステップと、を含む。
【００１０】
本発明は、下部にメインマイクが設けられ、メインマイクから離れる位置に一つ又は複数の補助マイクが設けられた携帯電話に適用する音声強調装置を更に開示しており、前記装置は、検出ユニットとノイズ低減ユニットとを含み、前記検出ユニットは、メインマイク信号及び各補助マイク信号により、ユーザーが発話状態にあるか受話状態にあるかを判断し、前記メインマイク信号及び前記補助マイク信号により、ユーザーが発話状態にあるか受話状態にあるかを判断するのは、前記メインマイク信号と前記補助マイク信号との間の相関値を算出し、該相関値が第一の閾値よりも大きい場合、ユーザーが発話状態にあると判断し、該相関値が第一の閾値以下の場合、ユーザーが受話状態にあると判断する処理を含み、ユーザーが発話状態にあると判断した時、ユーザーの携帯電話把持状態につき、携帯電話を正常に把持しているのか異常に把持しているのかを更に検出してノイズ低減ユニットに通知し、ユーザーが受話状態にあると判断した時、更なる操作をせずに、ノイズ低減ユニットに、その前の音声強調処理方式をそのまま保持させるために用いられ、前記ノイズ低減ユニットは、ユーザーが携帯電話を正常に把持しているという通知を受信した時、マルチマイクノイズ低減とシングルマイクノイズ低減とを組み合わせる方式を用いて音声強調処理を行うために用いられ、ユーザーが携帯電話を異常に把持しているという通知を受信した時、シングルマイクノイズ低減方式のみを用いて音声強調処理を行うために用いられる。
【００１１】
前記装置において、前記検出ユニットは、近距離場音声検出モジュールと把持状態検出モジュールとを含み、前記ノイズ低減ユニットは、マルチマイクノイズ低減処理モジュールとシングルマイクノイズ低減処理モジュールとを含み、前記近距離場音声検出モジュールは、メインマイク信号及び補助マイク信号を受信するとともに、メインマイク信号及び補助マイク信号により、ユーザーが発話状態にあるか受話状態にあるかを判断し、ユーザーが発話状態にあると判断した時、把持状態検出モジュールに通知を送信し、ユーザーが受話状態にあると判断した時、把持状態検出モジュールに通知を送信しないために用いられ、前記把持状態検出モジュールは、メインマイク信号及び各補助マイク信号を受信し、近距離場音声検出モジュールからの通知を受信した時、ユーザーの携帯電話把持状態につき、携帯電話を正常に把持しているのか異常に把持しているのかを検出し、ユーザーが携帯電話を正常に把持していると検出した場合、メインマイク信号及び補助マイク信号をマルチマイクノイズ低減処理モジュールに送信し、ユーザーが携帯電話を異常に把持していると検出した場合、メインマイク信号をシングルマイクノイズ低減処理モジュールに送信するために用いられ、前記マルチマイクノイズ低減処理モジュールは、受信された信号を、マルチマイクノイズ低減処理を行った後にシングルマイクノイズ低減処理モジュールに送信するために用いられ、前記シングルマイクノイズ低減処理モジュールは、受信された信号を、シングルマイクノイズ低減処理を行った後に出力するために用いられる。
【００１２】
上記から分かるように、本発明のように、ユーザーが発話している時にユーザーの携帯電話の把持状態を検出し、ユーザーの携帯電話の把持状態によって、異なるノイズ低減処理技術を用いて、ユーザーが携帯電話を正常に把持している時に、マルチマイクノイズ低減とシングルマイクノイズ低減とを組み合わせる技術を用いて定常騒音と非定常騒音との両方に効果的な抑制を行うのに対して、ユーザーが携帯電話を異常に把持している時に、シングルマイクノイズ低減技術を用いて定常騒音のみを抑制することで、マルチマイクノイズ低減の音声への損傷が回避され、音声品質が保証される。
【図面の簡単な説明】
【００１３】
【図１】デュアルマイク携帯電話におけるマイクの取付け位置の模式図である。
【図２】ユーザーが携帯電話を正常に把持している状態の模式図である。
【図３】ユーザーが携帯電話を異常に把持している状態の模式図である。
【図４】本発明の実施例において携帯電話に適用する音声強調装置の構造模式図である。
【発明を実施するための形態】
【００１４】
本発明は、携帯電話に適用する音声強調技術であり、本発明には、携帯電話把持状態検出技術が用いられ、ユーザーが携帯電話を正常に把持している状態に対して、マルチマイクノイズ低減とシングルマイクノイズ低減とを組み合わせて処理する技術を用いることにより、ユーザーが携帯電話を正確に把持している時に最適なノイズ低減効果を及ぼすことを保証でき、ユーザーの異常把持状態に対して、シングルチャネルノイズ低減処理技術を用いて、定常騒音のみを抑制することにより、その際にマルチマイクノイズ低減処理を用いると音声に損傷をもたらしてしまうことを回避する。つまり、本発明は、マルチマイクノイズ低減に加えて、ユーザーの携帯電話把持状態の検出を追加することで、異なる携帯電話把持状態において異なるノイズ低減技術を用いることができ、最適なノイズ低減が保証されるとともに音声のディストーションが回避される。
【００１５】
以下、本発明の技術について、詳しい分析説明を行う。
ノイズの多い環境で携帯電話を使用する際に、自分の話し声が周囲の雑音に隠れて相手がはっきりと聞き取りにくいというような状況に悩むことがよくある。本発明に開示されたのは、これらの雑音を除去し、クリアな音声を保留することで、ざわめきの環境においてもスムーズでクリアな通話が行えるマルチマイクノイズ低減技術である。ここでいう複数のマイクは、二つ又は二つ以上のマイクを含む。従って、本技術は、二つ又は二つ以上のマイクが取り付けられた携帯電話に好適に適用する。図１は、デュアルマイク携帯電話におけるマイクの取付け位置の模式図であり、そのうち、携帯電話の下部に取付けられたのはメインマイク1であり、携帯電話の背部の上端位置に取付けられたのは補助マイク2である。その他の場合には、3つ又は3つ以上のマイクを用いてもよく、そのうち、1つのメインマイク1のみが携帯電話の下部に取付けられ、その他の複数の補助マイク2が携帯電話のメインマイク1から離れる位置に取付けられ、例えば、携帯電話の頂部又は背部の上端位置に取付けられる。
【００１６】
ユーザーが携帯電話で通話する時は、通常、二種類の把持方式がある。
1、正常把持。図２に示すように、携帯電話下部のメインマイク1がユーザーの口に近づく。このとき、本発明において、マルチマイクノイズ低減とシングルマイクノイズ低減とを組み合わせるノイズ低減技術を用いることで、雑音を効果的に除去できるとともに、音声品質が損傷されない。
2、異常把持。図３に示すように、携帯電話下部のメインマイク1がユーザーの口から遠く外れる。このとき、マルチマイクノイズ低減技術を用いると、雑音が除去されるとともに、音声が雑音として除去されてしまうため、本発明において、シングルマイクノイズ低減処理のみを用いる。
【００１７】
本発明の技術は、大きく言うと、主に、検出ユニットとノイズ低減ユニットとの二つのユニットを含む。検出ユニットの役割は、現在の通話状態を検出することであり、これらの状態は、ユーザーが発話しているか受話しているか、ユーザーが携帯電話を正常に把持しているか異常に把持しているかという状態を含む。そのうち、ユーザーの発話又は受話状態は、近距離場音声検出モジュールにより検出され、ユーザーの携帯電話把持状態は、更に把持状態検出モジュールにより検出される。
【００１８】
近距離場音声検出モジュールの原理としては、ユーザーが携帯電話を使う時、正常把持であろうとなかろうと、ユーザーの口から携帯電話のマイクまでの距離がいずれも20cmよりも小さく、近距離場音源と見なすことができ、周囲の雑音源が、一般的に、携帯電話から50cm以上離れており、遠距離場音源と見なすことができる。従って、音源の距離を検出することによって、ユーザーの発話であるか、ユーザーが発話しておらず周囲の雑音しかないかを判断することができる。近距離場音源である場合、二つのマイクに受信された信号間の相関性が強く、遠距離場音源である場合、二つのマイクに受信された信号間の相関性が弱い。従って、メインマイク信号と補助マイク信号との間の相関性を算出することによって信号がユーザー音声であるか周囲の雑音であるかを判断することができる。具体的な検出手順は、下記の通りになる。
【００１９】
1、メインマイク信号と補助マイク信号との間の相関値を算出する。この際、メインマイク信号と複数の補助マイク信号各々との間の相関値を算出してから、平均して平均相関値を得てもよく、又は、メインマイク信号と一つの補助マイク信号との間の相関値を算出してもよい。
2、該相関値が、設定閾値以下の場合、信号が遠距離場雑音信号であり、ユーザーが受話状態にあるとされ、該相関値が、設定閾値よりも大きい場合、信号が近距離場音声信号であり、ユーザーが発話状態にあるとされる。
【００２０】
ユーザーが発話状態にあると、更にユーザーの把持状態検出を行う。本発明は、ユーザーの把持状態を検出する二つの方法を提供する。
第一種の方法として、マルチマイクによって音声の方向を検出し、音声の方向によってユーザーの把持状態を判断し、音声が携帯電話の下部から来た場合は正常把持であり、音声が携帯電話の側方向又は頂部方向から来た場合は異常把持である。
第二種の方法として、マルチマイク信号のエネルギーの差によってユーザーの把持状態を判断し、メインマイク信号のエネルギーと補助マイク信号のエネルギーとの比が、設定された閾値よりも大きい場合は正確な把持であり、エネルギーの比が設定された閾値以下の場合は異常把持である。
【００２１】
検出ユニットに判定されてから、ノイズ低減ユニットは、異なる状態に応じて、対応するノイズ低減処理を用いる。
1、正常把持である場合、マルチマイクノイズ低減モードを用い、即ち、まず、マルチマイクノイズ低減処理を通して大部分の雑音を抑制し、その後、またシングルマイクノイズ低減処理を通して残った定常騒音を抑制することにより、最適なノイズ低減に達する。
2、異常把持である場合、シングルマイクノイズ低減モードを用い、即ち、マルチマイクノイズ低減処理を経ずに、シングルマイクノイズ低減処理のみを通して定常騒音を抑制することにより、最適な音声品質を保証する。
3、ユーザーが受話している状態である場合、ノイズ低減モードをそのまま保持し、即ち、その前の音声強調処理方式をそのまま保持する。ユーザーが発話していなく、このときにユーザーの把持状態が確定されないため、前回に検出した把持状態から変更していないとされる。従って、ノイズ低減モードも変更しない。
【００２２】
本発明により、ユーザーが携帯電話を使う時の把持状態によって、異なるノイズ低減モードを用いることができ、これにより、雑音が効果的に除去されるとともに、音声信号が損傷されないことを保証できる。
【００２３】
本発明の目的、技術及び利点を更に明らかにするために、以下、図面を参照しながら、本発明による携帯電話に適用する音声強調装置について詳しく説明する。
【００２４】
図１に示す二つのマイクを有する携帯電話を例として、メインマイク1が携帯電話の下部にあり、補助マイク2が携帯電話の背部の上端位置にあり、メインマイク1から離れた位置にある。ユーザーが図２に示すように携帯電話を正常に把持している時、メインマイク1から口までの距離が5cmよりも小さく、補助マイク2から口までの距離が15cm〜20cmである。ユーザーが図３に示すように携帯電話を異常に把持している時、メインマイク1から口までの距離が10cmよりも大きく、補助マイク2から口までの距離が15cm〜20cmである。従って、ユーザーが正常に把持している時、メインマイク1に受信された音声エネルギーと補助マイク2に受信された音声エネルギーとの差が9dB以上であるが、ユーザーが異常に把持している時、メインマイク1に受信された音声エネルギーと補助マイク2に受信された音声エネルギーとの差が3dB以内である。どの種類の把持にもかかわらず、メインマイク1に受信された雑音エネルギーと補助マイク2に受信された雑音エネルギーとの差も3dB以内である。従って、正常に把持している時、二つのマイクのエネルギー差によって音声と雑音を区別することができ、マルチマイクノイズ低減を用いれば音声を損傷せずに雑音を効果的に抑制することができる。それに対して、異常に把持している時、二つのマイクのエネルギー差によって音声と雑音を区別することができず、マルチマイクノイズ低減を用いれば音声を損傷することになり、このとき、音声を保護するには、シングルマイクノイズ低減を用いて定常騒音を抑制することしかできない。
【００２５】
本発明の実施例において、携帯電話の下部に1つのメインマイク1を設け、携帯電話のメインマイク1から離れる位置、例えば、携帯電話の頂部又は背部の上端に2つ以上の複数の補助マイク2を設けてもよい。複数の補助マイク2は、それぞれがお互いに近接しているように携帯電話の頂部又は背部の上端に分布してもよい。
【００２６】
本実施例において、P（Pが1よりも大きい自然数である）個のマイクが設けられている。まず、メインマイクに受信された時間領域信号s1及び複数の補助マイク2に受信された時間領域信号s2、…、sPを高速フーリエ変換（FFT）によって周波数領域信号S1、…、SPに変換する。周波数領域信号が近距離場音声検出モジュールに入力され、近距離場音声検出モジュールがメインマイク信号と補助マイク信号との相関性によって、入力された信号が近距離場音声であるか遠距離場雑音であるかを判断する。近距離場音声検出モジュールに検出されたのが近距離場音声信号である場合、周波数領域信号が把持状態検出モジュールに入力され、把持状態検出モジュールがメインマイク信号と補助マイク信号との全エネルギー差によってユーザーが正常に把持しているか異常に把持しているかを判断する。ユーザーが正常に把持していると、P個のマイクによるP個の周波数領域信号を、マルチマイクノイズ低減処理モジュールに入力してノイズ低減処理を行ってから、またシングルマイクノイズ低減処理を行い、最後に一個のノイズ低減された周波数領域信号を出力する。ユーザーが異常に把持していると、一個のメインマイクの周波数領域信号S1のみをシングルマイクノイズ低減処理モジュールに入力してノイズ低減処理を行い、一個のノイズ低減された周波数領域信号を出力する。近距離場音声検出モジュールに検出されたのが遠距離場雑音信号である場合、このときに把持状態が確定できないため、このときのノイズ低減モードを保持する。最後に、ノイズ低減処理された周波数領域信号に対して逆高速フーリエ変換（IFFT）を行って時間領域信号に変換してから出力する。詳しい処理構造は図４に示す。
【００２７】
図４は、本発明の実施例において携帯電話に適用する音声強調装置の構造模式図である。図４を参照して、該装置は、高速フーリエ変換モジュール41、検出ユニット42、ノイズ低減ユニット43及び逆高速フーリエ変換モジュール44を含み、前記高速フーリエ変換モジュール41は、メインマイク信号及び各補助マイク信号を、それぞれ高速フーリエ変換処理を行った後、検出ユニット42に送信するために用いられ、前記検出ユニット42は、メインマイク信号及び各補助マイク信号により、ユーザーが発話状態にあるか受話状態にあるかを判断し、ユーザーが発話状態にあると判断した時、ユーザーの携帯電話把持状態につき、携帯電話を正常に把持しているのか異常に把持しているのかを更に検出してノイズ低減ユニット43に通知し、ユーザーが受話状態にあると判断した時、更なる操作をせずに、ノイズ低減ユニット43に、その前の音声強調処理方式をそのまま保持させるために用いられ、前記ノイズ低減ユニット43は、ユーザーが携帯電話を正常に把持しているという通知を受信した時、マルチマイクノイズ低減とシングルマイクノイズ低減とを組み合わせる方式を用いて音声強調処理を行うために用いられ、ユーザーが携帯電話を異常に把持しているという通知を受信した時、シングルマイクノイズ低減方式のみを用いて音声強調処理を行うために用いられ、前記逆高速フーリエ変換モジュール44は、ノイズ低減ユニット43から出力された信号を逆高速フーリエ変換処理してから出力するために用いられる。
【００２８】
図４に示すように、検出ユニット42は、近距離場音声検出モジュール421と把持状態検出モジュール422とを含み、ノイズ低減ユニット43は、マルチマイクノイズ低減処理モジュール431とシングルマイクノイズ低減処理モジュール432とを含み、近距離場音声検出モジュール421は、メインマイク信号及び各補助マイク信号を受信するとともに、メインマイク信号及び各補助マイク信号により、ユーザーが発話状態にあるか受話状態にあるかを判断し、ユーザーが発話状態にあると判断した時、把持状態検出モジュール422に通知を送信し、ユーザーが受話状態にあると判断した時、近距離場音声検出モジュール421が把持状態検出モジュール422に通知を送信しないことで、把持状態検出モジュール422が、その前の把持状態判断結果のままに従って対応する信号をノイズ低減ユニット43に入力し、こうして、ノイズ低減ユニット43がその前のノイズ低減モードをそのまま保持するために用いられ、把持状態検出モジュール422は、メインマイク信号及び各補助マイク信号を受信し、近距離場音声検出モジュール421からの通知を受信した時、ユーザーの携帯電話把持状態につき、携帯電話を正常に把持しているのか異常に把持しているのかを検出し、ユーザーが携帯電話を正常に把持していると検出した時、メインマイク信号及び各補助マイク信号をマルチマイクノイズ低減処理モジュール431に送信し、ユーザーが携帯電話を異常に把持していると検出した時、メインマイク信号のみをシングルマイクノイズ低減処理モジュール432に送信するために用いられ、マルチマイクノイズ低減処理モジュール431は、受信された信号を、マルチマイクノイズ低減処理を行った後にシングルマイクノイズ低減処理モジュール432に送信するために用いられ、シングルマイクノイズ低減処理モジュール432は、受信された信号を、シングルマイクノイズ低減処理を行った後に出力するために用いられる。
以下、各モジュールの具体的な処理プロセスについて詳しく説明する。
【００２９】
〔高速フーリエ変換モジュール41〕
まず、Siに対してフレーミング処理を行い（i＝1,…,P）、各フレームにN個のサンプリング点があり、第mのフレーム信号がdi(m,n)であり、ただし、
0005952434.tif 000002
隣接する二つのフレームには、M個のサンプリング点の重なりがあり、即ち、現在フレームにおける先頭のM個のサンプリング点が、前フレームにおける最後のM個のサンプリング点であり、各フレームは、L=N-M個のサンプリング点のみで新しいデータを有する。従って、第mのフレームのデータは、
0005952434.tif 000003
である。
【００３０】
例えば、本実施形態では、フレーム長N=256、重なりM=128をとり、即ち50%の重なりがある。フレーミング処理の後に、各フレーム信号に対して、窓関数win(n)によってウインドウイング処理を行い、ウインドウイング処理された後のデータは、
0005952434.tif 000004
である。窓関数は、ハミング窓、ハニング窓等の窓関数を選択することができる。本実施形態では、ハニング窓を選択する。
0005952434.tif 000005
ウインドウイング処理された後のデータは、最後にFFTを行って周波数領域に変換する。
0005952434.tif 000006
そのうち、
0005952434.tif 000007
が周波数サブバンド、Ａi(m,k)が幅，φi(m,k)が位相である。
【００３１】
〔近距離場音声検出モジュール421〕
メインマイク信号と各補助マイク信号との間の相関値を算出し、該相関値が第一の閾値よりも大きい場合、ユーザーが発話状態にあると判断し、該相関値が第一の閾値以下の場合、ユーザーが受話状態にあると判断するために用いられ、1つの補助マイクしかない場合、メインマイク信号と補助マイク信号との間の相関値を直接に算出可能である。2つ以上の補助マイクがある場合、近距離場音声検出モジュール421は、メインマイク信号と各補助マイク信号との間の相関値を算出してから、平均して平均相関値を得てもよく、又は、メインマイク信号と一つの補助マイク信号との間の相関値を算出してもよい。
【００３２】
本実施例では、具体的に、近距離場音声検出モジュール421は、各周波数サブバンドにおいて、メインマイク信号S1と一つの補助マイク信号例えばS2との相関函数Coh12(m,k)を算出する。
0005952434.tif 000008
そのうち、conjが共役演算であり、absがモジュロ演算である。そして、全帯域内の相関函数の平均値Mcoh12(m)を算出する。
0005952434.tif 000009
同様に、メインマイク信号S1とその他の補助マイク信号例えばS3との間の相関値Mcoh13(m)を算出することができ、このようにして、全ての相関値が算出できる。最後に、メインマイク信号と各補助マイク信号との間の相関値に対して加算平均を行って、最後の相関値MCoh(m)を得る。
MCoh(m)が大きいほど音源から二つのマイクまでの距離が小さくなり、MCoh(m)と設定された閾値Coh_thとを比較することにより、声が近距離場音源からであるか遠距離場音源からであるかを確定し、更に、声がユーザー音声であるか環境雑音であるかを確定し、例えば、本実施形態において、Coh_thが0.5と設定される。MCoh(m)> Coh_thであると、相関性が十分に大きく、近距離場からの信号であり、ユーザー音声であり、ユーザーが話していることを表す。MCoh(m)≦Coh_thであると、相関性が小さく、遠距離場からの信号であり、周囲の環境雑音であり、ユーザーが受話していることを表す。
【００３３】
〔把持状態検出モジュール422〕
メインマイク信号のエネルギーと補助マイク信号のエネルギーとの比を算出するために用いられ、この比が第二の閾値よりも大きい場合、ユーザーが携帯電話を正常に把持していると確定され、この比が第二の閾値以下の場合、ユーザーが携帯電話を異常に把持していると確定される。
具体的に、把持状態検出モジュール422は、メインマイク信号S1及び一つの補助マイク信号例えばS2の全エネルギーP1(m)及びP2(m)を算出する。
0005952434.tif 000010
そして、二つの全エネルギーの比
0005952434.tif 000011
を算出し、同じく、メインマイク信号S1とその他の補助マイク信号例えばS3との全エネルギー比
0005952434.tif 000012
を算出することができ、このようにして、全ての全エネルギー比が算出できる。最後に、これらの全エネルギー比に対して加算平均を行って、最後の比Pr(m) を得る。本発明のその他の実施例において、まず各補助マイク信号のエネルギーに対して加算平均を行い、そして、メインマイク信号のエネルギーとその加算平均された値との比を算出して比Pr(m)を得てもよい。
Pr(m)が大きいほど、メインマイクが人の口に近づくようになることを表し、逆に、Pr(m)が小さいほど、メインマイクが人の口から遠ざかるようになることを表し、Pr(m)と閾値Pr_thとを比較することにより携帯電話の把持状態を確定し、例えば、本実施形態において、閾値Pr_thが2と設定される。Pr(m)>Pr_thであると、携帯電話が正常に把持され、Pr(m) ≦Pr_thであると、携帯電話が異常に把持されているようになる。
【００３４】
本発明のその他の実施例において、把持状態検出モジュール422は、マルチマイクによって音声の方向を検出してもよく、音声が携帯電話の下部方向から来た場合、ユーザーが携帯電話を正常に把持していると確定され、音声が携帯電話の側方向又は頂部方向から来た場合、ユーザーが携帯電話を異常に把持していると確定される。
【００３５】
〔マルチマイクノイズ低減処理モジュール431〕
各周波数サブバンドにおいて、メインマイク信号と補助マイク信号との該周波数サブバンドにおけるエネルギー比を算出し、該エネルギー比により、雑音抑圧関数の該周波数サブバンドにおける関数値を確定するために用いられ、雑音抑圧関数にメインマイク信号を乗算して非定常騒音が抑制された信号を得てから、シングルマイクノイズ低減処理モジュール432に出力するために用いられる。
具体的に、マルチマイクノイズ低減処理モジュール431は、メインマイク信号S1と一つの補助マイク信号例えばS2との各周波数サブバンドにおけるエネルギー比
0005952434.tif 000013
を算出し、同じく、メインマイク信号S1とその他の補助マイク信号例えばS3との全エネルギー比
0005952434.tif 000014
を算出することができ、このようにして、メインマイク信号S1と最後の一つの補助マイク信号SPとの全エネルギー比
0005952434.tif 000015
を得ることができる。最後に、これらの全エネルギー比に対して加算平均を行って、最後の比Pb(m,k) を得る。その他の実施例において、まず各補助マイク信号のエネルギーに対して加算平均を行い、そして、メインマイク信号のエネルギーとその加算平均された値との比を算出して前記の比Pb(m,k)を得てもよい。
【００３６】
Pb(m,k)が大きいほど、第k個の周波数サブバンドの信号成分が音声である確率が大きく、逆に、第k個の周波数サブバンドの信号成分は雑音である確率が小さいことを表す。本実施形態において、Pb(m,k)を、設定されたエネルギー比の上限Pb_U(k)及びエネルギー比の下限Pb_L(k)と比較することにより、第k個の周波数サブバンドの信号成分が音声である確率を判断し、例えば、本実施形態において、Pb_U(k)が4、Pb_L(k)が2と設定される。Pb(m,k)≧Pb_U(k)であると、この周波数サブバンド内の信号成分が音声である確率が1であり、雑音抑圧関数Gd(m,k)=1であり、Pb(m,k)≦Pb_L(k)であると、この周波数サブバンド内の信号成分が音声である確率が0であり、すべて雑音であり、Gd(m,k)=RL，RL<1により最大のノイズ低減量が決定される。Pb_U(k)>Pb(m,k)>Pb_L(k)であると、この周波数サブバンド内の信号成分には、音声もあるし雑音もあり、処理せず、このとき、RL<Gd(m,k)<1である。最後に、Gd(m,k)*S1(m,k)の演算により各周波数サブバンドにおける雑音成分を抑制し、ノイズ低減された信号Sd(m,k)を得る。
【００３７】
〔シングルマイクノイズ低減処理モジュール432〕
各周波数サブバンドにおいて、移動平均アルゴリズムによって、受信された信号の該周波数サブバンドにおける定常雑音エネルギーを算出し、更に、音声成分比例函数の該周波数サブバンドにおける関数値を算出し、そして、音声成分比例函数に、受信された信号を乗算して、定常騒音が抑制された信号を得てから、逆高速フーリエ変換モジュール44に出力するために用いられる。
本実施例において、シングルマイクノイズ低減処理モジュール432の入力をSsi(m,k)とし、この入力はノイズ低減モードによって異なるものであり、マルチマイクノイズ低減モードである場合、Ssi(m,k)が、マルチマイクノイズ低減処理モジュール431によりノイズ低減された出力Sd(m,k)であり、シングルマイクノイズ低減モードである場合、Ssi(m,k)が、メインマイク信号S1(m,k)である。本モジュールは、移動平均の方法によって、Ssi(m,k)の各周波数サブバンドにおける定常雑音エネルギーPn(m,k)を算出する。
0005952434.tif 000016
そのうち、αが平滑化パラメータであり、例えば、本実施形態において、α=0.98とする。Ps(m,k)は、本モジュールの入力信号のエネルギースペクトルであり、
0005952434.tif 000017
定常雑音のエネルギーには大きな変わりがないため、遅い平滑平均によって定常雑音のエネルギーの大きさを推定することができる。従って、各周波数サブバンド内の音声成分の占める比が
0005952434.tif 000018
である。
最後に、Gs(m,k)*Ssi(m,k)によって、各周波数サブバンドにおける音声成分を保留し、雑音が抑制された周波数領域信号Sso(m,k)を得ることに達する。
【００３８】
〔逆高速フーリエ変換モジュール44〕
シングルマイクノイズ低減処理モジュール432の出力周波数領域信号Sso(m,k)を、逆高速フーリエ変換(IFFT)を行って時間領域に変換し直すことで、ノイズ低減処理された最終出力信号so(m,n)が得られる。
0005952434.tif 000019
本実施例において、近距離場音声検出モジュール421が、現在の信号に雑音しかないと検出した時、その際、ユーザーが受話状態にあり、発話していないため、ユーザーの把持方式が判断できず、現在にどのノイズ低減モードを用いるべきかを正確に判断することもできない。従って、本発明では、前回で検出した把持方式のままで、これまで変更していないと仮定することにより、次回にユーザーが発話してユーザーの把持方式が正確に判断できる時点になるまで、元のノイズ低減モードが保持される。
【００３９】
以上をまとめて、本発明のように、ユーザーが発話している時にユーザーの携帯電話の把持状態を検出し、ユーザーの携帯電話の把持状態によって、異なるノイズ低減処理技術を用いて、ユーザーが携帯電話を正常に把持している時に、マルチマイクノイズ低減とシングルマイクノイズ低減とを組み合わせる技術を用いて定常騒音と非定常騒音との両方に効果的な抑制を行うのに対して、ユーザーが携帯電話を異常に把持している時に、シングルマイクノイズ低減技術を用いて定常騒音のみを抑制することで、マルチマイクノイズ低減の音声への損傷が回避され、音声品質が保証される。
【００４０】
上述したのは、あくまでも本発明の好ましい実施例であり、本発明の保護範囲を限定するためのものではない。本発明の精神及び原則内になされたあらゆる変更、均等置換、改良等は、いれずも本発明の保護範囲内に含まれるものとする。
【図１】
0005952434.tif 000020
【図２】
0005952434.tif 000021
【図３】
0005952434.tif 000022
【図４】
0005952434.tif 000023