(57)【特許請求の範囲】
【請求項１】
方法であって、
音情報を含む複数の信号を受信するステップと、
コンピュータ・プロセッサを少なくとも部分的に用いて前記複数の信号への動的ノイズ低減フィルタリングを実行して、実質的に同等なノイズ特性を有する各前処理信号を生成するステップと、
前記前処理信号を生成するときに、各前記信号の信号レベルを動的に調節するステップであって、
前記各信号をチャネルと関連付けることと、
音声活動を検出し、該検出した音声活動に基づいて前記チャネル毎に優性重みを決定することと、
前記チャネル毎の前記優性重みに基づいて、前記前処理信号を生成するときに、前記各信号の前記信号レベルを動的に調節することと
を含むステップと、
前記前処理信号の内少なくとも２つを結合して出力信号を供給するステップと
を含む、方法。
【請求項２】
請求項１記載の方法であって、更に、各マイクロフォンによって前記複数の信号を供給するステップを含み、前記マイクロフォンの内少なくとも２つが、車両の異なる位置に配置される、方法。
【請求項３】
請求項１記載の方法において、前記複数の信号について前記動的ノイズ低減フィルタリングを実行するステップが、更に、スペクトル形状およびパワーの内少なくとも１つに関して、背景ノイズが実質的に同等となるように、前記前処理信号を駆動することを含む、方法。
【請求項４】
請求項１記載の方法において、前記ノイズ特性が、実質的に同等の信号対ノイズ比を含む、方法。
【請求項５】
請求項１記載の方法において、前記複数の信号における信号が各チャネルと関連付けられており、前記動的ノイズ低減フィルタリングが、少なくとも部分的にノイズ・パワー・スペクトル密度に基づいて、チャネル毎に動的スペクトル・フロアを決定することを含む、方法。
【請求項６】
請求項１記載の方法であって、更に、前記各信号の信号レベルを、動的に目標レベルに調節するステップを含む、方法。
を含む、方法。
【請求項７】
請求項１記載の方法であって、更に、チャネルの発話活動に対応して加重される前記前処理信号の内少なくとも２つを結合するステップを含む、方法。
【請求項８】
システムであって、
複数の信号を受信する前処理モジュールであって、
実質的に同等のノイズ特性を有する前処理信号を生成する動的ノイズ低減フィルタリング・モジュールと、
各前記信号の信号レベルを動的に調節する利得制御モジュールと
を含む前処理モジュールと、
前記前処理信号の内少なくとも２つを結合するミキサと
を備えており、
前記各信号が各チャネルと関連付けられ、
前記前処理モジュールが、更に、チャネル毎に優性重みを決定するように構成される音声活動検出モジュールを含み、
前記利得制御モジュールが、前記各信号の前記信号レベルを、前記チャネルの優性重みに少なくとも部分的に基づいて調節するように構成される、
システム。
【請求項９】
請求項８記載のシステムであって、更に、前記複数の信号を供給する複数のマイクロフォンを備えており、前記マイクロフォンの内少なくとも２つが、車両の異なる位置に配置される、システム。
【請求項１０】
請求項８記載のシステムにおいて、前記動的ノイズ低減フィルタリング・モジュールが、スペクトル形状およびパワーの内少なくとも１つに関して、前記前処理信号の背景ノイズが実質的に同等となるように構成される、システム。
【請求項１１】
請求項８記載のシステムにおいて、前記動的ノイズ低減フィルタリング・モジュールが、前記前処理信号の信号対ノイズ比が実質的に同等となるように構成される、システム。
【請求項１２】
請求項８記載のシステムにおいて、各前記信号が各チャネルと関連付けられており、前記動的ノイズ低減フィルタリング・モジュールが、ノイズ・パワー・スペクトル密度に少なくとも部分的に基づいて、前記チャネル毎に動的スペクトル・フロアを利用するように構成される、システム。
【請求項１３】
請求項８記載のシステムにおいて、前記利得制御モジュールが、前記各信号の信号レベルを目標レベルに動的に調節するように構成される、システム。
【請求項１４】
請求項８記載のシステムにおいて、前記前処理信号の内前記少なくとも２つがチャネル発話活動に対応して加重される、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]  本発明は、動的信号ミキサのためのシステムおよび方法に関し、更に特定すれば、異なる音声レベルおよび／または異なる背景ノイズを補償するためのスペクトル前処理を含む、動的マイクロフォン信号ミキサに関するものである。
【従来技術】
【０００２】
[0002]  ディジタル信号処理では、多くの多重マイクロフォン配列が存在し、１つ以上のマイクロフォン信号を結合する必要がある。用途は多岐にわたり、例えば、テレビ会議に関連する生のミキシングというシナリオから、自動車内環境におけるハンズ・フリー通話(hands free telephony)までに及ぶと考えてよい。信号品質は、マイクロフォンの位置、マイクロフォンのタイプ、背景ノイズの種類、話者自身に依存して、種々の話者チャネル間で激しく異なる場合がある。例えば、車内において多数の話者を含むハンズ・フリー通話システムについて考える。各話者は、音声を取り込むことができる専用マイクロフォンを有する。開いている窓のような異なる影響要因のために、マイクロフォン信号を互いに比較する場合、背景ノイズが大きく変動する可能性がある。アクティブな話者間でハードの切り替えを行う場合に、ノイズのジャンプおよび／または異なる色合い(coloration)が顕著となる場合もあり、またはソフト・ミキシング機能が更に高いノイズを含み、その結果ノイズ・レベルを高めることもある。
【０００３】
[0003]  自動マイクロフォン・ミキサの概念が、D.Dugan: Application of Automatic Mixing Techniques to Audio Consoles（オーディオ・コンソールへの自動ミキシング技法の応用）, SMPTE Television Conference, vol. 101, 19-27, New York, NY, 1922において提案されている。この文献をここで引用したことにより、その内容全体が本願にも含まれることとする。これは、多重マイクロフォン生音響のシナリオに、「自動ミキシング」機能を用いる。しかしながら、Duganでは、背景ノイズからの影響が考慮されていない。S. P. Chandra, K. M. Senthil, M.P.P. Bala: Audio Mixer for Multi-party Conferencing in VoIP（ＶｏＩＰにおける多者会議用オーディオ・ミキサ）, Proceedings of the 3rd IEEE International Conference on Internet Multimedia Services Architecture and Applications (IMSAA'09), 31-36, IEEE Press, Piscataway, NJ, USA,2009では、切り替え時におけるノイズが多い信号のために、各チャネルにおいて固定方式のノイズ低減が開示されているが、ミキサの判断基準自体には、ノイズは考慮されていない。この文献をここで引用したことにより、その内容全体が本願にも含まれることとする。他の解決策には、ミキシング・プロセスの出力における信号対ノイズ比（SNR)の最大化に基づくものがある（例えば、J. Freudenberger, S. Stenzel, B. Venditti: Spectral Combination for Microphonediversity Systems（マイクロフォン・ダイバシティ・システムのためのスペクトル結合）, 17th European Signal Processing Confierence (EUSIPCO-2009), Glasgow, 2009、およびW. Kellermann: Sprachverarbeitungseinrichtung, (DE4330243), 1995を参照のこと。双方の文献をここで引用したことにより、その内容全体が本願にも含まれることとする）。自動車内環境のような背景ノイズが多いシナリオが考慮されているが、多数の専用マイクロフォンを有する１人の話者しか考慮されていない。Freudenbergerでは、全てのマイクロフォン・チャネルにおいて同様のノイズ・レベルを想定するが同相の信号を追加するダイバシティ技法が開示されている。ダイバシティ効果を用いて異なるノイズを処理する他の方法が、T. Gerkmann and R. Martin, "Soft decision combining for dual channel noise reduction" （デュアル・チャネル・ノイズ低減のためのソフト判断結合）(9. Int. Conference on Spoken Language Processing (Interspeech ICSLP), Pittsburgh, Pennsylvania, Sept. 2006, pp. 2134-2137に開示されている。この文献をここで引用したことにより、その内容全体が本願にも含まれることとする。ここでは、音声期間において位相差を推定する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
[0004]  以上で述べた手法は、異なるノイズ・レベルや色合いが生ずるかもしれないこと、そして異なる話者の活動(activity)間の切り替えは、背景ノイズを考慮して、目立ってはならないことを考慮に入れていない。更に、ノイズ・レベルがミキシング機能によって増大されてはならない。
【課題を解決するための手段】
【０００５】
[0005]  本発明の一実施形態によれば、信号処理システムは、前処理モジュールを含む。この前処理モジュールは、複数の信号を受信し、これらの信号の各々を、ノイズ低減アルゴリズムにしたがって動的にフィルタ処理して、実質的に同等のノイズ特性を有する前処理信号を生成する。ミキサは、これらの前処理信号の内少なくとも２つを結合する。
【０００６】
[0006]  本発明の関連実施形態によれば、信号処理システムは、複数の信号を供給する複数のマイクロフォンを備えてもよい。上記マイクロフォンの内少なくとも２つ以上が、自動車またはボートというような、車両の異なる乗員室内に位置付けられている。他の実施形態では、２つ以上のマイクロフォンは、会議の通話のために、異なる場所に離れて位置付けてもよい。
【０００７】
[0007]  本発明の他の関連実施形態によれば、上記ノイズ低減アルゴリズムが、スペクトル形状および／またはパワーに関して、信号の背景ノイズが実質的に同等となるように、信号の各々を駆動するとよい。上記ノイズ低減アルゴリズムは、信号の信号対ノイズ比が実質的に同等となるように、信号の各々を駆動してもよい。各信号にはチャネルと関連付けられてもよく、上記ノイズ低減アルゴリズムは、少なくとも部分的にノイズ・パワー・スペクトル密度に基づいて、チャネル毎に動的スペクトル・フロアを決定するステップを含む。
【０００８】
[0008]  本発明の更に他の関連実施形態では、前処理モジュールが、更に、信号の各々の信号レベルを動的に調節する利得制御モジュールを含んでもよい。利得制御モジュールは、信号の各々の信号レベルを、動的に目標レベルに調節するとよい。各信号はチャネルと関連付けられてもよく、前処理モジュールは、更に、チャネル毎に優性重みを決定する音声活動検出モジュールを含んでもよく、利得制御モジュールは、信号の各々の信号レベルを、その関連付けられたチャネルの優性重みに少なくとも部分的に基づいて調節する。
【０００９】
[0009]  本発明の更に他の実施形態では、各信号がチャネルと関連付けられており、前処理モジュールが、更に、チャネル毎に優性重みを決定する音声活動検出モジュールを含んでもよく、ノイズ低減アルゴリズムは、チャネル毎に、それに関連付けられた優性重みに少なくとも部分的に基づいて、前処理信号を生成する。ミキサは、更に、前処理信号に重み付けする動的重みを含んでもよく、動的重みは、前処理モジュールと関連付けられた優性重みとは異なる。
【００１０】
[0010]  本発明の他の実施形態によれば、信号処理方法は、複数の信号を受信するステップを含む。ノイズ低減アルゴリズムにしたがって信号の各々を動的にフィルタ処理して、実質的に同等なノイズ特性を有する前処理信号を生成する。前処理信号の内少なくとも２つを結合する。
【００１１】
[0011]  本発明の関連実施形態によれば、この方法は、更に、複数のマイクロフォンによって複数の信号を供給するステップを含み、マイクロフォンの内少なくとも２つ以上が、車両の異なる乗員室に位置付けられている。他の実施形態では、２つ以上のマイクロフォンが、会議の通話のために、異なる場所に離れて位置付けられる。    
【００１２】
[0012]  本発明の関連実施形態によれば、ノイズ低減アルゴリズムにしたがって信号の各々を動的にフィルタ処理するステップが、スペクトル形状およびパワーの内少なくとも１つに関して、信号の背景ノイズが実質的に同等となるように、信号の各々を駆動するステップを含んでもよい。ノイズ低減アルゴリズムにしたがって信号の各々を動的にフィルタ処理するステップは、信号の信号対ノイズ比が実質的に同等となるように、信号の各々を駆動するステップを含むのでもよい。各信号はチャネルと関連付けられてもよく、ノイズ低減アルゴリズムにしたがって信号の各々を動的にフィルタ処理するステップは、少なくとも部分的にノイズ・パワー・スペクトル密度に基づいて、チャネル毎に動的スペクトル・フロアを決定するステップを含む。
【００１３】
[0013]  本発明の更に他の実施形態によれば、この方法は、更に、前処理信号を生成するときに、信号の各々の信号レベルを動的に調節するステップを含んでも良い。信号の各々の信号レベルを動的に調節するステップは、信号の各々の信号レベルを、動的に目標レベルに調節するステップを含んでもよい。各信号はチャネルと関連付けられてもよく、この方法は、更に、チャネル毎に優性重みを決定する音声活動検出モジュールを適用するステップを含む。前処理信号を生成するときに、信号の各々の信号レベルを動的に調節するステップは、チャネル毎に、その関連付けられた優性重みに少なくとも部分的に基づいて、前処理信号を生成するステップを含んでもよい。
【００１４】
[0014]  本発明の更に他の実施形態によれば、各信号はチャネルと関連付けられており、この方法は、更に、チャネル毎に優性重みを決定する音声活動検出モジュールを適用するステップを含む。ノイズ低減アルゴリズムにしたがって信号の各々を動的にフィルタ処理して、前処理信号を生成するステップは、チャネル毎に、それに関連付けられた優性重みに少なくとも部分的に基づいて、前処理信号を生成するステップを含んでもよい。前処理信号の内少なくとも２つを結合するステップは、更に、前処理信号に重み付けするために、動的重み係数を用いるステップを含んでもよい。前処理信号を結合することに関連する動的重み係数は、前処理信号を生成することに関連する優性重みとは異なるとよい。
【００１５】
[0015]  本発明の他の実施形態によれば、複数の信号を動的に結合するためのコンピュータ・プログラム生産物を提供する。このコンピュータ・プログラム生産物は、コンピュータ読み取り可能プログラム・コードを有するコンピュータ使用可能媒体を含み、コンピュータ読み取り可能プログラム・コードは、プログラム・コードを含む。このプログラム・コードは、コンピュータ読み取り可能プログラム・コードが、ノイズ低減アルゴリズムにしたがって信号の各々を動的にフィルタ処理して、実質的に同等なノイズ特性を有する前処理信号を生成する機能を備えている。前処理信号の内少なくとも２つを結合する。
【００１６】
[0016]  本発明の関連実施形態によれば、ノイズ低減アルゴリズムにしたがって信号の各々を動的にフィルタ処理するプログラム・コードは、スペクトル形状および／またはパワーの内少なくとも１つに関して、信号の背景ノイズが実質的に同等となるように、信号の各々を駆動するプログラム・コードを含んでもよい。各信号はチャネルと関連付けられてもよく、ノイズ低減アルゴリズムにしたがって信号の各々を動的にフィルタ処理するプログラム・コードは、少なくとも部分的にノイズ・パワー・スペクトル密度に基づいて、チャネル毎に動的スペクトル・フロアを決定するプログラム・コードを含む。
【００１７】
[0017]  本発明の更に別の関連実施形態によれば、コンピュータ・プログラム生産物は、更に、前処理信号を生成するときに、信号の各々の信号レベルを動的に調節するプログラム・コードを含む。各信号は、チャネルと関連付けられてもよい。コンピュータ・プログラム生産物は、更に、チャネル毎に優性重みを決定する音声活動検出モジュールを適用するプログラム・コードを含む。前処理信号を生成するときに、信号の各々の信号レベルを動的に調節するプログラム・コードは、チャネル毎に、その関連付けられた優性重みに少なくとも部分的に基づいて、前処理信号を生成するプログラム・コードを含んでもよい。
【００１８】
[0018]  本発明の更に別の関連実施形態によれば、各信号はチャネルと関連付けられてもよく、コンピュータ・プログラム生産物は、更に、チャネル毎に優性重みを決定する音声活動検出モジュールを適用するプログラム・コードを含む。ノイズ低減アルゴリズムにしたがって信号の各々を動的にフィルタ処理して、前処理信号を生成するプログラム・コードは、チャネル毎に、それに関連付けられた優性重みに少なくとも部分的に基づいて、前処理信号を生成するプログラム・コードを含んでもよい。前処理信号の内少なくとも２つを結合するプログラム・コードは、更に、前処理信号に重み付けするために、動的重み係数を用いるプログラム・コードを含んでもよい。前処理信号を結合することに関連する動的重み係数は、前処理信号を生成することに関連する優性重みとは異なるとよい。
【００１９】
[0019]  以上の実施形態の特徴は、添付図面を参照しながら以下の詳細な説明を参照することによって、一層容易に理解されよう。
【図面の簡単な説明】
【００２０】
【図１】[0020]図１は、本発明の一実施形態による動的信号ミキシングのための信号処理システムのシステム全体像を示す。
【図２】[0021]図２（ａ）は、本発明の一実施形態による、種々のチャネルと関連付けられたカウンタ例（Cmax=100）を示す。図２（ｂ）は、本発明の一実施形態による、話者の優性(dominance)を特徴付ける、話者優性重みgm(l)にマッピングされたカウンタを示す。
【図３】[0022]図３は、本発明の一実施形態による自動利得制御（ＡＧＣ）のブロック図を示す。
【図４】[0023]図４は、本発明の一実施形態によるノイズ低減（ＮＲ）のブロック図を示す。
【図５】[0024]図５（ａ）は、入力チャネルの切り替え（ＮＲなし）後における、処理された出力信号を示す。図５（ｂ）は、本発明の一実施形態による、bref=0.4を有する、処理後に得られた信号を示す。
【図６】[0025]図６（ａ）は、種々のミキシング・システムの方法を評価した、平均投票結果(mean voting results)を示す。図６（ｂ）は、異なる方法に対する格付け分布(rating distribution)を示す。
【発明を実施するための形態】
【００２１】
[0026]  本発明の例示的な実施形態において、ノイズのある環境において異なる話者を支援する新たな信号結合システムおよび方法を提供する。特に、チャネル間のノイズ特性の逸脱(deviation)に対して、種々の実施形態は、話者交代時における背景ノイズの円滑な遷移を確実に行わせる。動的な、チャネル特定の、そして周波数に依存する最大減衰を適用することによって、修正ノイズ低減（ＮＲ）から同等な背景ノイズ特性を得ることができる。背景ノイズを調節するための基準特性は、優性話者チャネルによって指定することができる。種々の実施形態において、動的な目標レベルを有する自動利得制御（ＡＧＣ）が、全てのチャネルにおいて同様の音声信号レベルを確保する。以下で詳細について論ずる。
【００２２】
[0027]  図１は、本発明の一実施形態による、動的信号ミキシングのための信号処理システムのシステム全体像を示す。本システムの用途は、テレビ会議システム上のライブ・ミキシングのシナリオから、自動車システムにおけるハンズ・フリー通話まで、多岐にわたることができる。本システムは、Ｍ個のマイクロフォン１００を含む。これらには、マイクロフォン・インデックスｍが付けられ、限定ではなく、Ｍ個の入力信号に関連付けられている。Ｍ個の入力信号が結合されて１つ（以上）の出力信号Ｙを形成する。
【００２３】
[0028]  話者の交代(change)を含むがこれに限定されない音響状況の変化のために、マイクロフォンの信号レベルはときの経過と共に変動するのが通例である。更に、種々のマイクロフォン１００が、限定ではなく、様々なノイズ特性を有するように互いから離れて位置する、異なる話者の中に位置付けられている場合もある。例えば、種々の話者が、自動車またはボートのような車両の異なる乗員室内に位置する場合や、あるいは会議の通話(conference call)のために異なる場所に位置する場合がある。
【００２４】
[0029]  例示的な実施形態では、前処理モジュール１１０がマイクロフォン１００から信号を受信し、これらの信号の各々を、ノイズ低減アルゴリズムにしたがって動的にフィルタ処理して、実質的に同等のノイズ特性を有する前処理信号Ｙ１からＹＭまでを生成する。前処理モジュール１１０は、限定ではなく、音声活動検出（ＶＡＤ）１１２を含むことができる。音声活動検出（ＶＡＤ）１１２は、各マイクロフォンおよび／または話者の優性(dominance)を判定し、それに基づいて優性重み（ＤＷ ; Dominance Weights）を計算する（１１８）。この優性重み１１８は、ＡＧＣ１１４およびＮＲ１１６の最大減衰を調節するための目標値１２０を計算するのに寄与する。これらの前処理ステップの後、各チャネルにおける信号を同様の音響レベルおよびノイズ特性に駆動し、例えば、ミキサ１２２において結合する。
【００２５】
[0030]  以上の処理は、周波数ドメインまたはサブバンド・ドメインにおいて行うことができ、ｌはフレーム・インデックスを示し、ｋは周波数インデックスを示す。短時間フーリエ変換は、ハミング・ウィンドウ(Hann window)と、限定ではなく、２５６サンプルを有し１１０２５Ｈｚのサンプリング周波数において７５％重複するブロック長とを用いることができる。各マイクロフォン信号は、例えば、音声およびノイズ信号成分の重畳によってモデル化することができる。
【００２６】
【数１】
0005834088.tif 000002
【００２７】
話者の優性
[0031]  本発明の種々の実施形態によれば、目標レベル１２０を計算するとき、どの話者／マイクロフォンがある時点において優性であるか把握することが重要なことが多い。話者が話していた時間を評価することによって、優性重み（ＤＷ）１１８を決定することができる。ＤＷ１１８は、後に目標値を設定するために用いることができる。1人の話者のみがアクティブである場合、所定の時間量の後、この具体的なチャネルだけで、目標値を制御することができる。全ての話者が同様にアクティブである場合、目標値は全てのチャネル特性の平均に対応すればよいが、これは限定ではない。ＤＷの速い変化は、背景ノイズにおいてレベル・ジャンプまたは変調(modulation)を生ずる可能性がある。したがって、これらの重みは、ゆっくりと適応させることを推奨する（例えば、強い時間的スムージングによって実現する）。  
【００２８】
[0032]  チャネル毎に必要なフルバンド(fullband)ＶＡＤ  vadm(l)に対する値を決定するために、T. Matheja and M. Buck, "Robust Voice Activity Detection for Distributed Microphones by Modoeling of Power Ratios"（パワー比率のモデリングによる分散マイクロフォンのためのロバストな音声活動検出） (9. ITG_Fachtagung Sprachkommunications, Bochen, Oct. 2010)に記載されている方法のような、種々の方法を用いることができる。この文献をここで引用したことにより、その内容全体が本願にも含まれることとする。例えば、特定のカウンタCm(l)を時間枠毎に、そして特定の話者がアクティブであるチャネル毎に（vadm(l)=1)増加させ、それ以外ではカウンタを減少させるか、不変のままにしておいてもよいが、これは限定ではない。
【００２９】
【数２】
0005834088.tif 000003
【００３０】
[0033]  カウンタをそれぞれCmaxまたはCminによって制限することによって、話者の最大優性または最少優性を定義する。種々の実施形態では、現在の話者がtinc秒発話した後に優性になるように、カウンタの増大間隔cincを設定するとよい。増大間隔cincは、２つの連続する時間枠間の更新時間Tframeを用いて、次の式に従う。
【００３１】
【数３】
0005834088.tif 000004
【００３２】
[0034]  いずれかの他のチャネルｍ’において他の話者がアクティブになった場合、チャネルｍについて減少定数(decreasing constant)を再計算するとよい。この実施形態では、1人が話すことを想定する。このような実施形態では、直前の話者の優性カウンタは、新たなアクティブな話者がcmaxに達しそれによって最大優性になった後、cminになるとよい。非常に小さな値の定数εを含ませてゼロによる除算を回避すると、cdec,mは次の式によって決定することができる。
【００３３】
【数４】
0005834088.tif 000005
【００３４】
[0035]  実例として、図２（ａ）は、カウンタ例（cmin=0，cmax=100）を示す。図２（ｂ）に示すように、これらのカウンタを、話者の優性を特徴付ける話者優性重みgm(l)にマッピングすることができる。
【００３５】
【数５】
0005834088.tif 000006
【００３６】
動的信号調節
[0036]  前出の音声および／またはノイズ・レベルの相違を補償するために、本発明の種々の実施形態にしたがって、基礎となるマイクロフォン信号から計算される適応目標レベルに対する適応化(adaptation)を実行するＡＧＣ１１４および動的ＮＲ１１６を以下で紹介する。
自動利得制御
[0037]  図３は、本発明の一実施形態によるＡＧＣのブロック図を示す。本発明の種々の実施形態において、入力信号X~m(l,k)に基づいて、ＡＧＣ３０２は、限定ではなく、ｍ番目のマイクロフォン信号３０４におけるピーク・レベルX^P,m(k)を推定することができ、この推定したピーク・レベルを目標ピーク・レベルXrefP(k)に適用するためのフルバンド増幅係数am(l)３０６を決定する。
【００３７】
[0038]  ピーク・レベル推定のための例示的な方法が、E. Hansler and G. Schmidt, Acoustic Echo and Noise Control: A Practical Approach （音響エコーおよびノイズ制御：実用的手法）Hoboken, NJ, USA: John Wiley & Sons, 2004, vol. 1において提案されている。この文献をここで引用したことにより、その内容全体が本願にも含まれるものとする。ピーク追跡のために時間ドメイン信号を用いる代わりに、全てのサブバンドに二乗平均平方根を適用してもよい。ＡＧＣ１１４は、各チャネルにおいて、周波数に依存しない利得係数によって処理されるとよい。すると、出力は次の結果を得る。
【００３８】
【数６】
0005834088.tif 000007
【００３９】
利得係数を再帰的に平均すると、
【００４０】
【数７】
0005834088.tif 000008
【００４１】
ここで、γはスムージング定数を示す。γの範囲は、限定ではなく、０＜γ＜１とするとよい。例えば、γを０．９に設定するとよい。目標、もっと正確に言えば、基準ピーク・レベルXrefP(l)は、全てのピーク・レベルの加重和であり、次の式によって決定される。
【００４２】
【数８】
0005834088.tif 000009
【００４３】
[0039]  このように、本発明の例示的実施形態では、基準音声レベルを主に優性チャネルによって指定し、異なる音声信号レベルを、ほぼ同じ信号パワーに適応させる(adapt)。
動的ノイズ低減
[0040]  実例として、動的ＮＲ１１６は、全てのチャネルに対して、等しいパワーおよびスペクトル形状の背景ノイズを得ようとすればよい。図４は、本発明の一実施形態によるＮＲ４０２のブロック図を示す。ＮＲ４０２は、パワー推定器４０４およびノイズ推定器４０６の双方を含むことができ、それぞれ、着信信号をフィルタ処理する（４１０）ためにフィルタ特性４０８を決定する。最大減衰は、マイクロフォン毎にそしてサブバンド毎に変動する可能性がある。ｍ番目のマイクロフォン・チャネルにおける推定ノイズ・パワー・スペクトル密度（ＰＳＤ）を示すΦ~n,m(l,k)を用いると、ＡＧＣ１１４後のノイズＰＳＤは、次のようになる。
【００４４】
【数９】
0005834088.tif 000010
【００４５】
[0041]  ＮＲ１１６には、スペクトル重み付けに基づく異なる特性を選択することができる。例えば、ＮＲフィルタ係数H~m(l,k)は、固定の過大評価係数β、最大過大評価α、および再帰スムージングによって推定された信号全体PSDΦx,m(l,k)を用いて、再帰ウィーナー特性（E. Handler et al.を参照のこと）によって計算することができる。
【００４６】
【数１０】
0005834088.tif 000011
【００４７】
[0042]  各チャネルにおいて最大の減衰を実現するために、フィルタ係数を個々の動的スペクトル・フロアbm(l,k)によって制限してもよい。
【００４８】
【数１１】
0005834088.tif 000012
【００４９】
[0043]  全体的なノイズ低減を指定する基準フロアbrefを設定した後、そして共通目標ノイズPSDΦrefn(l,k)を推定した後、スペクトル・フロアを次の式で判定することができる。
【００５０】
【数１２】
0005834088.tif 000013
【００５１】
[0044]  ここで、目標ノイズＰＳＤは、式８における目標ピーク・レベルと同様に、優性重みによって、適応的に計算することができる。
【００５２】
【数１３】
0005834088.tif 000014
【００５３】
[0045]  全てのチャネルにわたるノイズ・レベルおよび色合いの差は、限定ではなく、動的スペクトル・フロアbm(l,k)によって補償することができる。図５（ａ）は、チャネル間切り替え（ＮＲなし）の後における出力信号を示す。図５（ｂ）は、本発明の一実施形態にしたがって、bref=0.4として得られた、処理後の信号のスペクトル図を示す。種々の実施形態において、可能な限りノイズ低減を行うことは必須ではなく、前述の異なるノイズ特性を補償するために望ましい程度に行えばよい。実例として、ＮＲ１１６の適当な動作のためには、次のような制限を導入することが有利であると考えられる。
【００５４】
【数１４】
0005834088.tif 000015
【００５５】
[0046]  ＡＧＣの重みが次の範囲内にある場合、
【００５６】
【数１５】
0005834088.tif 000016
【００５７】
この処理は通例正しく行われるが、そうでないと残差切り替えの影響が聞こえる場合がある。この処理信号を得るために、数式１１からのフィルタ係数を、周波数ドメインにおける複素値信号に適用するとよい。
【００５８】
【数１６】
0005834088.tif 000017
【００５９】
[0047]  その結果、全ての信号は、同様のノイズ特性（例えば、同等のパワーおよび／またはスペクトル形状）、および個々のアクティブな話者チャネル間において滑らかな遷移期間を示すように駆動される。ノイズ信号の強度差は、許容されるが、例えば、１人の話者だけが優性である場合にのみ、ある時間の後表面化する可能性がある。
信号の結合
[0048]  次に、処理後の信号はミキサ１２２によって結合され、限定ではなく、１つの出力信号を得る。種々の実施形態において、処理後の信号の何らかの結合によって、複数の出力を実現することができる。勿論、信号を結合するための重みは、優性重みとは無関係に選択することができ、種々の異なる方法を適用することができる。ミキサの重みは、限定ではなく、例えば、ＶＡＤ１１２からの出力を用いた、発話活動(speech activity)に基づくのでもよい。ハードによる切り替えの方法では、実数値の重みに離散値(discrete value)を適用する。あるいは、チャネル間の切り替えは、ソフト重み(soft weight)によって、もっと円滑に実現することもできる。ソフト重みは、発話活動に応じて、ある速度で増減する。更に洗練されたミキシング方法では、周波数に依存する重みを用い、入力信号に応じて動的に割り当てられる。また、これらの方法は、入力信号の音声成分の位相を整列するために、複素値の重みも含むこともできる。この場合、出力信号は、所望の信号の建設的な重畳により、ＳＮＲの向上を得ることができる。
【００６０】
[0049]  種々の実施形態によれば、例えば、1人が話す状況を想定することができ、同じ時間では1人の話者だけがアクティブである場合、実数値の最大帯域重みwm(l)を用いることが適していると考えられる。
【００６１】
【数１７】
0005834088.tif 000018
【００６２】
[0050]  全てのチャネルにおける異なる信号特性の調節によって、切り替えの影響に全く気付かずに、アクティブな話者間で切り替えることができる（図３参照）。ＶＡＤ１１２によって重みwm(l)∈{0, 1}を決定することができ、次の話者がアクティブになるまで保持する。ミキシングのためにソフト重みを使用する場合、ミキサ重みwm(l)は素早く変化しなければならない。例えば、新たな話者（これまではインアクティブであった）が話し始めるときには、多くの音声を失わないために、対応する重みを素早く増大させること（アタック）が必要となる。減衰（解放）は通常もっとゆっくりと行われる。何故なら、アクティブな話者が発話し続ける可能性が高いからである。
【００６３】
[0051]  一般に、当技術分野において知られているミキシング方法はいずれも適用することができる。例えば、周波数依存重みを適用するミキシング方法（例えば、ダイバシティ技法）または複素値重みを適用するミキシング方法（例えば、ＳＮＲ最適化技法のような方法）であっても、利用することができるが、これは限定ではない。
計算効率的な解決手段
[0052]  計算の手間を省くために、種々の実施形態では、全てのチャネルを完全に処理することはしない。例えば、ノイズ低減および／またはＡＧＣは、Ｎ個の最もアクティブなチャネルについてのみ計算すればよい。実例として、ミキサ重みwm(l)が最も大きいチャネルを取り上げることができる（１≦Ｎ＜Ｍ）。他のチャネルは処理されず、対応するミキサ重みは０に設定される。これらは、出力信号には全く寄与しない。Ｎ人よりも多い話者が同時にアクティブになる場合、少なくとも１人の話者が最適にカバーされないという問題があり得る。しかしながら、自動車の環境では、この話者の音声信号は、交差結合(cross-coupling)を通じてミキサの出力信号に入ることができる。つまり、彼が完全に抑制されることはない。実際のシナリオでは、これはしばしば発生したり、永続的に発生すべきではない。
評価
[0053]  以上で説明したシステムを、約９０ｋｍ／ｈおよび１３０ｋｍ／ｈで運転した自動車において、４人が交互に発話し、２人が前の座席におり２人が後ろの座席にいて、各々が専用のマイクロフォンを有する状況で測定した信号を用いて評価した。窓を開いて劣悪なノイズが入るというシナリオも考慮した。主観的な聴取検査を行い、３つの信号結合方法を比較した。即ち、固定のスペクトル・フロアb=0.4としたノイズ低減チャネル信号間におけるハード切り替え、本発明の種々の実施形態による動的信号結合方法（bref=0.4，bmin=0.1，bmax=3）、およびダイバーシティ手法（Freudenberger et al.参照）である。１０人の検査官が１７組の音声信号を聴取した。各組において、先の３つの異なる方法の各々によって、１つの信号を処理した。課題は、最高（インデックス１）から始まって最低（インデックス３）で終わるように、結果的に得られた信号をそれらの品質で並び替えることであった。被験者は、彼らが好きなだけ頻繁に信号を聴くことが出来た。音声品質、ノイズの音、および全体的な印象を数値化した。
【００６４】
[0054]  図６（ａ）および図６（ｂ）は、この検査の結果を示す。図６（ａ）は、平均投票結果を示す。図６（ｂ）は、異なる方法についての格付け分布(rating distribution)を示す。チャネル間の単純なハード切り替えでは、煩わしいノイズ・ジャンプから来ると考えられる貧弱な結果が示されている。他の方法では、実質的に一定の背景ノイズが得られているが、本発明の種々の実施形態による動的信号結合方法が最良の結果を生んでいる。同様に、３つの手法全てにおいて、音声品質も評価した。ダイバシティ方法は、ここでは、不自然に聞こえる(unnatural sounding)背景ノイズを示した。何故なら、これは本来高い音声品質を達成するために設計されたからである。全体的な印象についでも、背景ノイズは極めて重大であると思われる。したがって、以上で説明した本発明の実施形態による手法は、その自然な音響および滑らかなノイズ遷移において有利である。
結論
[0055]  ノイズのある環境において様々な話者を支援する、新たな動的信号結合システムおよび方法について紹介した。異なる２組の重みを用いて、これらを独立して制御することができる。即ち、ミキサ重みは、話者が変わった後に発話の開始を取り込むために非常に素早く変化することができ、一方優性重みは、結果的に得られる信号に対して望ましい信号特性を指定するために、それよりもゆっくりと調節することができる。このため、背景ノイズまたは音声レベルがチャネル間で大きく異なっていても、異なる話者のマイクロフォン信号間で、滑らかな遷移を達成することができる。また、紹介したシステムおよび方法は、ソフト重みまたは複素値の重みを用い、これらの重みが完全に独立であるために、他のミキシング手法のためのプリプロセッサとしても使用することができる。
【００６５】
[0056]  本発明では、例えば、前処理モジュール１１０および／またはミキサ１２２は、多くの異なる形態で具体化することができる。これらの形態には、プロセッサ（例えば、マイクロプロセッサ、マイクロコントローラ、ディジタル信号プロセッサ、または汎用コンピュータ）と共に用いるコンピュータ・プログラム・ロジック、プログラマブル・ロジック・デバイス（例えば、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）または他のＰＤＬ）と共に用いるプログラマブル・ロジック、ディスクリート・コンポーネント、集積回路（例えば、用途特定集積回路（ＡＳＩＣ））、あるいはこれらのあらゆる組み合わせを含む他のあらゆる手段が含まれるが、決してこれらに限定されるのではない。
【００６６】
[0057]  本明細書においてこれまでに説明した機能の全部または一部を実現するコンピュータ・プログラム・ロジックは、種々の形態で具体化することができ、ソース・コードの形態、コンピュータ実行可能な形態、および種々の中間形態（例えば、アセンブラ、コンパイラ、リンカ、またはロケータによって生成される形態）が含まれるが、決してこれらに限定されるのではない。ソース・コードは、種々のオペレーティング・システムまたは動作環境で用いるために、種々のプログラミング言語（例えば、オブジェクト・コード、アセンブリ言語、あるいはフォートラン、Ｃ、Ｃ＋＋、ＪＡＶＡ、またはＨＴＭＬのような上位言語）のいずれかで実現された一連のコンピュータ・プログラム命令を含むことができる。ソース・コードは、種々のデータ構造および通信メッセージを定義し使用することができる。ソース・コードは、コンピュータ実行可能形態（例えば、インタプリタによる）とすることができ、またはソース・コードをコンピュータ実行可能形態に変換してもよい（例えば、トランスレータ(translator)、アセンブラ、またはコンパイラによって）。
【００６７】
[0058]  コンピュータ・プログラムは、いずれの形態でも（例えば、ソース・コード形態、コンピュータ実行可能形態、または中間形態）、永続的に、一時的ではなく(non-transitory)、または一時的に、有形記憶媒体に固定することができる。有形記憶媒体とは、半導体メモリ・デバイス（例えば、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュ・プログラマブルＲＡＭ）、磁気メモリ・デバイス（例えば、ディスケットまたは固定ディスク）、光メモリ・デバイス（例えば、ＣＤ‐ＲＯＭ）、ＰＣカード（例えば、ＰＣＭＣＩＡカード）、またはその他のメモリ・デバイスというようなものである。コンピュータ・プログラムは、いずれの形態でも、種々の通信技術のいずれかを用いて、コンピュータに送信可能な信号内に固定することもできる。種々の通信技術には、アナログ技術、ディジタル技術、光技術、ワイヤレス技術、ネットワーキング技術、および相互ネットワーキング技術(internetworking technologies)が含まれるが、決してこれらに限定されるのではない。コンピュータ・プログラムは、印刷した文書または電子文書が付属するリムーバブル記憶媒体というような（例えば、シュリンク・ラップ・ソフトウェアまたは磁気テープ）あらゆる形態で流通させることができ、コンピュータ・システムに予めロードしておくことができ（例えば、システムＲＯＭ上または固定ディスク上）、あるいはサーバまたは電子掲示板から通信システム（例えば、インターネットまたはワールド・ワイド・ウェブ）を通じて流通させることもできる。
【００６８】
[0059]  本明細書においてこれまでに説明した機能の全てまたは一部を実現するハードウェア・ロジック（プログラマブル・ロジック・デバイスと共に用いるプログラマブル・ロジックを含む）は、従前からの手作業の方法を用いて設計することもでき、あるいはコンピュータ補助設計（ＣＡＤ）、ハードウェア記述言語（例えば、ＶＨＤＬまたはＡＨＤＬ）、またはＰＬＤプログラマブル言語（例えば、ＰＡＬＳＭ、ＡＢＥＬ、またはＣＵＰＬ）というような種々のツールを用いて、電子的に設計し、取り込み、シミュレーションし、または文書化することもできる。
【００６９】
[0060]  以上で説明した本発明の実施形態は、単なる例示であることを意図しており、多数の変形や変更は当業者には明白であろう。このような変形および変更は全て、添付した請求項のいずれかに定義されている、本発明の範囲に該当することを意図している。
【図２】
0005834088.tif 000019
【図３】
0005834088.tif 000020
【図４】
0005834088.tif 000021
【図１】
0005834088.tif 000022
【図５】
0005834088.tif 000023
【図６】
0005834088.tif 000024