(57)【要約】モバイルユーザー間のリアルタイム・ビデオ・セッションのQoEを改善するためのコンピュータ実装されるシステムおよび方法が記載される。たとえば、本発明のある実施形態に基づく方法は：サービス・プロバイダー・ネットワークの周縁上に一つまたは複数のサーバーを構成する段階と；第一のモバイル装置から、第二のモバイル装置とのリアルタイム通信セッションを確立するための要求を受信する段階と；前記第一のモバイル装置および前記第二のモバイル装置に、前記サーバーに接続するためのネットワーキング情報を与える段階と；前記サーバーを通じてリアルタイム通信セッションを確立する段階とを含む。
2014523003.tif 000002
【特許請求の範囲】
【請求項１】
ユーザー装置とリモート・ノードとの間の通信セッションの間にオーディオ信号を処理する方法であって：
少なくとも一つの主要オーディオ信号および望まれない信号を含む複数のオーディオ信号を、前記ユーザー装置におけるオーディオ入力手段において受領する段階と；
ノイズ抑制手段において前記オーディオ信号の到来方向情報を受領する段階と；
前記望まれない信号の少なくとも一部を表わす既知の到来方向情報を前記ノイズ抑制手段に提供する段階と；
前記ノイズ抑制手段において、前記オーディオ信号の到来方向情報と前記既知の到来方向情報との間の比較に依存して望まれないと同定された前記信号の諸部分をノイズとして扱うよう、前記オーディオ信号を処理する段階とを含む、
方法。
【請求項２】
前記オーディオ入力手段は：
前記少なくとも一つの主要オーディオ信号が前記オーディオ入力手段において受領される少なくとも一つの主方向を推定し；
前記少なくとも一つの主方向においてビームを形成し、前記主方向以外の任意の方向からのオーディオ信号を実質的に抑制することによって、単一チャンネル・オーディオ出力信号を生成するよう、前記複数のオーディオ信号を処理するよう構成されているビーム形成器を有しており、
前記単一チャンネル・オーディオ出力信号はフレームのシーケンスを含み、前記ノイズ抑制手段は前記フレームのそれぞれを順に処理する、
請求項１記載の方法。
【請求項３】
処理されている現在フレームの主信号成分についての到来方向情報が前記ノイズ抑制手段において受領され、当該方法はさらに：
前記現在フレームの主信号成分についての到来方向情報と、前記既知の到来方向情報とを比較する段階を含んでおり、
前記既知の到来方向情報は、（ｉ）前記オーディオ入力手段において遠端信号が受領される少なくとも一つの方向；（ｉｉ）少なくとも一つの望まれないオーディオ信号が前記オーディオ入力手段に到着する方向であり、前記少なくとも一つの望まれないオーディオ信号の信号特性に基づいて同定される、少なくとも一つの分類された方向；（ｉｉｉ）前記少なくとも一つの主要オーディオ信号が前記オーディオ入力手段において受領される少なくとも一つの主方向；および（ｉｖ）前記ビーム形成器のビーム・パターンのうちの少なくとも一つを含む、
請求項１または２記載の方法。
【請求項４】
前記現在フレームの主信号成分が望まれない信号であるかどうかを、前記比較に基づいて判定する段階と；
前記現在フレームの主信号成分が望まれない信号であると判定される場合には処理されている現在フレームに最大減衰を適用し；現在フレームの主信号成分を望まれない信号であると判定するのは：
主信号成分が前記オーディオ入力手段において、前記オーディオ入力手段において遠端信号が受領される前記少なくとも一つの方向から受領される；あるいは
主信号成分が前記オーディオ入力手段において前記少なくとも一つの分類された方向から受領される；あるいは
主信号成分が前記オーディオ入力手段において前記少なくとも一つの主方向から受領されない場合である、段階とを含む、
請求項３記載の方法。
【請求項５】
信号処理手段において、前記複数のオーディオ信号および前記少なくとも一つの主方向についての情報を受領する段階と；
前記信号処理手段において、前記少なくとも一つの主方向についての前記情報を使って前記複数のオーディオ信号を処理して前記ノイズ抑制手段に追加的情報を提供する段階と；
前記追加的情報および前記比較に依存して前記ノイズ抑制手段において処理されている現在フレームにあるレベルの減衰を適用する段階とを含んでおり、
前記追加的情報は：（ｉ）現在フレームの主信号成分の望ましさについての指標、（ｉｉ）前記少なくとも一つの主要オーディオ信号の平均パワー・レベルに対する現在フレームの主信号成分のパワー・レベル、（ｉｉｉ）現在フレームの主信号成分の信号分類、および（ｉｖ）現在フレームの主信号成分が前記オーディオ入力手段において受領される少なくとも一つの方向のうちの一つを含む、
請求項３記載の方法。
【請求項６】
請求項４ないし８のうちいずれか一項記載の方法であって、さらに：
信号処理手段において、前記単一チャンネル・オーディオ出力信号および前記少なくとも一つの主方向についての情報を受領する段階と；
前記信号処理手段において、前記少なくとも一つの主方向についての前記情報を使って前記単一チャンネル・オーディオ出力信号を処理して前記ノイズ抑制手段に追加的情報を提供する段階と；
前記追加的情報および前記比較に依存して前記ノイズ抑制手段において処理されている現在フレームにあるレベルの減衰を適用する段階とを含んでおり、
前記追加的情報は：（ｉ）現在フレームの主信号成分の望ましさについての指標、（ｉｉ）前記少なくとも一つの主要オーディオ信号の平均パワー・レベルに対する現在フレームの主信号成分のパワー・レベル、（ｉｉｉ）現在フレームの主信号成分の信号分類、および（ｉｖ）現在フレームの主信号成分が前記オーディオ入力手段において受領される少なくとも一つの方向のうちの一つを含む、
方法。
【請求項７】
請求項２ないし６のうちいずれか一項記載の方法であって、前記少なくとも一つの主方向は：
前記オーディオ入力手段において受領されているオーディオ信号間の相互相関を最大化する時間遅延を決定し；
前記オーディオ入力手段において受領されるオーディオ信号における発話特性であって最大相互相関の前記時間遅延をもつものを検出することによって決定される、
方法。
【請求項８】
前記望まれない信号は、前記ユーザー装置の外部の源または前記ユーザー装置における源によって生成され、前記源は：前記ユーザー装置のオーディオ出力手段；前記ユーザー装置における活動の源のうちの少なくとも一つを含み、前記活動は、ボタン・クリック活動、キーボード・クリック活動およびマウス・クリック活動を含むクリック活動を含む、請求項１ないし７のうちいずれか一項記載の方法。
【請求項９】
ユーザー装置とリモート・ノードとの間の通信セッションの間にオーディオ信号を処理するユーザー装置であって：
少なくとも一つの主要オーディオ信号および望まれない信号を含む複数のオーディオ信号を受領するオーディオ入力手段と；
前記オーディオ信号の到来方向情報および前記望まれない信号の少なくとも一部を表わす既知の到来方向情報を受領するノイズ抑制手段であって、前記オーディオ信号の到来方向情報と前記既知の到来方向情報との間の比較に依存して望まれないと同定された前記信号の諸部分をノイズとして扱うことによって前記オーディオ信号を処理するよう構成されている、ノイズ抑制手段と有する、
ユーザー装置。
【請求項１０】
ユーザー装置とリモート・ノードとの間の通信セッションの間にオーディオ信号を処理するユーザー装置におけるコンピュータ処理手段によって実行されるためのコンピュータ可読命令を含むコンピュータ・プログラム・プロダクトであって、前記命令は、請求項１ないし８のうちいずれか一項記載の方法を実行するための命令を含む、コンピュータ・プログラム・プロダクト。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信セッション中のオーディオ信号の処理に関する。
【背景技術】
【０００２】
通信システムは、ユーザーがネットワークを通じて互いと通信することを許容する。ネットワークは、たとえばインターネットまたは公衆電話交換網（PSTN:  Public  Switched  Telephone  Network）であってもよい。オーディオ信号はネットワークのノード間で伝送され、それによりユーザーが通信システム上での通信セッションにおいて互いにオーディオ・データ（発話データなど）を送受信することを許容することができる。
【０００３】
ユーザー装置は、ユーザーからの発話のようなオーディオ信号を受領するために使用できるマイクロホンのようなオーディオ入力手段を有していてもよい。ユーザーは、個人通話（二人だけのユーザーが通話に参加）または会議通話（三人以上のユーザーが通話に参加）のような、別のユーザーとの通信セッションにはいることができる。ユーザーの発話はマイクロホンにおいて受領され、処理され、次いでネットワークを通じて通話に含まれる他のユーザー（単数または複数）に送信される。
【０００４】
ユーザーからのオーディオ信号とともに、マイクロホンは、背景雑音のような他のオーディオ信号をも受領することがある。これはユーザーから受領されたオーディオ信号を乱すことがありうる。
【０００５】
ユーザー装置はまた、通話の間に前記ユーザー（単数または複数）からネットワークを通じて受領されるオーディオ信号をユーザーに対して出力するためのスピーカーのようなオーディオ出力手段をも有していてもよい。しかしながら、スピーカーは、ユーザー装置において実行されている他のアプリケーションからのオーディオ信号を出力するためにも使用されうる。たとえば、ユーザー装置は、ネットワークを通じて通信するための通信クライアントのようなアプリケーションを実行するテレビであってもよい。ユーザー装置が通話に携わるとき、ユーザー装置に接続されたマイクロホンは、通話における他のユーザー（単数または複数）への送信のために意図された、ユーザーによって提供される発話または他のオーディオ信号を受領するよう意図されている。しかしながら、マイクロホンは、ユーザー装置のスピーカーから出力される望まれないオーディオ信号を拾うことがありうる。ユーザー装置から出力されるそうした望まれない信号は、通話における送信のためにユーザーからマイクロホンにおいて受領されるオーディオ信号に対して擾乱を寄与することがある。
【０００６】
通話における使用などのために信号の品質を改善するために、ユーザー装置のオーディオ入力手段において受領される望まれないオーディオ信号（背景雑音およびユーザー装置から出力される望まれないオーディオ信号）を抑制することが望ましい。
【０００７】
複数のマイクロホンが単一のデバイスとして動作するステレオ・マイクロホンおよびマイクロホン・アレイの使用がますます一般的になりつつある。これらは、単一のマイクロホンによって達成できるものに加えて、抽出された空間的情報の使用を可能にする。そのようなデバイスを使うとき、望まれないオーディオ信号を抑制する一つのアプローチは、ビーム形成器〔ビームフォーマー〕を適用することである。ビーム形成は、一つまたは複数の所望される方向から来る音を向上させるために信号処理を適用することによってマイクロホン・アレイによって受領された信号をフォーカスしようとするプロセスである。簡単のため、以下では単一の所望される方向だけがある場合を記述するが、同じ方法は、関心のある方向がより多くあるときにも適用される。ビーム形成は、望まれる信号がマイクロホンにおいて受領される角度、いわゆる到来方向（DOA:  Direction  of  Arrival）情報を推定することによって達成される。適応ビーム形成器は、DOA情報を使ってアレイ内のマイクロホンからの信号をフィルタ処理して、望まれる信号がマイクロホン・アレイにおいて受領された方向において高い利得を、他の任意の方向では低い利得をもつビームを形成する。
【０００８】
ビーム形成器は、望まれない方向から来る望まれないオーディオ信号を抑制しようとするが、マイクロホンの数ならびにマイクロホン・アレイの形およびサイズがビーム形成器の効果を制限する。結果として、望まれないオーディオ信号は抑制されるが、可聴のままとなる。
【０００９】
その後の単一チャンネル処理のために、ビーム形成器の出力は一般には、単一チャンネル・ノイズ削減段に入力信号として供給される。単一チャンネル・ノイズ削減を実装するさまざまな方法がこれまで提案されている。使用されている単一チャンネル・ノイズ削減方法の大多数はスペクトル減算法の変形である。
【００１０】
スペクトル減算法は、発話にノイズを加えた信号からノイズを分離しようと試みる。スペクトル減算は、スペクトルにノイズを加えた信号のパワースペクトルを計算し、ノイズ・スペクトルの推定を得ることに関わる。発話にノイズを加えた信号のパワースペクトルは、推定されたノイズ・スペクトルと比較される。ノイズ削減は、たとえば、ノイズ・スペクトルの絶対値を発話にノイズを加えたスペクトルの絶対値から引くことによって実装されることができる。発話にノイズを加えた信号が高い信号・雑音対雑音比（SNNR:  Signal-plus-Noise  to  Noise  Ratio）をもつ場合には、適用されるノイズ削減はきわめてわずかである。しかしながら、発話にノイズを加えた信号が低いSNNRをもつ場合には、ノイズ削減はノイズ・エネルギーを有意に低減する。
【先行技術文献】
【非特許文献】
【００１１】
【非特許文献１】Boll,  S、"Suppression  of  acoustic  noise  in  speech  using  spectral  subtraction、"IEEE  Transactions  on  Acoustics,  Speech  and  Signal  Processing、April  1979、Volume  27,  Issue  2,  pp.113-120
【発明の概要】
【発明が解決しようとする課題】
【００１２】
スペクトル減算の問題は、しばしば発話を歪め、その結果、時間的かつスペクトル的にゆらぎのある利得変化が生じ、それはしばしばミュージカル・トーンと称される型の残差ノイズの出現につながり、これが通話における伝送される発話品質に影響することがありうる。単一チャンネル・ノイズ削減を実装する他の既知の方法においても、この問題はさまざまな程度で生じる。
【課題を解決するための手段】
【００１３】
本発明の第一の側面によれば、ユーザー装置とリモート・ノードとの間の通信セッションの間にオーディオ信号を処理する方法であって：少なくとも一つの主要オーディオ信号および望まれない信号を含む複数のオーディオ信号を、前記ユーザー装置におけるオーディオ入力手段において受領する段階と；ノイズ抑制手段において前記信号の到来方向情報を受領する段階と；前記望まれない信号の少なくとも一部を表わす既知の到来方向情報を前記ノイズ抑制手段に提供する段階と；前記ノイズ抑制手段において、前記オーディオ信号の到来方向情報と前記既知の到来方向情報との間の比較に依存して望まれないと同定された前記信号の諸部分をノイズとして扱うよう、前記オーディオ信号を処理する段階とを含む、方法が提供される。
【００１４】
好ましくは、前記オーディオ入力手段は：前記少なくとも一つの主要オーディオ信号が前記オーディオ入力手段において受領される少なくとも一つの主方向を推定し；前記少なくとも一つの主方向においてビームを形成し、前記主方向以外の任意の方向からのオーディオ信号を実質的に抑制することによって、単一チャンネル・オーディオ出力信号を生成するよう、前記複数のオーディオ信号を処理するよう構成されているビーム形成器を有する。
【００１５】
好ましくは、前記単一チャンネル・オーディオ出力信号はフレームのシーケンスを含み、前記ノイズ抑制手段は前記フレームのそれぞれを順に処理する。
【００１６】
好ましくは、処理されている現在フレームの主信号成分についての到来方向情報が前記ノイズ抑制手段において受領され、当該方法はさらに：前記現在フレームの主信号成分についての到来方向情報と、既知の到来方向情報とを比較することを含む。
【００１７】
前記既知の到来方向情報は、前記オーディオ入力手段において遠端信号が受領される少なくとも一つの方向を含む。代替的または追加的に、前記既知の到来方向情報は、少なくとも一つの分類された方向を含む。前記少なくとも一つの分類された方向は、少なくとも一つの望まれないオーディオ信号が前記オーディオ入力手段に到着する方向であり、前記少なくとも一つの望まれないオーディオ信号の信号特性に基づいて同定される。代替的または追加的に、前記既知の到来方向情報は、前記少なくとも一つの主要オーディオ信号が前記オーディオ入力手段において受領される少なくとも一つの主方向を含む。代替的または追加的に、前記既知の到来方向情報はさらに、前記ビーム形成器のビーム・パターンを含む。
【００１８】
ある実施形態では、当該方法はさらに：前記現在フレームの主信号成分が望まれない信号であるかどうかを、前記比較に基づいて判定し；前記現在フレームの主信号成分が望まれない信号であると判定される場合には処理されている現在フレームに最大減衰を適用することを含む。現在フレームの主信号成分が望まれない信号であると判定されるのは：主信号成分が前記オーディオ入力手段において、前記オーディオ入力手段において遠端信号が受領される前記少なくとも一つの方向から受領される；あるいは主信号成分が前記オーディオ入力手段において前記少なくとも一つの分類された方向から受領される；あるいは主信号成分が前記オーディオ入力手段において前記少なくとも一つの主方向から受領されない場合であってもよい。
【００１９】
本方法はさらに：信号処理手段において、前記複数のオーディオ信号および前記少なくとも一つの主方向についての情報を受領する段階と；前記信号処理手段において、前記少なくとも一つの主方向についての前記情報を使って前記複数のオーディオ信号を処理して前記ノイズ抑制手段に追加的情報を提供する段階と；前記追加的情報および前記比較に依存して前記ノイズ抑制手段において処理されている現在フレームにあるレベルの減衰を適用する段階とを含んでいてもよい。
【００２０】
あるいはまた、本方法はさらに：信号処理手段において、前記単一チャンネル・オーディオ出力信号および前記少なくとも一つの主方向についての情報を受領する段階と；前記信号処理手段において、前記少なくとも一つの主方向についての前記情報を使って前記単一チャンネル・オーディオ出力信号を処理して前記ノイズ抑制手段に追加的情報を提供する段階と；前記追加的情報および前記比較に依存して前記ノイズ抑制手段において処理されている現在フレームにあるレベルの減衰を適用する段階とを含んでいてもよい。
【００２１】
前記追加的情報は：現在フレームの主信号成分の望ましさについての指標、または前記少なくとも一つの主要オーディオ信号の平均パワー・レベルに対する現在フレームの主信号成分のパワー・レベル、または現在フレームの主信号成分の信号分類、または現在フレームの主信号成分が前記オーディオ入力手段において受領される少なくとも一つの方向を含んでいてもよい。
【００２２】
好ましくは、前記少なくとも一つの主方向は：前記オーディオ入力手段において受領されているオーディオ信号間の相互相関を最大化する時間遅延を決定し；前記オーディオ入力手段において受領されるオーディオ信号における発話特性であって最大相互相関の前記時間遅延をもつものを検出することによって決定される。
【００２３】
好ましくは、前記通信セッションにおいて前記リモート・ノードから前記ユーザー装置において受領されるオーディオ・データは、前記ユーザー装置のオーディオ出力手段から出力される。
【００２４】
望まれない信号は、前記ユーザー装置における源によって生成されるものであってもよく、前記源は：前記ユーザー装置のオーディオ出力手段；前記ユーザー装置における活動の源のうちの少なくとも一つを含む。前記活動は、ボタン・クリック活動、キーボード・クリック活動およびマウス・クリック活動を含むクリック活動を含む。あるいはまた、望まれない信号は、前記ユーザー装置の外部の源によって生成される。
【００２５】
好ましくは、前記少なくとも一つの主要オーディオ信号は、前記オーディオ入力手段において受領される発話信号である。
【００２６】
本発明の第二の側面によれば、ユーザー装置とリモート・ノードとの間の通信セッションの間にオーディオ信号を処理するユーザー装置であって：少なくとも一つの主要オーディオ信号および望まれない信号を含む複数のオーディオ信号を受領するオーディオ入力手段と；前記オーディオ信号の到来方向情報および前記望まれない信号の少なくとも一部を表わす既知の到来方向情報を受領するノイズ抑制手段であって、前記オーディオ信号の到来方向情報と前記既知の到来方向情報との間の比較に依存して望まれないと同定された前記信号の諸部分をノイズとして扱うことによって前記オーディオ信号を処理するよう構成されている、ノイズ抑制手段と有する、ユーザー装置が提供される。
【００２７】
本発明の第三の側面によれば、ユーザー装置とリモート・ノードとの間の通信セッションの間にオーディオ信号を処理するユーザー装置におけるコンピュータ処理手段によって実行されるためのコンピュータ可読命令を含むコンピュータ・プログラム・プロダクトであって、前記命令は、本発明の第一の側面に基づく方法を実行するための命令を含む、ものが提供される。
【００２８】
以下の記述される実施形態では、到来方向情報は、その後の単一チャンネル・ノイズ削減方法においてどのくらいの抑制を適用すべきかの決定を洗練するために使用される。たいていの単一チャンネル・ノイズ削減方法は、自然に聞こえるが減衰した背景雑音を保証するために入力信号に適用される最大抑制因子をもつので、到来方向情報は、ビーム形成器がフォーカスしている以外の他の任意の角度から音が到着するときに最大抑制因子が適用されることを保証するために使われる。たとえば、遠端発話を再生するのに使われるのと同じスピーカーを通じての、おそらくは低められたボリュームでの、テレビ再生の場合、問題は、出力がマイクロホンによって拾われるということである。本発明の記述される実施形態では、オーディオがスピーカーの角度から到着していることが検出され、ビーム形成器による試みられた抑制に加えて、最大ノイズ削減が適用される。結果として、望まれない信号はより聞こえにくくなり、よって遠端の話者にとってそれほど煩わしくなくなる。そして、低減したエネルギーのため、信号を遠端に伝送するために使われる平均ビットレートを下げることになる。
【図面の簡単な説明】
【００２９】
本発明のよりよい理解のため、また本発明がどのように実施されうるかを示すため、ここで例として以下の図面を参照する。
【図１】ある好ましい実施形態に基づく通信システムを示す図である。
【図２】ある好ましい実施形態に基づくユーザー端末の概略図である。
【図３】ユーザー端末の例示的な環境を示す図である。
【図４】ある実施形態に基づくユーザー端末におけるオーディオ入力手段の概略図である。
【図５】ある実施形態における、DOA情報がどのように推定されるかを表わす図である。
【発明を実施するための形態】
【００３０】
本発明の以下の実施形態では、フォーカスの方向からやってくるのでない音を減衰させるために完全にビーム形成器に頼るのではなく、その後の単一チャンネル・ノイズ削減方法においてDOA情報を使うことにより、ビーム形成器がフォーカスしている以外の他の任意の方向からの音の最大単一チャンネル・ノイズ抑制が保証される技法が記述される。これは、望まれない信号が空間的情報を使って望まれる近端発話信号から区別できるときに、著しい利点となる。そのような源の例は音楽を再生しているラウドスピーカー、送風しているファンおよび閉じるドアである。
【００３１】
信号分類を使うことによって、他の源の方向を見出すこともできる。そのような源の例は、たとえば冷却ファン／空調システム、バックグラウンドにおける音楽プレイおよびキーボード・タップでありうる。
【００３２】
二つのアプローチを取ることができる。第一に、ある種の方向から到着する望まれない源が同定されることができ、それらの角度が、最大抑制のために使われるノイズ抑制利得より高いノイズ抑制利得が許容される角度から除外される。たとえば、ある種の望まれない方向からのオーディオの諸セグメントが、当該信号がノイズしか含まないかのようにスケールダウンされることを保証することが可能である。実際上、ノイズ推定値は、そのようなセグメントについての入力信号に等しいと設定されることができ、その結果、ノイズ削減方法は、最大減衰を適用することになる。
【００３３】
第二に、ノイズ削減は、近端発話が到着することを期待する方向以外の他の任意の方向における発話に対してはそれほど敏感でなくすことができる。すなわち、信号・雑音対雑音比の関数としてノイズのある信号に適用する利得を計算するとき、信号・雑音対雑音比の関数としての利得は、我々が、はいってくる発話の角度がどれくらい望ましいと考えるかにも依存する。望まれる方向については、所与の信号・雑音対雑音比の関数としての利得は、それほど望まれない方向についてよりも高いであろう。第二の方法は、主要話者（単数または複数）と同じ方向から到着するのでなく、ノイズの源であると検出されてもいない、動いているノイズ源に基づいて調整しないことを保証する。
【００３４】
本発明の諸実施形態は、単一チャンネルをもつモノフォニック音再生（しばしばモノと称される）アプリケーションにおいて特に重要である。（二つ以上の独立なオーディオ・チャンネルがある）ステレオ・アプリケーションにおけるノイズ削減は典型的には独立な単一チャンネル・ノイズ削減方法によって実行されるのではなく、むしろステレオ像がノイズ削減方法によって歪められないことを保証する方法によって実行される。
【００３５】
まず、ある好ましい実施形態の通信システム１００を示している図１を参照する。通信システムの第一のユーザー（ユーザーＡ  １０２）はユーザー装置１０４を操作する。ユーザー装置１０４はたとえば、携帯電話、テレビジョン、携帯情報端末（「PDA」）、パーソナル・コンピュータ（「PC」）（たとえばウィンドウズ（商標）、マックＯＳ（商標）およびリナックス（商標）パソコンを含む）、ゲーム機または通信システム１００を通じて通信できる他の組み込みデバイスでありうる。
【００３６】
ユーザー装置１０４は、通信システム１００を通じて通信するための通信クライアントのようなアプリケーションを実行するよう構成されていてもよい中央処理ユニット（CPU）１０８を有する。このアプリケーションは、ユーザー装置１０４が通信システム１００を通じた通話および他の通信セッション（たとえばインスタント・メッセージ通信セッション）に従事することを許容する。ユーザー装置１０４は、インターネットまたは公衆電話交換網（PSTN）であってもよいネットワーク１０６を介して通信システム１００を通じて通信できる。ユーザー装置１０４は、リンク１１０を通じてネットワークにデータを送信でき、ネットワーク１０６からデータを受信できる。
【００３７】
図１はまた、通信システム１００を通じてユーザー装置１０４が通信できるリモート・ノードをも示している。図１に示した例では、リモート・ノードは、第二のユーザー１１２によって使用可能であり、通信システム１００において通信ネットワーク１０６を通じてユーザー装置１０４が通信するのと同じ仕方で通信ネットワーク１０６を通じて通信するためのアプリケーション（たとえば通信クライアント）を実行できるCPU  １１６を有する第二のユーザー装置１１４である。ユーザー装置１１４はたとえば、携帯電話、テレビジョン、携帯情報端末（「PDA」）、パーソナル・コンピュータ（「PC」）（たとえばウィンドウズ（商標）、マックＯＳ（商標）およびリナックス（商標）パソコンを含む）、ゲーム機または通信システム１００を通じて通信できる他の組み込みデバイスでありうる。ユーザー装置１１４は、リンク１１８を通じてネットワークにデータを送信でき、ネットワーク１０６からデータを受信できる。したがって、ユーザーＡ  １０２およびユーザーＢ  １１２は通信ネットワーク１０６を通じて互いと通信できる。
【００３８】
図２は、前記クライアントが実行されるユーザー端末１０４の概略図を示している。ユーザー端末１０４は、CPU  １０８を有している。このCPUにスクリーンのようなディスプレイ２０４、キーボード２１４のような入力装置およびマウス２１２のようなポインティングデバイスが接続されている。ディスプレイ２０４は、CPU  １０８にデータを入力するためのタッチスクリーンを有していてもよい。出力オーディオ装置２０６（たとえばスピーカー）がCPU  １０８に接続されている。マイクロホン２０８のような入力オーディオ装置がノイズ抑制手段２２７を介してCPU  １０８に接続されている。ノイズ抑制手段２２７は図２ではスタンドアローンのハードウェア装置として表わされているが、ノイズ抑制手段２２７はソフトウェアで実装されてもよい。たとえば、ノイズ抑制手段２２７は前記クライアントに含まれていてもよい。
【００３９】
CPU  １０８は、ネットワーク１０６との通信のために、モデムのようなネットワーク・インターフェース２２６に接続されている。
【００４０】
ここで、ユーザー端末１０４の例示的な環境３００を示す図３を参照する。
【００４１】
マイクロホン２０８で受領されたオーディオ信号が処理されるとき、所望されるオーディオ信号が同定される。処理の間、所望されるオーディオ信号は、発話様の性質の検出に基づいて同定され、メイン話者の主方向が決定される。これは図３に示されており、図３では、メイン話者（ユーザー１０２）が、主方向d1からマイクロホン２０８に到着する所望されるオーディオ信号の源３０２として示されている。図３には簡単のため単一のメイン話者が示されているが、環境３００において望まれるオーディオ信号のいくつの源が存在していてもよいことは理解されるであろう。
【００４２】
望まれないノイズ信号の源は環境３００中に存在していてもよい。図３は、方向d3からマイクロホン２０８に到着しうる、環境３００内の望まれないノイズ信号のノイズ源３０４を示している。望まれないノイズ信号の源は、たとえば、冷却ファン、空調システムおよび音楽を再生している装置を含む。
【００４３】
望まれないノイズ信号は、ユーザー端末１０４におけるノイズ源、たとえばマウス２１２のクリック、キーボード２１４のタップおよびスピーカー２０６からのオーディオ信号出力からマイクロホン２０８に到着してもよい。図３は、マイクロホン２０８およびスピーカー２０６に接続されたユーザー端末１０４を示している。図３では、スピーカー２０６は、方向d3からマイクロホン２０８に到着しうる望まれないオーディオ信号の源である。
【００４４】
マイクロホン２０８およびスピーカー２０６はユーザー端末に接続された外部装置として示されたが、マイクロホン２０８およびスピーカー２０６はユーザー端末１０４に統合されていてもよいことは理解されるであろう。
【００４５】
ここで、ある実施形態に基づくマイクロホン２０８およびノイズ抑制手段２２７のより詳細なビューを示す図４を参照する。
【００４６】
マイクロホン２０８は、複数のマイクロホンを含むマイクロホン・アレイ４０２およびビーム形成器４０４を含む。マイクロホン・アレイ４０２における各マイクロホンの出力はビーム形成器４０４に結合される。当業者は、ビーム形成を実装するには複数の入力が必要とされることを理解するであろう。マイクロホン・アレイ４０２は図４では三つのマイクロホンを有するものとして示されている。マイクロホンのこの数は単に例であり、いかなる仕方であれ限定するものではないことは理解されるであろう。
【００４７】
ビーム形成器４０４は、マイクロホン・アレイ４０２からオーディオ信号を受領する処理ブロック４０９を含む。処理ブロック４０９は、音声活動検出器（VAD:  voice  activity  detector）４１１およびDOA推定ブロック４１３（その動作については後述する）を含む。処理ブロック４０９は、マイクロホン・アレイ４０２によって受領されたオーディオ信号の性質を確かめ、VAD  １１によって検出された発話様の品質の検出およびブロック４１３において推定されたDOA情報に基づいて、メイン話者（単数または複数）の一つまたは複数の主方向が決定される。ビーム形成器４０４は、DOA情報を使って、マイクロホン・アレイにおいて望まれる信号が受領される一つまたは複数の主方向からの方向において高い利得をもち、他の任意の方向において低い利得をもつビームを形成することによってオーディオ信号を処理する。処理ブロック４０９が主方向をいくつ決定してもよいことは上述したが、決定される主方向の数はビーム形成器の属性に影響する。たとえば、単一の主方向しか決定されない場合に比べ、マイクロホン・アレイにおいて他の（望まれない）諸方向から受領される信号の減衰が少なくなる。ビーム形成器４０４の出力は、処理されるべき単一チャンネルの形でライン４０６上で、ノイズ削減段２２７に、次いで自動利得制御手段（図４には示さず）に提供される。
【００４８】
好ましくは、ノイズ抑制は、自動利得制御手段によって利得のレベルが適用される前にビーム形成器の出力に適用される。これは、ノイズ抑制は、理論上、発話レベルを（意図せずして）わずかに低下させることがあり、自動利得制御手段はノイズ抑制後に発話レベルを高めてノイズ抑制によって引き起こされる発話レベルにおけるわずかな低下を補償することになるからである。
【００４９】
ビーム形成器４０４において推定されたDOA情報はノイズ削減段２２７および信号処理回路４２０に供給される。
【００５０】
ビーム形成器４０４において推定されたDOA情報は、自動利得制御手段にも供給されてもよい。自動利得制御手段は、ノイズ削減段２２７の出力に利得のレベルを適用する。ノイズ削減段２２７から出力されるチャンネルに適用される利得のレベルは、自動利得制御手段において受領されるDOA情報に依存する。自動利得制御手段の動作は、英国特許出願第1108885.3において記述されており、ここではこれ以上詳細に論じることはしない。
【００５１】
ノイズ削減段２２７はノイズ削減を単一チャンネル信号に適用する。ノイズ削減は、あくまでも例としてスペクトル減法（たとえば非特許文献１に記述されるようなもの）を含むいくつかの異なる仕方で実行できる。
【００５２】
この技法は（他の既知の技法も）ノイズとして同定された信号成分を抑制し、それにより信号対雑音比を高める。ここで、上記信号は、意図されている有用な信号、この場合には発話である。
【００５３】
下記でより詳細に述べるように、到来方向情報は、ノイズ削減段において、ノイズ削減を改善し、よって信号の品質を高めるために使用される。
【００５４】
DOA推定ブロック４１３の動作についてここで図５を参照してより詳細に述べる。
【００５５】
DOA推定ブロック４１３において、DOA情報は、たとえば相関法を使って、複数のマイクロホンにおける受領されたオーディオ信号間の時間遅延を推定し、前記複数のマイクロホンの位置についての先験的な知識を使って前記オーディオ信号の源を推定することによって、推定される。
【００５６】
図５は、オーディオ源５１６からオーディオ信号を受領するマイクロホン４０３および４０５を示している。距離dだけ離間されたマイクロホン４０３および４０５におけるオーディオ信号の到来方向は、式(1)を使って推定できる。
【００５７】
θ＝arcsin(τDv/d)        (1)
ここで、vは音速、τDは源５１６からのオーディオ信号がマイクロホン４０３および４０５に到着する時間の間の差、すなわち時間遅延である。時間遅延は、マイクロホン４０３および４０５の出力における信号の間の相互相関を最大にする時間ラグとして得られる。すると、この時間遅延に対応する角度θが見出されうる。
【００５８】
信号の相互相関を計算することは信号処理の技術分野における一般的な技法であり、本稿でこれ以上詳細に記述されないことは理解されるであろう。
【００５９】
ここで、ノイズ削減段２２７の動作について、下記でより詳細に述べる。本発明のあらゆる実施形態において、ノイズ削減段２２７は、ユーザー端末において知られておりDOAブロック２２７によって表わされるDOA情報を使い、処理されるべきオーディオ信号を受領する。ノイズ削減段２２７はフレーム毎にオーディオ信号を処理する。フレームはたとえば、5ミリ秒から20ミリ秒の間の長さであってもよく、あるノイズ抑制技法によれば、たとえばフレーム当たり64から256ビンまでの間のスペクトル・ビンに分割される。
【００６０】
ノイズ削減段２２７において実行される処理は、ノイズ削減段２２７に入力されたオーディオ信号の各フレームにあるレベルのノイズ抑制を適用することを含む。ノイズ削減段２２７によってオーディオ信号の各フレームに適用されるノイズ抑制のレベルは、処理されている現在フレームの抽出されたDOA情報とユーザー端末において知られているさまざまなオーディオ源についてのDOA情報の積み上げられた知識との間の比較に依存する。抽出されたDOA情報はフレームとともに渡され、フレーム自身に加えてノイズ削減段２２７への入力パラメータとして使われる。
【００６１】
ノイズ削減段２２７によって入力オーディオ信号に適用されるノイズ抑制のレベルは、いくつかの仕方でDOA情報によって影響されうる。
【００６２】
望まれる源からとして同定された方向からマイクロホン２０８に到着するオーディオ信号は、発話様の特性の検出に基づいて同定され、メイン話者の主方向からとして同定されてもよい。
【００６３】
ユーザー端末において知られているDOA情報４２７は、ビーム形成器のビーム・パターン４０８を含んでいてもよい。ノイズ削減段２２７はフレーム毎にオーディオ入力信号を処理する。フレームの処理の間、ノイズ削減段２２７は、フレーム内のオーディオ信号のメイン成分がマイクロホン２０８において受領された角度を見出すために、フレームのDOA情報を読む。フレームのDOA情報は、ユーザー端末において知られているDOA情報４２７と比較される。この比較が、処理されているフレームにおけるオーディオ信号のメイン成分が望まれる源の方向からマイクロホン２０８において受領されたかどうかを決定する。
【００６４】
代替的または追加的に、ユーザー端末において知られているDOA情報４２７は、遠端信号がユーザー端末において（２０６のような）スピーカーからマイクロホン２０８において受領される角度φを含んでいてもよい（ノイズ削減段２２７ライン４０７に供給される）。
【００６５】
代替的または追加的に、ユーザー端末において知られているDOA情報４２７は、可能性としては固定ノイズ源の結果として非常にノイズの多いある方向を特定するために、種々の方向からのオーディオを分類する関数４２５から導出されてもよい。
【００６６】
DOA情報４２７が主たる望まれる方向を表わし、比較により処理されているフレームのメイン成分がマイクロホン２０８においてその主方向から受領されていると判定される場合。ノイズ削減段２２７は上記の通常の方法を使ってノイズ抑制のレベルを決定する。
【００６７】
第一のアプローチでは、処理されているフレームのメイン成分がマイクロホン２０８において主方向以外の方向から受領されていると判定される場合、そのフレームに関連付けられたビンはみなノイズであるかのように扱われる（たとえ通常のノイズ削減技法が良好な信号・雑音対雑音比を同定し、よって著しくノイズを抑制しないとしても）。これは、ノイズ推定値をそのようなフレームについての入力信号に等しく設定することによってなされてもよく、結果として、ノイズ削減段は最大減衰をそのフレームに適用する。このようにして、望まれる方向以外の方向から到着するフレームは、ノイズとして抑制されることができ、信号品質が改善されることができる。
【００６８】
上述したように、ノイズ削減段２２７は、種々の方向におけるノイズ源（単数または複数）からマイクロホン２０８に到着する望まれないオーディオ信号を同定する関数４２５からDOA情報を受領してもよい。これらの望まれないオーディオ信号はその特性から同定される。たとえば、キーボード上のキー・タップまたはファンからのオーディオ信号は人間の発話とは異なる特性をもつ。望まれないオーディオ信号がマイクロホン２０８に到着する角度は、最大抑制のために使われるノイズ抑制利得より高いノイズ抑制利得が許容されるところにおいて除外される。したがって、処理されているフレーム中のオーディオ信号のメイン成分がマイクロホン２０８において、除外されている方向から受領されるとき、ノイズ削減段２２７は最大減衰をそのフレームに適用する。
【００６９】
検証手段４２３がさらに含められてもよい。たとえば、（たとえばビーム形成器の場合、ビーム・パターン４０８に基づいて）ひとたび一つまたは複数の主方向が検出されたら、クライアントはユーザー１０２に検出された主方向を、クライアント・ユーザー・インターフェースを介して通知し、ユーザー１０２に、検出された主方向が正しいかどうかを尋ねる。この検証は、図４において破線で示されるように、任意的である。
【００７０】
ユーザー１０２が検出された主方向が正しいと確証する場合、検出された主方向はノイズ削減段２２７に送られ、ノイズ削減段２２７は上記のように動作する。ひとたびユーザー１０２がクライアントにログインし、検出された主方向が正しいと確証したら、通信クライアントは、検出された主方向をメモリ２１０に記憶してもよい。クライアントへのその後のログイン後は、検出された主方向がメモリ内の確証された正しい主方向に一致する場合、検出された主方向は正しいと解釈される。これは、ユーザーがクライアントにログインするたびに主方向を確証しなければならないことを防ぐ。
【００７１】
ユーザーが検出された主方向が正しくないことを示す場合、検出された主方向はDOA情報としてノイズ削減段２２７に送られない。この場合、（図５を参照して上述した）相関ベースの方法が主方向の検出を続け、ユーザー１０２が検出された主方向が正しいと確証したときにのみ検出された一つまたは複数の主方向を送る。
【００７２】
第一のアプローチでは、動作モードは、フレームのDOA情報に基づいて最大減衰が処理されているフレームに適用されることができるというものである。
【００７３】
第二のアプローチでは、ノイズ削減段２２７はそのような厳格な動作モードでは動作しない。
【００７４】
第二のアプローチでは、フレーム中のオーディオ信号に適用する利得を信号・雑音対雑音比の関数として計算するとき、信号・雑音対雑音比の関数としての利得は追加的な情報に依存する。この追加的な情報は、信号処理ブロック（図４には示さず）において計算されることができる。
【００７５】
第一の実装では、信号処理ブロックは、マイクロホン２０８において実装されてもよい。信号処理ブロックは、入力として、マイクロホン・アレイ４０２からの遠端オーディオ信号を（該オーディオ信号がビーム形成器４０４に適用される前に）受領し、また、相関法から得られる主方向（単数または複数）についての情報をも受領する。この実装では、信号処理ブロックはノイズ削減段２２７に追加的な情報を出力する。
【００７６】
第二の実装では、信号処理ブロックはノイズ削減段２２７自身の中で実装されてもよい。信号処理ブロックは、ビーム形成器４０４からの単一チャンネル出力信号を入力として受領し、また、相関法から得られる主方向（単数または複数）についての情報をも受領する。この実装では、ノイズ削減段２２７は、スピーカー２０６がアクティブであることを示す情報を受領してもよく、処理されているフレーム内の主信号成分が、所望される発話の角度と異なる限り、ノイズのみとして扱われることを保証することができる。
【００７７】
いずれの実装でも、信号処理ブロックにおいて計算された追加的情報は、処理されているフレーム内のオーディオ信号に適用する利得を信号・雑音対雑音比の関数として計算するために、ノイズ削減段２２７によって使用される。
【００７８】
追加的情報はたとえば、所望される発話が特定の方向／角度から到着する確からしさを含んでいてもよい。
【００７９】
このシナリオにおいて、信号処理ブロックは、出力として、ノイズ削減段２７７によって現在処理されているフレームが、ノイズ削減段が保存すべき所望される成分を含んでいる可能性がどれくらいかを示す値を提供する。信号処理ブロックは、はいってくる発話がマイクロホン２０８において受領される角度の望ましさを定量化する。たとえば、オーディオ信号がエコーの間にマイクロホン２０８において受領される場合、これらのオーディオ信号がマイクロホン２０８において受領される角度は望まれない角度である可能性が高い。ユーザー端末における（２０６のような）スピーカーから受領される何らかの遠端信号を保存することは望ましくないからである。
【００８０】
このシナリオにおいて、ノイズ削減段２２７によってそのフレームに適用される、信号・雑音対雑音比の関数としてのノイズ抑制利得は、望ましさのこの定量化された指標に依存する。望まれる方向については、所与の信号・雑音対雑音比の関数としての利得は、それほど望まれない方向についてよりも高くなる。すなわち、より望まれる方向についてはノイズ削減段２２７によって適用される減衰はより少なくなる。
【００８１】
追加的情報は、代替的に、所望される方向（単数または複数）から受領されるオーディオ信号の平均パワーに対する現在フレームの主信号成分のパワーを含んでいてもよい。このシナリオでは、ノイズ削減段２２７によってフレームに適用される、信号・雑音対雑音比の関数としてのノイズ抑制利得は、このパワー比に依存する。主方向からの平均パワーに対して主信号成分のパワーが近いほど、ノイズ削減段２２７によって適用される、所与の信号・雑音対雑音比の関数としての前記利得は高くなる。すなわち、適用される減衰は少なくなる。
【００８２】
追加的情報は、代替的には、現在フレームの主信号成分の信号分類を提供する信号分類器出力であってもよい。このシナリオでは、ノイズ削減段２２７は、さまざまなレベルの減衰をフレームに適用してもよい。ここで、該フレームのメイン成分は、信号分類器出力に依存する特定の方向から、マイクロホン・アレイ４０２において受領される。したがって、角度が望まれない方向であると判定される場合、ノイズ削減段は、その望まれない方向からのノイズを、同じ望まれない方向からの発話よりも低減させてもよい。望まれる発話がその望まれない方向から到着することが予期されている場合には、これは可能であり、本当に実際的である。しかしながら、これは、ノイズが変調されるという大きな欠点がある。すなわち、所望される話者がアクティブであるときにはノイズが大きくなり、所望されない話者がアクティブであるときにはノイズが低くなる。そうではなく、この方向からの信号における発話のレベルをやや低減させるほうが好ましい。同じ量の減衰を確実に適用することによって厳密にノイズとして扱わないとしても、所望される発話とノイズとの間のどこか中間として扱う。これは、望まれない方向についてわずかに異なる減衰関数を使うことによって達成できる。
【００８３】
追加的情報は代替的には、現在フレームの主信号成分がオーディオ入力手段において受領される角度自身、すなわちライン４０７上でノイズ削減段２２７に供給されるφであってもよい。これは、オーディオ源が主方向（単数または複数）から遠ざかって動くにつれてより多くの減衰を適用することを可能にする。
【００８４】
この第二のアプローチでは、ノイズ削減段２２７が、フレームをノイズのみとして扱うのと、伝統的になされたように単一チャンネル・ノイズ削減方法においての両極端の中間で動作できるので、さらなるきめこまかさが提供される。したがって、ノイズ削減段２２７は、望まれない方向から到着するオーディオ信号について、完全にあたかもノイズでしかないかのうように扱うことなく、やや積極的にされることができる。すなわち、たとえば発話信号に対して何らかの減衰を適用するという意味で積極的ということである。
【００８５】
上記の実施形態は単一のユーザー１０２からオーディオ信号を受領するマイクロホン２０８に言及してきたが、たとえば電話会議ではマイクロホンが複数のユーザーからオーディオ信号を受領してもよいことは理解されるであろう。このシナリオでは、望まれるオーディオ信号の複数の源がマイクロホン２０８に到着する。
【００８６】
本発明について、好ましい実施形態を参照して具体的に図示し、記述してきたが、付属の請求項によって定義される本発明の範囲から外れることなく、形および詳細におけるさまざまな変更がなされてもよいことは当業者には理解されるであろう。
【図１ａ】
2014523003.tif 000003
【図１ｂ】
2014523003.tif 000004
【図２ａ】
2014523003.tif 000005
【図２ｂ】
2014523003.tif 000006
【図３】
2014523003.tif 000007
【図４ａ】
2014523003.tif 000008
【図４ｂ】
2014523003.tif 000009
【国際調査報告】
2014523003.tif 000010
2014523003.tif 000011