(57)【要約】      （修正有）【課題】聴覚目的情報（音声）及び干渉情報（雑音）の混合を含む混合信号を分離するためのシステム及び方法を提供する。【解決手段】混合信号を受信するための手段２、参照信号を受信するための手段３及び参照信号から手がかりを抽出するとともに手がかりを用いて混合信号から目的情報を分離するよう構成された信号処理ユニット１を備える。【選択図】図２
2011085904.tif 000002
【特許請求の範囲】
【請求項１】
聴覚目的信号及び、雑音のような、干渉信号の混合を含む聴覚的に感知される混合信号から聴覚目的信号を分離するためのシステムであって、
混合信号を聴覚的に感知するための手段（２）、
好ましくは既知の雑音の音源の近くの、参照信号を感知するための手段（３）、
複数の好ましくは隣接し且つ連続する周波数チャネルのそれぞれについて各瞬間毎に参照信号から手がかりを抽出し、そして、手がかりを用いて、前記周波数チャネルのそれぞれ及び各瞬間毎について混合信号から目的信号を分離するよう構成された信号処理ユニット（１）、
を備えるシステム。
【請求項２】
混合信号を受信するための手段はマイクロフォン（２）を備え、マイクロフォン（２）は目的情報の源近くに配置されていることを特徴とする請求項１のシステム。
【請求項３】
参照信号を受信するための手段（３）は干渉信号を受信するよう構成されていることを特徴とする請求項１から２の何れかのシステム。
【請求項４】
参照信号を受信するための手段（３）がマイクロフォン（３a）を備え、マイクロフォン（３a）は干渉情報の源近くに配置されることを特徴とする請求項３のシステム。
【請求項５】
参照信号を受信するための手段（３）は目的情報を受信するよう構成されていることを特徴とする請求項１から２の何れかのシステム。
【請求項６】
前記信号処理ユニット（１）は、
多数の周波数チャネルで参照信号と混合信号とを分けるための手段、
参照信号からグルーピング手がかりを抽出して瞬時毎に各周波数チャネルについて混合信号のグルーピング手がかりを求めるための手段、及び、
各瞬時毎の混合信号の各周波数チャネルを目的情報或いは干渉情報の何れか割当てて混合信号を目的情報と干渉情報とに分離するための手段、
を備えることを特徴とする請求項１から５の何れか１つのシステム。
【請求項７】
前記信号処理ユニット（１）は、
多数の周波数チャネルで混合信号を分けるための手段、
参照信号からグルーピング手がかりを抽出して瞬時毎に混合信号のグルーピング手がかりを求めるための手段、及び、
各瞬時毎の混合信号の各周波数チャネルを目的情報或いは干渉情報の何れかに割当てて混合信号を目的情報と干渉情報とに分離するための手段、
を備えることを特徴とする請求項１から５の何れか１つのシステム。
【請求項８】
請求項１から７の何れかによるシステムを備えたロボット、航空／陸上／海上乗り物、音声で制御されるシステム、或いは、人工聴覚補助具。
【請求項９】
目的情報及び干渉情報の混合を含む混合信号を分離するための方法であって、
混合信号を受信するステップ（１００）、
参照信号を感知するステップ（１０１）及び
参照信号から手がかりを抽出し手がかりを用いて混合信号から目的信号を分離するステップ（１０２−１０７）、
を備える方法。
【請求項１０】
目的情報は音声であり干渉信号は雑音であることを特徴とする請求項９の方法。
【請求項１１】
参照信号から手がかりを抽出し手がかりを用いて混合信号から目的信号を分離するステップは、
混合信号を多数の周波数チャネルに分けるステップ（１０２）、
参照信号を多数の周波数チャネルに分けるステップ（１０３）、
各瞬時毎の各周波数チャネルについて参照信号からグルーピング手がかりを抽出するステップ（１０５）、
各瞬時毎の各周波数チャネルについて混合信号のグルーピング手がかりを求めるステップ（１０４）、
グルーピング手がかりの評価に基づいて各瞬間毎の各周波数チャネルを目的情報或いは干渉情報に割当てるステップ（１０６）及び、
先の割当てに基づいて目的情報及び干渉情報の混合を分離するステップ、
を備えることを特徴とする請求項９から１０の何れかの方法。
【請求項１２】
参照信号から手がかりを抽出し手がかりを用いて混合信号から目的信号を分離するステップは、
混合信号を多数の周波数チャネルに分けるステップ、
各瞬時毎に参照信号からグルーピング手がかりを抽出するステップ、
各瞬時毎の各周波数チャネルについて混合信号のグルーピング手がかりを求めるステップ、
グルーピング手がかりの評価に基づいて各瞬間毎の各周波数チャネルを目的情報或いは干渉情報に割当てるステップ及び、
先の割当てに基づいて目的情報及び干渉情報の混合を分離するステップ、
を備えることを特徴とする請求項９から１０の何れかの方法。
【請求項１３】
基本周波数がグルーピング手がかりとして用いられることを特徴とする請求項１１から１２の何れかの方法。
【請求項１４】
オン或いはオフのセットがグルーピング手がかりとして用いられることを特徴とする請求項１１から１２の何れかの方法。
【請求項１５】
参照信号が干渉信号を含むことを特徴とする請求項９から１４の何れか方法。
【請求項１６】
参照信号の干渉情報はエンジン（５）の速度から抽出されることを特徴とする請求項１５の方法。
【請求項１７】
参照信号が目的信号を含むことを特徴とする請求項９から１４の何れか方法。
【請求項１８】
参照信号の目的情報が映像信号中の話者の身体の動き或いは話者の口の動きから抽出されることを特徴とする請求項１７の方法。
【請求項１９】
コンピュータ・ユニット上で動作するとき請求項９から１８の何れかによる方法を実行するコンピュータ・プログラム。
【請求項２０】
請求項１から７の何れかによるシステムが備えられたオートバイ・ヘルメット（４）。
【請求項２１】
混合信号を受信するための手段（２）はヘルメット（４）の内側に配置されそして参照信号を受信するための手段（３）は部分的に（３ｂ）ヘルメット（４）の内側に配置されるとともに部分的に（３ａ）オートバイ（６）のエンジン（５）の近傍に配置され、参照信号を受信するための手段（３ａ、３ｂ）は配線或いは無線を通じて接続されていることを特徴とする請求項２０のオートバイ・ヘルメット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に聴覚的に感知された信号の処理に関する。
【０００２】
本発明は聴覚目的情報（音声）及び干渉情報（雑音）の混合を含む混合信号を分離するためのシステム及び方法に関する。
【背景技術】
【０００３】
多くの日々の状況では我々が電話で話をしたり音声を通じて装置を操作しようとする最中に様々な暗雑音が存在する。この雑音は、しかしながら、人間にとって及び機械にとっては音声認識を一層困難にする。例えば、自動車内でのヘッドフォン無しの電話交信或いは音声を通じての自動車内の様々な装置（例えば、ナビゲーション・システム、ラジオ）の操作は自動車の運転に伴う雑音（例えばエンジンの雑音）によりしばしば干渉を受ける。オートバイのエンジンにより発生する雑音は乗車中の電話交信の品質を著しく損ない、同様の状況がオートバイの乗車のときにも見られる。音声認識がますます用いられる別の分野はロボット工学である。（例えば、ロボットのＣＰＵを冷却するためのファンによって生じる）暗雑音もまた音声認識の品質を低下させる。
【０００４】
従って雑音を低減しそれにより音声信号を改善するための様々な手法が既に提案されている。例えばヨーロッパ特許出願ＥＰ  １  ８７９１８０  Ａ１は参照マイクロフォンの助けで音声信号中の暗雑音を低減する方法を示している。この方法の背景にある主要な観念は雑音だけを捕える参照マイクロフォンに基づいて雑音のスペクトルを推測してそれらのスペクトル成分をマイクロフォンが捉える音声信号と雑音信号との混合から差引くというものである。しかしながら、この方法の主な欠点は雑音が捕えられる聴覚的環境は雑音と音声信号との混合が捕えられる聴覚的環境とは通常異なることである（例えば、自動車内でエンジン雑音を低減したい場合のエンジン室と乗員室）。その結果乗員室内に存在していた雑音ではなくエンジン室内で測定された雑音が対応する混合信号から差引かれる。これを改善するために、エンジン室内を経た信号から乗員室内を経た信号を再現するフィルターが用いられる。
【０００５】
しかしながら、このフィルターリング操作は話者の位置に大きく依存し従って調整の必要がある。また、これは話者が話しているときに誤りのない信号が得られるようにフィルターを調整できるか疑わしい。
【０００６】
人間の頭脳内の処理により生じる方法で音声信号の精度を高める手法も存在する。それらは一般に計算機による聴覚情景解析（ＣＡＳＡ）と称される。人間は異なる同時の音声を区別して１つの音源に集中することができることが分かっている。それを支える仕組みは様々な時間周波数領域を１つの音源に結び付け或いはグループピングするように働くことのできる手がかりに基づいて信号を分離できることである。そのような手がかりは例えば、基本周波数、空間内の位置、或いは共通オン及びオフのセットである。
【０００７】
例えば基本周波数或いは共通オン及びオフのセットのような、そうした手がかりに基づいて干渉信号から音声信号を分離できる様々なシステムが既に開発されている。そうするためにはこれらの手がかりは種々の音源の存在の混合を含む信号から推測される。このステップはこの混合信号を様々な周波数チャネルに分けることを通常含む。言及した手がかりに基づいて各周波数について各瞬間毎に信号が帰属するのは検知されたどの音源かが次に決定される。得られる結果は通常非常に良好だが音声信号の重大な劣化も引き起こす。その１つの理由は音源の分離に用いられる手がかり（例えば、基本周波数或いはオン及びオフのセット）は音源の混合から抽出されなければならず従ってこの抽出プロセスは誤る傾向がある。存在する音源の数をも混合信号から推測しれなければならない場合も同様である。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】H. Puder, F. Steffens. Improved Noise Reduction for HandsFree Car Phines Utilizing Information on Vehicle and Engine Speeds. EUSIPCO, 2000.
【非特許文献２】EP1087180 - Reduction of background noise in hans-free system.
【非特許文献３】Bregman, A Auditory Scene Analysis MIT Press, 1990.
【非特許文献４】Brown, G. J. & Cooke, M. P. Computional Auditory Scene Anaysis Computer Speech and Language, 1990.
【非特許文献５】Heckman, M.; Jounblin, F. & Korner, E. Sound Source Separation for A Robot based on Pitch Proc IEEE/RSJ Int.l Conf. on Robots and Intell. Syst., 2005, 203-208
【非特許文献６】Hu, G. & Wang, D. L. Monaural Speech Segregation Based on Pich tracking and Amplitude Modulation IEEE trans. Neural Networks, 2004, 15, 1135-1150
【非特許文献７】Hu. G. Wang, D. Auditory segmentation based on onset and offset analysis IEEE transactions on Audio, Speech, and Language Processing, 2007, 15, 396-405
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従って本発明の目的は雑音及び音声信号の混合を含む信号の雑音低減を改良するシステム及び方法を提案することである。
【課題を解決するための手段】
【００１０】
この目的は独立請求項の特徴により達成される。従属請求項は本発明の中心的着想を更に展開する。
【００１１】
本発明は、例えば第２のマイクロフォンによる追加の参照情報の捕捉手段により雑音及び音声の混合を含む混合信号の雑音を低減するための技術に関連する。しかしながら、従前の方法とは対照的に本発明は信号領域において雑音を直接的に低減しようとせず計算機による聴覚情景解析（ＣＡＳＡ）による技術を用いて雑音を低減する。
【００１２】
従って、目的情報及び干渉情報の混合を含む混合信号の分離のためのシステムが提案され、前記システムは、混合信号を受信するための手段、参照信号を受信するための手段、及び、参照信号から手がかりを抽出しこれら手がかりを用いて混合信号から目的信号を分離するよう構成された信号処理ユニットを備える。
【００１３】
更に、目的情報及び干渉情報の混合を含む混合信号を分離するための方法が提案され、前記方法は、混合信号を受信するためのステップ、参照信号を受信するためのステップ、及び、参照信号から手がかりを抽出し且つこれら手がかりを用いて混合信号から目的信号を分離するステップを備える。
【００１４】
混合信号を受信するための手段及び参照信号を受信するための手段はマイクロフォン及び測定ユニットの夫々であってもよく、ここにおいて、参照信号を受信するための手段が干渉情報を受信するように構成されているときは、混合信号のためのマイクロフォンは目的情報の音源の近傍に配置され参照信号のためのマイクロフォンは干渉情報の音源の近傍に配置されてもよい。干渉情報はエンジン速度から抽出されることもできる。
【００１５】
更に、参照信号を受信するための手段は目的情報を受信するように構成されてよく、ここにおいて、この信号はビデオ信号から、特にビデオ信号中の話者の体の動き或いは話者の口の動きから抽出されることができる。
【００１６】
システムの信号処理ユニットは、参照信号及び混合信号を多数の周波数チャネルに分けるための手段、参照信号からグループピング手がかりを抽出しそして各瞬間毎に混合信号中のグループリング手がかりを求めるための手段及び各瞬間毎に混合信号の各周波数チャネルを目的情報或いは干渉情報の何れかに割当てそして混合信号を目的情報及び干渉情報に分離するための手段を備えてもよい。
【００１７】
別の実施例ではシステムの信号処理ユニットは混合信号を多数の周波数チャネルに分けるための手段、参照信号からグルーピング手がかりを抽出しそして各瞬間毎に混合信号のグルーピング手がかりを求めるための手段、及び各瞬間毎に混合信号の各周波数チャネルを目的情報あるいは干渉情報のいずれかに割り当てそして混合信号を目的情報と干渉情報とに分離するための手段を備える。
【００１８】
グルーピング手がかりは基本周波数或いはオン或いはオフのセットでもよい。目的情報は音声であってもよく干渉信号は雑音であってもよい。
【００１９】
混合信号を分離するためのシステムはオートバイのヘルメット内に含まれてもよく、ここにおいて混合信号を受信するための手段はヘルメットの内側に配置され、参照信号を受信するための手段は一部がヘルメットの内側に配置され一部がエンジンの近傍に配置され、参照信号を受信するためのそれら手段は配線あるいは無線で接続されている。
【００２０】
本発明のこれらのそして他の特徴及び利点は図面とともに以下の詳細な説明を通じて更に明らかになる。
【図面の簡単な説明】
【００２１】
【図１】図１は本発明によるシステムを含むヘルメットを装着したオートバイに乗車する人を示す。
【図２】図２は本発明によるシステムを含む運転者が乗車している自動車を示す。
【図３】図３は本発明による方法を示す。
【発明を実施するための形態】
【００２２】
図１はヘルメット４を装着してオートバイ６に乗車している人７を示している。ヘルメット４は本発明によるシステムを含んでいる。このシステムは信号処理ユニット１、混合信号を受信するための手段としてのここではマイクロフォン２、及び、参照信号を受信するための手段としてのここではマイクロフォン３ａ及び受信ユニット３ｂを備える。混合信号を受信するためのマイクロフォン２及び受信ユニット３ｂは配線を介して信号処理ユニット１に接続されている。参照信号を受信するためのマイクロフォン３ａは、しかしながら、ヘルメット４内には配置されず、干渉信号の発生源となるはずのオートバイ６のエンジン５の近傍に配置され、干渉信号は図示の例ではエンジン５により発生される調和雑音であり得る。マイクロフォン３ａの参照信号の受信ユニット３ｂへの伝達は例えば無線通信により行われてもよい。
【００２３】
混合信号を受信するためのマイクロフォン２はオートバイに乗車する人７の口の近くのヘルメット４のフロント部に配置される。マイクロフォン２は、従って、ここではオートバイに乗車する人の聴覚的に感知される音声信号である目的信号の信号源の近傍に配置される。しかしながら、オートバイ６のエンジン５は極めて大きくてエンジン雑音はヘルメット４によっては僅に弱められるだけであり、マイクロフォン２はエンジン５の雑音も受信する。
【００２４】
信号処理ユニット１はマイクロフォン３で受信される参照信号から手がかりを抽出するとともに手がかりを用いてマイクロフォン２で受信される混合信号から音声信号を分離するよう構成されている。抽出及び分離の詳細な記述は図３の方法において提供される。
【００２５】
本発明によるシステムは従って混合信号のエンジン雑音を非常に低減することができる。この低減の結果として乗車中の電話通信が改善される。
【００２６】
本発明によるシステムについての別の応用分野が図２中に示され、図１中に示されたシステムに類似のシステムを含む自動車８が示されている。しかしながら、信号処理ユニット１及び混合信号を受信するためのマイクロフォン２はヘルメット内には配置されるのではなく、自動車８の内側に配置されている。特に混合信号を受信するためのマイクロフォン２は乗員室内に運転者の口の近傍となるように配置される。参照信号を受信するためのマイクロフォン３ａはここでもエンジン５の近傍に配置される。信号処理ユニット１は自動車内の何れの場所にも配置できるとともに、混合信号を受信するためのマイクロフォン２及び参照信号を受信するためのマイクロフォン３ａに接続されている。従って、受信ユニット３ｂはここでは必要とされない。本発明によるシステムは送受話器なしの電話通信を改善するだけではなく自動車載装置の音声操作をも改善する。エンジンにより発生される調和雑音の低減はここでは特に有用である。
【００２７】
図３は本発明の一実施例による方法を示す。まず始めに聴覚的に感知される混合信号及び参照信号が受信される（１００、１０１）。
【００２８】
参照信号は好ましくは雑音の音源（例えば、エンジン、ファン、等々）から直接的に感知される。理想的なセットアップでは如何なる付加的な信号も伴わない参照信号だけが感知されて歪みのない参照信号が入手される。このようなことは音源近くの参照信号により最もよく達成される。
【００２９】
同様に目的信号は好ましくはその音源近くで感知される。自動車或いはオートバイの運転者の音声信号の場合、運転者の口の近くでの感知が最もよい。しかしながら、運転者が如何なる特別の装置の装着を必要としない場合、すなわち、送受話器なしの場合における音声交信もできるようにするため、目的信号は一般にその音源から所定の距離だけ離れて感知される。その結果、目的信号とその他の音源の混合が感知される。従って、本発明の一応用例では、この混合信号はエンジンにより発生される雑音及び運転者の音声信号の混合である。既に上述されたように、混合信号及び参照信号は例えばマイクロフォンにより感知され得る。
【００３０】
参照信号及び混合信号を受信した後に両信号は多数の隣接周波数チャネルに分割される１０２、１０３。各瞬時毎の各周波数チャネルについて参照信号（「雑音信号」）からグルーピング聴覚情景解析手がかりが抽出される１０５。音源の分離のために計算機による聴覚情景解析（ＣＡＳＡ）において典型的には用いられるこれらの手がかりは例えば１つ或いは複数の以下のものである：
―  基本周波数
―  共通のオン及びオフのセット
―  共通の変調性／漸近的変化性
―  空間的手がかり（ＩＴＤ（両耳間時間差）／ＩＬＤ（両耳間強度差）、即ち、知覚音源）
―  連続状態
―  連続する類似性
【００３１】
これらの聴覚的手がかりは参照信号上の参照情報を与える。これらの手がかりを知ることで混合信号中の参照信号を特定できる。そうするため、これらの手がかりが参照信号内で抽出され、参照信号は殆ど歪められないとともにこれらの手がかりは容易に抽出でき、そして混合信号内において評価される。この評価の役割の結果として、即ち、参照信号が混合信号に著しく影響するような各瞬間毎の周波数チャネルが特定され得る。
【００３２】
これらの聴覚的手がかりの抽出のため、参照信号は各瞬間毎の各周波数チャネルについて周波数領域に変換される。これらの手がかりのうちの或るもの、例えば、基本周波数については、これらの手がかりを時間領域内で直接的に抽出してそして種々の周波数チャネル上のそれらの影響を計算できる（基本周波数の場合では役割は基本周波数及び基本周波数から容易に計算できる和音に存在する）。聴覚的手がかりを基本周波数から抽出した後、それらは（例えば雑音と音声を備えた）混合信号の中で評価される。混合信号を周波数領域に変換した後には各瞬間毎の各周波数チャネルについて手がかりが評価される（１０４）。そして各瞬間毎の各周波数チャネルを音声或いは雑音に割り当てることができる（１０６）。この割り当てに基づいて混合信号は、離散した時間ステップ毎に、「音声」の周波数チャネル及び「雑音」の周波数チャネルに分離される（１０７）。
【００３３】
この方法を用いれば計算機による聴覚情景解析（ＣＡＳＡ）における手がかりが歪められていない雑音信号から測定できることになったとともにこの情報を用いて雑音の記録の位置及び混合信号間（例えば、エンジン室から乗員室）の変換関数の推定の必要なく音声及び雑音の混合中の雑音を推定できる。
【００３４】
図１及び２では、本発明によるシステムはオートバイのヘルメット内及び自動車内に備えられる。しかしながら、そのようなシステムは例えばロボットに備えられることもできる。これはロボットの音声認識システムを改善する助けとなる。従ってロボット或いは音声により制御される或いは音声を解釈する他のどのような技術システムが喧しくて騒がしい環境でも使用可能になる。
【００３５】
本発明によるシステムが使用できるその他の応用分野は聴覚装置である。聴覚装置が受信している混合信号中の雑音を消去することは聴覚装置を使用している人が他の人の音声をよりよく理解するのに役立つ。
【００３６】
図１及び２の例は参照信号がエンジンからの雑音を使用するようなシステムである。しかしながら、音声信号上の参照信号を例えば骨伝達マイクロフォンを用いて得ることも可能である。この場合、必要なグルーピング情報は音声信号から抽出されそして雑音信号から音声信号を分離するために使用される。
【図１】
2011085904.tif 000003
【図２】
2011085904.tif 000004
【図３】
2011085904.tif 000005
【外国語明細書】
2011085904.tif 000006
2011085904.tif 000007
2011085904.tif 000008
2011085904.tif 000009
2011085904.tif 000010
2011085904.tif 000011
2011085904.tif 000012
2011085904.tif 000013
2011085904.tif 000014
2011085904.tif 000015
2011085904.tif 000016
2011085904.tif 000017
2011085904.tif 000018
2011085904.tif 000019
2011085904.tif 000020
2011085904.tif 000021
2011085904.tif 000022
2011085904.tif 000023
2011085904.tif 000024
2011085904.tif 000025
2011085904.tif 000026
2011085904.tif 000027