(57)【特許請求の範囲】
【請求項１】
話者の発声した音声を少なくとも異なる２箇所以上の異なった位置で受音して複数チャネルの音声信号を得る音声入力手段と、
前記音声信号をチャネル毎に周波数分析して複数チャネルの周波数成分を出力する周波数分析手段と、
前記周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いて適応フィルタ処理を施すことにより前記話者の方向からの音声以外の音声を抑圧する到来雑音抑圧処理を行い、目的音声成分を得る第１のビームフォーマ処理手段と、
前記周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いて適応フィルタ処理を施すことにより前記話者の方向からの音声を抑圧し、第１の雑音成分を得る第２のビームフォーマ処理手段と、
前記周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いて適応フィルタ処理を施すことにより前記話者の方向からの音声を抑圧し、第２の雑音成分を得る第３のビームフォーマ処理手段と、
前記第１のビームフォーマ処理手段で計算されるフィルタ係数から雑音方向を推定する雑音方向推定手段と、
前記第２のビームフォーマ処理手段で計算されるフィルタ係数から第１の目的音方向を推定する第１の目的音方向推定手段と、
前記第３のビームフォーマ処理手段で計算されるフィルタ係数から第２の目的音方向を推定する第２の目的音方向推定手段と、
前記第１のビームフォーマ処理手段において入力対象とする目的音の到来方向である第１の入力方向を、前記第１の目的音方向推定手段で推定された第１の目的音方向と、第２の目的音方向推定手段で推定された第２の目的音方向のいずれか一方または両方に基づいて逐次修正する第１の入力方向修正手段と、
前記雑音方向推定手段で推定された雑音方向が所定の第１の範囲にある場合に、前記第２のビームフォーマ処理手段において入力対象とする雑音の到来方向である第２の入力方向を該雑音方向に基づいて逐次修正する第２の入力方向修正手段と、
前記雑音方向推定手段で推定された雑音方向が所定の第２の範囲にある場合に、前記第３のビームフォーマ処理手段において入力対象とする雑音の到来方向である第３の入力方向を該雑音方向に基づいて逐次修正する第３の入力方向修正手段と、
前記雑音方向推定手段で推定された雑音方向が所定の第１の範囲から到来したか所定の第２の範囲から到来したかに基づいて前記第１および第２の出力雑音のいずれか一方を真の雑音出力と決定していずれか一方の雑音を出力すると同時に、第１の目的音方向推定手段と第２の目的音方向推定手段のいずれの推定結果が有効であるかを決定していずれか一方の目的音方向推定結果を第１の入力方向修正手段へ出力する有効雑音決定手段と、
を具備し、逐次、音声周波数成分と雑音周波数成分とを別々に出力することを特徴とする雑音抑圧装置。
【請求項２】
請求項１に記載の雑音抑圧装置において、
前記音声周波数成分を、周波数帯域毎に分割して帯域毎の音声パワーを計算する音声帯域パワー計算手段と、
前記雑音周波数成分を、周波数帯域毎に分割して帯域毎の雑音パワーを計算する雑音帯域パワー計算手段と、
前記音声帯域パワー計算手段と雑音帯域パワー計算手段とから得られる音声と雑音の周波数帯域パワーに基き、音声信号の周波数帯域毎に重みをかけて背景雑音を抑圧するスペクトル減算手段と、
からなるスペクトル減算雑音抑圧手段をさらに具備することを特徴とする雑音抑圧装置。
【請求項３】
請求項１に記載の雑音抑圧装置において、
前記音声周波数成分を、周波数帯域毎に分割して帯域毎の音声パワーを計算する音声帯域パワー計算手段と、
前記雑音周波数成分を、周波数帯域毎に分割して帯域毎の雑音パワーを計算する雑音帯域パワー計算手段と、
前記音声入力手段から得られた入力信号を周波数分析した入力信号の周波数成分を周波数帯域毎に分割し、帯域毎の入カパワーを計算する入力帯域パワー計算手段と、
前記入力帯域パワーと音声帯域パワーと雑音帯域パワーとに基き、音声信号の周波数帯域毎に重みをかけて背景雑音を抑圧する修正スペクトル減算手段を具備することを特徴とする雑音抑圧装置。
【請求項４】
話者の発声した音声を２箇所以上の異なった位置で受音して複数チャンネルの音声信号を得るステップと、
前記複数チャネルの音声信号を周波数分析して複数チャネルの周波数成分を得る周波数分析ステップと、
前記周波数分析ステップにて得られた前記複数チャネルの周波数成分について、所望方向外の感度が低くなるようにしたフィルタ係数を用いて適応フィルタ処理を施すことにより前記話者の方向からの音声以外の音声を抑圧する到来雑音抑圧処理を行い、目的音声成分を得る第１のビームフォーマ処理ステップと、
前記周波数分析ステップにて得られた前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いて適応フィルタ処理を施すことにより前記話者の方向からの音声を抑圧し、第１の雑音成分を得る第２のビームフォーマ処理ステップと、
前記周波数分析ステップにて得られた各チャネルの周波数成分を用いて前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いて適応フィルタ処理を施すことにより前記話者の方向からの音声を抑圧し、第２の雑音成分を得る第２のビームフォーマ処理ステップと、
前記第１のビームフォーマ処理ステップで計算されるフィルタ係数から雑音方向を推定する雑音方向推定ステップと、
前記第２のビームフォーマ処理ステップで計算されるフィルタ係数から第１の目的音方向を推定する第１の目的音方向推定ステップと、
前記第３のビームフォーマ処理ステップで計算されるフィルタ係数から第２の目的音方向を推定する第２の目的音方向推定ステップと、
前記第１のビームフォーマにおいて入力対象とする目的音の到来方向である第１の入力方向を、前記第１の目的音方向推定ステップで推定された第１の目的音方向と、第２の目的音方向推定ステップで推定された第２の目的音方向のいずれか一方または両方に基づいて逐次修正する第１の入力方向修正ステップと、
前記雑音方向推定ステップで推定された雑音方向が所定の第１の範囲にある場合に、前記第２のビームフォーマ処理ステップにおいて入力対象とする雑音の到来方向である第２の入力方向を該雑音方向に基づいて逐次修正する第２の入力方向修正ステップと、
前記雑音方向推定ステップで推定された雑音方向が所定の第２の範囲にある場合に、前記第３のビームフォーマ処理ステップにおいて入力対象とする雑音の到来方向である第３の入力方向を該雑音方向に基づいて逐次修正する第３の入力方向修正ステップと、
前記雑音方向推定ステップで推定された雑音方向が所定の第１の範囲から到来したか所定の第２の範囲から到来したかに基づいて前記第１および第２の出力雑音のいずれか一方を真の雑音出力と決定していずれか一方の雑音を出力すると同時に、第１の目的音方向推定ステップと第２の目的音方向推定ステップのいずれの推定結果が有効であるかを決定していずれか一方の目的音方向推定結果を第１の入力方向修正ステップで使用する音声方向推定結果として与える有効雑音決定ステップと、
を具備し、逐次、音声周波数成分と雑音周波数成分とを別々に出力することを特徴とする雑音抑圧方法。
【請求項５】
請求項４に記載の雑音抑圧方法において、
前記音声周波数成分を、周波数帯域毎に分割して帯域毎の音声パワーを計算する音声帯域パワー計算ステップと、
前記雑音周波数成分を、周波数帯域毎に分割して帯域毎の雑音パワーを計算する雑音帯域パワー計算ステップと、
前記音声帯域パワー計算ステップにて得られる音声の周波数帯域パワーと、雑音帯域パワー計算ステップにて得られる雑音の周波数帯域パワーとに基き、音声信号の周波数帯域毎に重みをかけて背景雑音を抑圧するスペクトル減算ステップと、
をさらに具備することを特徴とする雑音抑圧方法。
【請求項６】
請求項４に記載の雑音抑圧方法において、
前記音声周波数成分を、周波数帯域毎に分割して帯域毎の音声パワーを計算する音声帯域パワー計算ステップと、
前記雑音周波数成分を、周波数帯域毎に分割して帯域毎の雑音パワーを計算する雑音帯域パワー計算ステップと、
前記周波数分析ステップにて得られた入力信号の周波数スペクトル成分を周波数帯域毎に分割し、帯域毎の入カパワーを計算する入力帯域パワー計算ステップと、
前記入力帯域パワーと音声帯域パワーと雑音帯域パワーとに基き、音声信号の周波数帯域毎に重みをかけて背景雑音を抑圧する修正スペクトル減算ステップと、を具備することを特徴とする雑音抑圧方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は複数のマイクロホンを用いて雑音を抑圧し、目的の音声を取り出す雑音抑圧装置に関する。
【０００２】
【従来の技術】
環境下には種々の雑音源があることから、マイクロホンで音声信号を取り込む場合においても、周囲から紛れ込む雑音を避けることは難しい。しかし、雑音が混入した音声信号を再生すると、目的の音声が聴き辛いものとなるから、雑音成分の低減処理が必要となる。
【０００３】
ところで、音声に紛れる雑音の低減処理技術として、従来より知られているものに、複数のマイクロホンを用いて雑音を抑圧する技術がある。そして、このマイクロホン処理技術は、音声認識装置やテレビ会議装置などの音声入力を目的として従来から多くの研究者によって技術開発に力が注がれている。中でも、少ないマイクロホン数で大きな効果が得られる適応ビームフォーマ処理技術を利用したマイクロホンアレイに関しては、文献１（電子情報通信学会編：音響システムとデジタル処理）あるいは文献２（Heykin著；Adaptive  Filter  Theory（Plentice  Hall））に述べられているように、一般化サイドロープキャンセラ（ＧＳＣ）、フロスト型ビームフォーマ、参照信号法など、種々の方法が知られている。
【０００４】
なお、適応ビームフォーマ処理と云うのは、一般には、妨害雑音の到来方向に死角を形成したフィルタにより雑音を抑圧する処理である。
しかしながら、この適応ビームフォーマ処理技術においては、実際の目的信号の到来方向が、仮定した到来方向と異なる場合、その目的信号が雑音と見做されて除去されてしまうことから、性能が劣化するという問題を抱えている。
【０００５】
そこで、これを改善すべく、例えば文献３（宝珠山他：“ブロッキング行列にリーク適応フィルタを用いたロバスト一般化サイドローブキャンセラ”、電子情報通信学会論文誌  Ａ  Ｖｏｌ．Ｊ７９−Ａ  Ｎｏ．９  ｐｐ１５１６−１５２４（１９９６．９））に開示されているように、仮定した到来方向と実際の到来方向とのずれを許容するような技術が開発されているが、この場合、目的信号の除去は軽減されても、実際の到来方向と仮定した到来方向とのずれにより、目的信号が歪むおそれがある。
【０００６】
これに対し、例えば、特願平９−９７９４号公報において、複数のビームフォーマを用いて、話者方向を逐次検知してその方向にビームフォーマの入力方向を修正することで、話者の方向を追尾し、目的信号の歪みを小さくする方法も開示されている。
【０００７】
しかしながら、特願平９−９７９４号公報に開示されている方法は、時間領域の適応フィルタ処理を行っているため、フィルタ係数から話者方向を推定する際、時間領域のフィルタ係数から周波数領域への変換が必要であり、計算量が大きくなる。
【０００８】
【発明が解決しようとする課題】
音声の雑音を抑圧する技術として、複数本のマイクロホンを用い、これらのマイクロホンで、話者の音声を取り込むと共に、妨害雑音の到来方向に死角を形成したフィルタを通すことにより、雑音成分を抑圧する適応ビームフォーマ処理技術がある。
【０００９】
この適応ビームフォーマ処理技術においては、実際の目的信号の到来方向、すなわち、話者のいる方向が、予め仮定した到来方向と異なる場合、目的信号が雑音と見做されて除去され、音声収集性能が劣化するという問題を抱えている。
【００１０】
そこで、これを改善すべく、仮定した到来方向と実際の到来方向とのずれを許容するような技術が開発されているが、この場合、目的信号の除去は軽減されても、実際の到来方向と仮定した到来方向とのずれにより、目的信号が歪む心配があり、得られる音声の品質の問題を残している。
【００１１】
また、複数のビームフォーマを用い、話者方向を逐次検知してその方向にビームフォーマの入力方向を修正することで、話者の方向を追尾し、目的信号の歪みを小さくする方法も提案されている。しかしながら、この方法は、時間領域の適応フィルタ処理を行っているため、フィルタ係数から話者方向を推定する際、時間領域のフィルタ係数から周波数領域への変換が必要であり、計算量が大きくなるという問題があった。
【００１２】
故に、従来の技術はいずれも一長一短であり、高品位に目的信号を収集できると共に、処理時間も短時間で済むようなビームフォーマ処理技術の開発が嘱望されている。
【００１３】
そこで、この発明の目的とするところは、周波数領域で動作するビームフォーマを用いることで、計算量を大幅に削減する雑音抑圧処理装置および雑音抑圧処理方法を提供することにある。
【００１４】
【課題を解決するための手段】
上記目的を達成するため、本発明は次のように構成する。
【００１５】
［１］  第１には、話者の発声した音声を少なくとも異なる２箇所以上の位置で受音する音声入力手段と、前記受音位置に対応する音声信号のチャネル毎に周波数分析を行って複数チャネルの周波数成分を出力する周波数分析手段と、この周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声以外の音声を抑圧する到来雑音抑圧処理を行い、目的音声成分を得る第１のビームフォーマ処理手段と、前記周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声を抑圧し、雑音成分を得る第２のビームフォーマ処理手段と、前記第１のビームフォーマ処理手段で計算されるフィルタ係数から雑音方向を推定する雑音方向推定手段と、前記第２のビームフォーマ処理手段で計算されるフィルタ係数から目的音方向を推定する目的音方向推定手段と、前記第１のビームフォーマにおいて入力対象となる目的音の到来方向である第１の入力方向を、前記目的音方向推定手段で推定された目的音方向に基づいて逐次修正する目的音方向修正手段と、前記第２のビームフォーマにおいて入力対象とする雑音の到来方向である第２の入力方向を、前記雑音方向推定手段で推定された雑音方向に基づいて逐次修正する雑音方向修正手段とを具備する。
【００１６】
［２］また、第２には、本発明は、話者の発声した音声を少なくとも異なる２箇所以上の位置で受音する音声入力手段と、前記受音位置に対応する音声信号のチャネル毎に周波数分析を行って複数チャネルの周波数成分を出力する周波数分析手段と、この周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声以外の音声を抑圧する到来雑音抑圧処理を行い、目的音声成分を得る第１のビームフォーマ処理手段と、前記周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声を抑圧し、第１の雑音成分を得る第２のビームフォーマ処理手段と、前記周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声を抑圧し、第２の雑音成分を得る第２のビームフォーマ処理手段と、前記第１のビームフォーマ処理手段で計算されるフィルタ係数から雑音方向を推定する雑音方向推定手段と、前記第２のビームフォーマ処理手段で計算されるフィルタ係数から第１の目的音方向を推定する第１の目的音方向推定手段と、前記第３の適応ビームフォーマ処理手段で計算されるフィルタ係数から第２の目的音方向を推定する第２の目的音方向推定手段と、前記第１のビームフォーマにおいて入力対象とする目的音の到来方向である第１の入力方向を、前記第１の目的音方向推定手段で推定された第１の目的音方向と、第２の目的音方向推定手段で推定された第２の目的音方向のいずれか一方または両方に基づいて逐次修正する第１の入力方向修正手段と、前記雑音方向修正手段で推定された雑音方向が所定の第１の範囲にある場合に、前記第２のビームフォーマにおいて入力対象とする雑音の到来方向である第２の入力方向を該雑音方向に基づいて逐次修正する第２の入力方向修正手段と、前記雑音方向修正手段で推定された雑音方向が所定の第２の範囲にある場合に、前記第３のビームフォーマにおいて入力対象とする雑音の到来方向である第３の入力方向を該雑音方向に基づいて逐次修正する第３の入力方向修正手段と、前記雑音方向推定手段で推定された雑音方向が所定の第１の範囲から到来したか所定の第２の範囲から到来したかに基づいて前記第１の出力雑音と前記第２の出力雑音のいずれか一方を真の雑音出力と決定していずれか一方の雑音を出力すると同時に、第１の音声方向推定手段と第２の音声方向推定手段のいずれの推定結果が有効であるかを決定していずれか一方の音声方向推定結果を第１の入力方向修正手段へ出力する有効雑音決定手段とを具備する。
【００１７】
［３］更に第３には、本発明は、上記［１］項または［２］項いずれかに記載の雑音抑圧装置において、前記得られた音声周波数を、周波数帯域毎に分割して帯域毎の音声パワーを計算する音声帯域パワー計算手段と、前記得られた雑音周波数成分を、周波数帯域毎に分割して帯域毎の雑音パワーを計算する雑音帯域パワー計算手段と、前記音声帯域パワー計算手段と雑音帯域パワー計算手段とから得られる音声と雑音の周波数帯域パワーに基き、音声信号の周波数帯域毎に重みをかけて背景雑音を抑圧するスペクトル減算手段とからなるスペクトル減算雑音抑圧手段をさらに具備することを特徴とする。
【００１８】
［４］更に第４には、本発明は、上記［１］項または［２］項いずれかに記載の雑音抑圧装置において、前記得られた音声周波数を、周波数帯域毎に分割して帯域毎の音声パワーを計算する音声帯域パワー計算手段と、前記得られた雑音周波数成分を、周波数帯域毎に分割して帯域毎の雑音パワーを計算する雑音帯域パワー計算手段と、前記音声入力手段から得られた入力信号を周波数分析した入力信号の周波数成分を周波数帯域毎に分割し、帯域毎の入カパワーを計算する入力帯域パワー計算手段と、前記入力帯域パワーと音声帯域パワーと雑音帯域パワーとに基き、音声信号の周波数帯域毎に重みをかけて背景雑音を抑圧する修正スペクトル減算手段を具備することを特徴とする。
【００１９】
そして、上記［１］の構成の場合、話者の発声した音声を異なる２箇所以上の位置で音声入力手段は受音し、周波数分析手段では、これを前記受音位置に対応する音声信号のチャネル毎に周波数分析して複数チャネルの周波数成分を出力する。そして、第１のビームフォーマ処理手段はこの周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声以外の音声を抑圧する到来雑音抑圧処理を行い、目的音声成分を得、また、第２のビームフォーマ処理手段は、前記周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声を抑圧し、雑音成分を得る。そして、雑音方向推定手段は、前記第１のビームフォーマ処理手段で計算されるフィルタ係数から雑音方向を推定し、目的音方向推定手段は、前記第２のビームフォーマ処理手段で計算されるフィルタ係数から目的音方向を推定する。目的音方向修正手段は、前記第１のビームフォーマにおいて入力対象となる目的音の到来方向である第１の入力方向を、前記目的音方向推定手段で推定された目的音方向に基づいて逐次修正するので、第１のビームフォーマは第１の入力方向以外から到来する雑音成分を抑圧して話者の音声成分を低雑音で抽出することになる。また、雑音方向修正手段は、前記第２のビームフォーマにおいて入力対象とする雑音の到来方向である第２の入力方向を、前記雑音方向推定手段で推定された雑音方向に基づいて逐次修正するので、第２のビームフォーマは第２の入力方向以外から到来する成分を抑圧して話者の音声成分を抑圧した残りの雑音成分を抽出することになる。
【００２０】
このように本システムは雑音成分を抑圧した音声周波数成分と、音声成分を抑圧した雑音周波数成分とを別々に得ることができるが、この発明の最大の特徴は、第１及び第２のビームフォーマとして、周波数領域で動作するビームフォーマを用いるようにした点にある。そして、このことによって、計算量を大幅に削減することができるようにしている。
【００２１】
そしてこの発明によると、適応フィルタの処理量が大幅に低減されるのに加え、入力音声に対する周波数分析以外の周波数分析処理を省略することができ、かつ、フィルタ演算時に必要であった時間領域から周波数領域ヘの変換処理も不要となり、全体の演算量を大幅に削減することができる。
【００２２】
すなわち、従来技術では、ビームフォーマで抑圧できない拡散性雑音の抑圧処理のために、スペクトルサブトラクション（以後、ＳＳと略称する）処理を、ビームフォーマ処理の後に行うようにしており、このＳＳは周波数スペクトルを入力とするため、ＦＦＴ（高速フーリエ変換）などの周波数分析が従来必要であったが、周波数領域で動作するビームフォーマを用いると当該ビームフォーマからは周波数スペクトルが出力されるため、これをＳＳに流用できるので、特別にＳＳのためのＦＦＴを実施する従来のＦＦＴ処理工程は省略することができる。故に、全体の演算量を大幅に削減することができる。
【００２３】
また、ビームフォーマのフィルタを用いた方向推定の際に必要であった時間領域から周波数領域への変換処理も不要となり、全体の演算量を大幅に削減することができる。
【００２４】
また、［２］の構成の場合、話者の発声した音声を異なる２箇所以上の位置で音声入力手段は受音し、周波数分析手段では、これを前記受音位置に対応する音声信号のチャネル毎に周波数分析して複数チャネルの周波数成分を出力する。そして、第１のビームフォーマ処理手段はこの周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声以外の音声を抑圧する到来雑音抑圧処理を行い、目的音声成分を得、また、第２のビームフォーマ処理手段は、前記周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声を抑圧し、雑音成分を得る。そして、雑音方向推定手段は、前記第１のビームフォーマ処理手段で計算されるフィルタ係数から雑音方向を推定し、目的音方向推定手段は、前記第２のビームフォーマ処理手段で計算されるフィルタ係数から目的音方向を推定する。
【００２５】
また、第１の目的音方向推定手段は前記第２のビームフォーマ処理手段で計算されるフィルタ係数から第１の目的音方向を推定し、第２の目的音方向推定手段は、前記第３の適応ビームフォーマ処理手段で計算されるフィルタ係数から第２の目的音方向を推定する。
【００２６】
第１の入力方向修正手段は、前記第１のビームフォーマにおいて入力対象とする目的音の到来方向である第１の入力方向を、前記第１の目的音方向推定手段で推定された第１の目的音方向と、第２の目的音方向推定手段で推定された第２の目的音方向のいずれか一方または両方に基づいて逐次修正する。そして、第２の入力方向修正手段は、前記雑音方向修正手段で推定された雑音方向が所定の第１の範囲にある場合に、前記第２のビームフォーマにおいて入力対象とする雑音の到来方向である第２の入力方向を該雑音方向に基づいて逐次修正し、第３の入力方向修正手段は、前記雑音方向修正手段で推定された雑音方向が所定の第２の範囲にある場合に、前記第３のビームフォーマにおいて入力対象とする雑音の到来方向である第３の入力方向を該雑音方向に基づいて逐次修正する。
従って、第２の入力方向修正手段の出力により第２の入力方向を修正される第２のビームフォーマは第２の入力方向以外から到来する成分を抑圧して残りの雑音成分を抽出することになり、また、第３の入力方向修正手段の出力により第３の入力方向を修正される第３のビームフォーマは第３の入力方向以外から到来する成分を抑圧して残りの雑音成分を抽出することになる。
【００２７】
そして、有効雑音決定手段は、前記雑音方向推定手段で推定された雑音方向が所定の第１の範囲から到来したか所定の第２の範囲から到来したかに基づいて前記第１の出力雑音と前記第２の出力雑音のいずれか一方を真の雑音出力と決定していずれか一方の雑音を出力すると同時に、第１の音声方向推定手段と第２の音声方向推定手段のいずれの推定結果が有効であるかを決定して有効な方の音声方向推定結果を第１の入力方向修正手段へ出力する。
この結果、目的音方向修正手段は、前記第１のビームフォーマにおいて入力対象となる目的音の到来方向である第１の入力方向を、前記決定した方の目的音方向推定手段で得た目的音方向に基づいて逐次修正するので、第１のビームフォーマは第１の入力方向以外から到来する雑音成分を抑圧して話者の音声成分を低雑音で抽出することになる。
【００２８】
このように本システムは雑音成分を抑圧した音声周波数成分と、音声成分を抑圧した雑音周波数成分とを別々に得ることができるが、この発明の最大の特徴は、第１及び第２のビームフォーマとして、周波数領域で動作するビームフォーマを用いるようにした点にある。そして、このことによって、計算量を大幅に削減することができるようにしている。
【００２９】
そしてこの発明によると、適応フィルタの処理量が大幅に低減されるのに加え、入力音声に対する周波数分析以外の周波数分析処理を省略することができ、かつ、フィルタ演算時に必要であった時間領域から周波数領域ヘの変換処理も不要となり、全体の演算量を大幅に削減することができる。
【００３０】
また、本発明では、雑音追尾に監視領域を全く異ならせた雑音追尾用のビームフォーマを設けてあり、それぞれの出力からそれぞれ音声方向を推定させると共に、それぞれの推定結果からいずれが有効な雑音追尾をしているかを判断して、有効と判断された方のビームフォーマのフィルタ係数による音声方向の推定結果を第１の目的音方向修正手段に与えることで第１の目的音方向修正手段は、前記第１のビームフォーマにおいて入力対象となる目的音の到来方向である第１の入力方向を、前記目的音方向推定手段で推定された目的音方向に基づいて逐次修正するので、第１のビームフォーマは第１の入力方向以外から到来する雑音成分を抑圧して話者の音声成分を低雑音で抽出することができ、雑音源が移動してもこれを見失うことなく追尾して抑圧することができるようになるものである。
【００３１】
従来技術においては、２ｃｈ、すなわち、２本のマイクロホンだけでも目的音源の追尾を可能とすべく、雑音追尾用のビームフォーマを雑音抑圧のビームフォーマとは別に１個用いるが、例えば、雑音源が目的音の方向を横切って移動したような場合、雑音の追尾精度が低下することがあった。
【００３２】
しかし、本発明では、雑音を追尾するビームフォーマを複数用いて各々別個の追尾範囲を受け持つようにしたことにより、上記のような場合でも追尾精度の低下を抑止できるようになる。
【００３３】
また、［３］項の構成の場合、音声帯域パワー計算手段は、得られた音声周波数のスペクトル成分を、周波数帯域毎に分割して帯域毎の音声パワーを計算し、雑音帯域パワー計算手段は、前記得られた雑音周波数のスペクトル成分を、周波数帯域毎に分割して帯域毎の雑音パワーを計算する。そして、スペクトル減算手段は、前記音声帯域パワー計算手段と雑音帯域パワー計算手段とから得られる音声と雑音の周波数帯域パワーに基き、音声信号の周波数帯域毎に重みをかけて背景雑音を抑圧する。
【００３４】
この構成によれば、ビームフォーマでは抑圧できない方向性のない雑音（背景雑音）は、本発明システムのビームフォーマで得ることのできる目的音声成分と雑音成分を利用し、これをスペクトルサブトラクション処理することで抑圧する。すなわち、本システムでは、ビームフォーマとして目的音声成分抽出用と雑音成分抽出用の２つのビームフォーマを備えているが、これらのビームフォーマの出力である目的音声成分と雑音成分を利用してスペクトルサブトラクション処理することにより、方向性のない背景雑音成分の抑圧を行う。スペクトルサブトラクション（ＳＳ）処理は雑音抑圧処理として知られるが、一般的に行われるスペクトルサブトラクション（ＳＳ）処理は、１チャンネルのマイクロホン（つまり、１本のマイクロホン）を用い、このマイクロホンの出力から音声のない区間において雑音のパワーを推定するため、非定常な雑音が音声に重畳している場合には対処できない。また、２チャンネルのマイクロホン（つまり、２本のマイクロホン）を用いて、一方を雑音収集用、片方を雑音重畳音声収集用とする場合にも、両マイクロホンの設置場所を離す必要があり、その結果、音声に重畳する雑音と、雑音収集用マイクロホンで取り込む雑音との位相がずれ、スペクトルサブトラクション処理しても雑音抑圧の改善効果は大きく上がらない。
【００３５】
しかし、本発明では、雑音成分を取り出すビームフォーマを用意して、このビームフォーマの出力を用いるようにしたため、位相のずれは補正されており、従って、非定常雑音の場合でも高精度なスペクトルサブトラクション処理を実現できる。さらに、周波数領域のビームフォーマの出力を利用しているため、周波数分析を省略してスペクトルサブトラクションが可能であり、従来より少ない演算量で非定常雑音を抑圧できる。
【００３６】
更に［４］項の発明は、上記［３］の発明の雑音抑圧装置において、音声入力手段から得られた入力信号を周波数分析した入力信号の周波数成分を周波数帯域毎に分割し、帯域毎の入カパワーを計算する入力帯域パワー計算手段を設けて、スペクトル減算手段には、入力帯域パワーと音声帯域パワーと雑音帯域パワーとに基き、音声信号の周波数帯域毎に重みをかけて背景雑音を抑圧する処理を実施させるようにしており、この構成の場合、音声帯域パワー計算手段は、得られた音声周波数のスペクトル成分を、周波数帯域毎に分割して帯域毎の音声パワーを計算し、雑音帯域パワー計算手段は、前記得られた雑音周波数のスペクトル成分を、周波数帯域毎に分割して帯域毎の雑音パワーを計算する。
また、入力帯域パワー計算手段があり、この入力帯域パワー計算手段は、音声入力手段から得られた入力信号を周波数分析して得た入力音声の周波数スペクトル成分を受けて、これを周波数帯域毎に分割し、帯域毎の入カパワーを計算する。そして、スペクトル減算手段は、前記音声帯域パワー計算手段と雑音帯域パワー計算手段とから得られる音声と雑音の周波数帯域パワーに基き、音声信号の周波数帯域毎に重みをかけて背景雑音を抑圧する。
【００３７】
この［４］項の発明においては、［３］項の発明におけるスペクトルサブトラクション（ＳＳ）処理において、更に雑音成分についてそのパワーを修正するようにしたことにより、一層高精度に雑音抑圧を行うことを可能とするものである。すなわち、［３］項の発明では雑音源のパワ−Ｎが小さいという仮定をおいたため、スペクトルサブトラクション（ＳＳ）処理を行うと雑音源の成分が音声に重畳している部分では歪みが大きくなる可能性が残るが、ここでは入力信号のパワーを用いて第３の発明でのスペクトルサブトラクション処理における帯域重みの計算を修正するようにした。
これにより、方向を持つ雑音成分および方向のない雑音成分を抑圧した歪みの少い音声成分のみの抽出ができるようになる。
【００３８】
【発明の実施の形態】
以下、本発明の実施の形態につき図面を参照して説明する。
【００３９】
（実施例１）
はじめに、実施例１について説明する。この実施例１は請求項１の内容に相当する。
【００４０】
図１は実施例１のシステムの構成例を示すブロック図であって、本発明の一実施形態に係る雑音抑圧装置の基本構成を示すブロック図である。本発明は、マイクロホン数が２ｃｈ（ｃｈ；チャンネル）すなわち、２本と云った最小の場合でも話者追尾可能とするための技術であるため、ここでは２ｃｈで説明するが、３ｃｈ以上となった場合でも処理の方法は同様である。
【００４１】
図１において、１１は音声入力部、１２は周波数解析部、１３は第１のビームフォーマ、１４は第１の入力方向修正部、１５は第２の入力方向修正部、１６は第２のビームフォーマ、１７は雑音方向推定部、１８は目的音方向推定部（音声方向推定部）である。
【００４２】
これらのうち、音声入力部１１は、例えば、音声収集対象である話者の発声した音声（目的音声）を異なる２箇所以上の位置で受音するためのものであり、具体的にはそれぞれ地点を異ならせて設置した２本のマイクロホンを用いて音声を取り込み、電気信号に変換するものである。また、周波数分析部１２は、前記マイクロホンの受音位置に対応する音声信号のチャネル毎に周波数分析を行って複数チャネルの周波数成分を出力するものであり、具体的にはここでは第１のマイクロホンのとらえた音声信号（第１チャンネル１ｃｈの音声信号）および第２のマイクロホンのとらえた音声信号（第２チャンネル２ｃｈの音声信号）を、それぞれ別々に高速フーリエ変換するなどして時間領域の信号成分から周波数領域の成分のデータに変換することにより、各チャンネル別に周波数スペクトルのデータに変換して出力するものである。
【００４３】
第１のビームフォーマ１３は、この周波数分析部１２からの複数チャンネルの周波数成分出力、この場合、１ｃｈ，２ｃｈの音声信号を用いて、これより目的音声の周波数分を抽出するためのものであって、前記１ｃｈ，２ｃｈそれぞれの周波数成分（周波数スペクトルデータ）を用いて適応フィルタ処理により目的の音声以外の到来雑音の抑圧処理を行うことにより、目的とする音源方向からの周波数成分を抽出するといったことを行う処理手段であり、第２のビームフォーマ１６は、周波数分析部１２からの複数チャンネルの周波数成分出力、この場合、１ｃｈ，２ｃｈの音声信号を用いて、これより雑音源方向からの周波数成分を抽出するためのものであって、前記１ｃｈ，２ｃｈそれぞれの周波数成分（周波数スペクトルデータ）を用いて適応フィルタ処理により雑音音源方向からの音声以外の成分の抑圧処理を行うことにより、雑音源方向からの周波数スペクトル成分のデータを抽出するといったことを行う処理手段である。
【００４４】
また、雑音方向推定部１７は、前記第１のビームフォーマ１３で計算されるフィルタ係数から雑音方向を推定すると云った処理を行うものであって、具体的には前記第１のビームフォーマ１３の適応フィルタから得られるフィルタリング処理用のフィルタ係数などのパラメータを用いて雑音方向を推定し、その推定量対応のデータを出力し、また、目的音方向推定部（音声方向推定部）１８は、前記第２のビームフォーマ１６で計算されるフィルタ係数から目的音方向を推定すると云った処理を行うものであって、具体的には前記第２のビームフォーマ１６の適応フィルタで用いられているフィルタ係数などのパラメータから音声（または目的音）方向を推定し、その推定量対応のデータを出力するものである。
【００４５】
また、第１の入力方向修正部１４は、本来の目的音方向にビームフォーマの入力方向を修正するためのものであって、前記第１のビームフォーマ１３において、入力対象とする目的音の到来方向である第１の入力方向を、前記目的音方向推定部１８で推定された目的音方向に基づいて逐次方向修正するための出力を発生し、第１のビームフォーマ１３に与えるものである。具体的には、第１の入力方向修正部１４は、目的音方向推定部１８の出力する推定量対応のデータを現在の目的とする音源方向の角度情報αに変換して目標角度情報αとして第１のビームフォーマ１３に出力するものである。
【００４６】
第２の入力方向修正部１５は第２のビームフォーマ１６の入力方向を雑音方向に修正するためのものであって、前記第２のビームフォーマ１６において、入力対象とする雑音の到来方向である第２の入力方向を、前記雑音方向推定部１７で推定された雑音方向に基づいて逐次方向修正するための出力を発生し、第２のビームフォーマ１６に与えるものである。具体的には、第２の入力方向修正部１５は、雑音方向推定部１７の出力する推定量対応のデータを現在の目的とする雑音源方向の角度情報に変換して目標角度情報αとして第２のビームフォーマ１６に出力するものである。
【００４７】
ここでビームフォーマ１３，１６の構成例を示しておく。
＜ビームフォーマの構成例＞
本発明システムで用いるビームフォーマ１３，１６は、図２（ａ）に示すような構成となる。すなわち、本発明システムにおいて用いられるビームフォーマ１３，１６は、入力音声中から抽出したい対象となる信号成分を得ることができるようにするために、抽出したい対象となる信号成分の到来方向に、ビームフォーマの入力方向を設定するための移相部１００と、抽出したい対象となる信号成分の到来方向以外の方向からの成分を抑圧するビームフォーマ本体１０１とから構成される。
【００４８】
移相部１００は補正ベクトル生成部１００ａと乗算手段１００ｂ，１００ｃとから構成され、ビームフォーマ本体１０１は加算手段１０１ａ，１０１ｂ，１０１ｃと適応フィルタ１０１ｄとから構成される。
【００４９】
補正ベクトル生成部１００ａは入力方向修正部１４または１５からの角度情報αを入力方向の情報として受けて、これよりα対応の補正ベクトルを生成するものであり、乗算手段１００ｂは周波数分析部１２から出力されるｃｈ１の周波数スペクトル成分のデータに対して補正ベクトル分を乗算して出力するものであり、乗算手段１００ｃは周波数分析部１２から出力されるｃｈ２の周波数スペクトル成分のデータに対して補正ベクトル分を乗算して出力するものである。
【００５０】
また、加算手段１０１ａは乗算手段１００ｂの出力と加算手段１００ｃの出力を加算して出力するものであり、加算手段１０１ｂは乗算手段１００ｂの出力と加算手段１００ｃの出力の差分を出力するものであり、加算手段１０１ｃは加算手段１０１ａの出力に対する適応フィルタ１０１ｄの出力の差分をビームフォーマの出力として出力するものであり、適応フィルタ１０１ｄは加算手段１０１ｂの出力に対してフィルタリング演算処理して出力するためのデジタルフィルタであって、加算手段１０１ｃの出力が最小となるようにフィルタ係数（パラメータ）が逐次変更される構成である。
【００５１】
ここで、本例ではマイクロホン構成が２本、すなわち、第１及び第２のマイクロホンｍ１，ｍ２を用いる収集音声２チャンネル（ｃｈ１，ｃｈ２）構成のシステムとしており、この場合、ビームフォーマの入力方向の設定とは、図２（ｂ）に示すように、入力対象の存在する方向からの音声信号が等価的に同時に両マイクロホンｍ１，ｍ２に到着したと見做せるように、ｃｈ１，ｃｈ２の２つの音声チャンネルの周波数成分に対して遅延を施し、位相を揃える（整相）ようにすることを指す。これは、図２の構成の場合、入力方向修正部１４，１５の出力する角度情報α対応に移相部１００で移相調整することによって実現している。
【００５２】
すなわち、図２の構成の場合、移相部１００は補正したい入力方向（角度情報α）対応の補正ベクトルを補正ベクトル生成部１００ａで生成するようにしており、この補正ベクトルを１ｃｈ，２ｃｈの各チャンネルの信号にそれぞれ乗算する乗算手段１００ｂ，１００ｃで乗算する構成とした移相部１００により次のようにして位相を揃える。
【００５３】
例えば、図２（ｂ）に符号ｍ１，ｍ２を付して示すような無指向性マイクロホン配置であって、Ｐ１点に居る目的音源である話者が、あたかもＰ２点に居るかのように信号に位相補正することを考えてみる。このような場合には、距離ｄだけ離れた第１のマイクロホンｍ１で検出した話者音声信号（ｃｈ１）の位相と第２のマイクロホンｍ２で検出した話者音声信号（ｃｈ２）の位相が同じになるように、第１のマイクロホンｍ１の話者音声信号（ｃｈ１）に伝搬時間差τ
τ＝ｒ・ｃ＝ｒ・sinα
ｒ＝ｄ・sinα
に相当する複素数Ｗ１
Ｗ１＝（ cos ｊωτ，sin ｊωτ）
の複素共役をかける。ここで、ｃは音速、ｄはマイクロホン間距離、αはマイクロホンｍ１から見た目的音の音源である話者の移動した角度、ｊは虚数、ωは角周波数である。
【００５４】
つまり、Ｗ１の複素共役をかけたことにより、αなる角度に移動した目的音源の音声について注目すれば、第１のマイクロホンｍ１でとらえた信号（ｃｈ１）が、第２のマイクロホンｍ２でとらえた信号と同位相となるように移相制御したことになる。
【００５５】
尚、第２のマイクロホンｍ２の信号（ｃｈ２）には、複素数Ｗ２＝（１，０）の複素共役をかけるものとする。つまり、これは第２のマイクロホンｍ２の信号（ｃｈ２）には、角度補正をしないことを意味する。
【００５６】
ここで、複素数Ｗ１と複素数Ｗ２を並べたベクトル｛Ｗ１，Ｗ２｝は、一般に方向ベクトルと呼ばれ、この｛Ｗ１，Ｗ２｝における複素共役のベクトル共役｛Ｗ１*，Ｗ２*｝を、補正ベクトルと呼ぶ。
【００５７】
角度情報α対応に補正ベクトルを生成させ、ｃｈ１，ｃｈ２の周波数スペクトル成分に対してこの補正ベクトルを乗算すれば、第１のマイクロホンｍ１の出力は、音源がＰ１よりＰ２に移動したにもかかわらず、第２のマイクロホンｍ２の位相と同じになるように補正されたことになり、第１のマイクロホンｍ１に関する限り、第２のマイクロホンｍ１，ｍ２のＰ２位置音源に対する距離はあたかも等しいかたちになる。
【００５８】
本実施例では、ビームフォーマは２つあるが、これら２つあるビームフォーマのうち、第１のビームフォーマ１３はその移相部１００により目的音の音源方向を入力対象方向とするように、ｃｈ１（もしくはｃｈ２）の周波数成分に上述の手法で遅延を施し、第２のビームフォーマ１６はその移相部１００により雑音源方向を入力対象方向とするように、ｃｈ１（もしくはｃｈ２）の周波数成分に上述の手法で遅延を施してそれぞれ両者の位相を揃える。ただし、目的音Ｓの到来方向以外からの音成分、すなわち、雑音成分Ｎについては第１および第２のマイクロホンｍ１，ｍ２ともに位相は全く無修正であるから、第１のマイクロホンｍ１と第２のマイクロホンｍ２で検出されるタイミングに時間差がある。
【００５９】
このように移相部１００により、目的音方向の音源からの検出される音声信号について位相修正した第１のマイクロホンｍ１の出力（目的音声成分Ｓと雑音分Ｎからなるｃｈ１の周波数スペクトルデータ）および修正の加えられない第２のマイクロホンｍ２の出力（目的音声成分Ｓと雑音分Ｎ′からなるｃｈ２の周波数スペクトルデータ）は、それぞれ加算手段１０１ａ，１０１ｂに入力される。そして、加算手段１０１ａではｃｈ１の出力とｃｈ２の出力が加算されることによって目的音声Ｓの２倍の信号と雑音成分Ｎ＋Ｎ′についてのパワー成分が求められ、加算手段１０１ｂではｃｈ１の出力（Ｓ＋Ｎ）とｃｈ２の出力（Ｓ＋Ｎ′）の差分（（Ｓ＋Ｎ）−（Ｓ＋Ｎ′）＝Ｎ−Ｎ′）、つまり、ノイズ分のパワー成分が求められる。そして、加算手段１０１ｃで加算手段１０１ａの出力に対する適応フィルタ１０１ｄの出力の差分を求め、これをビームフォーマの出力とすると共に、適応フィルタ１０１ｄにフィードバックする。
【００６０】
適応フィルタ１０１ｄは加算手段１０１ｂの出力に対して現在の探査方向対応の方向から到来した音の成分の周波数スペクトルが抽出されるようフィルタリング演算処理して出力するためのデジタルフィルタであり、逐次、角度１°刻みに到来信号の探査角度を可変していて、入力される信号方向に探査角度が一致したとき最大の出力を出す。従って、到来信号の入射方向と探査角度が一致すれば適応フィルタ１０１ｄの出力（Ｎ−Ｎ′）は最大になる。そして、適応フィルタ１０１ｄの出力（Ｎ−Ｎ′）は雑音成分のパワーであるから、それが最大のときの出力を加算手段１０１ｃに与え、加算手段１０１ａからの出力（２Ｓ＋Ｎ＋Ｎ′）から差し引けば、雑音成分Ｎが最大限キャンセルされて雑音抑圧が成される。故に、この状態のときは、加算手段１０１ｃの出力は最小である。
【００６１】
そのため、適応フィルタ１０１ｄは加算手段１０１ｃの出力が最小となるように角度１°刻みの信号到来方向探査角度（角度１°刻みの方向別感度）とフィルタ係数（パラメータ）を逐次変更させることにより、到来信号の入射方向と探査角度（到来信号の入射方向とその方向に対する感度）が一致することになるから、適応フィルタ１０１ｄはこれらを制御しつつ、加算手段１０１ｃの出力が最小となるようにする。
【００６２】
つまり、この制御の結果、目的方向からの音声成分をビームフォーマは抽出できることになる。また、雑音成分を目的音として抽出する場合には、上述の目的音を雑音と見做すようにしたかたちで、上記制御を施すようにすればよい。
【００６３】
なお、ビームフォーマ本体１０１に関しては、一般化サイドローブキャンセラ（ＧＳＣ）の他に、フロスト型ビームフォーマなど種々のものが上述同様の考え方で適用可能であり、従って、本発明では特に限定はされない。
【００６４】
このような構成の本システムの作用を説明する。本システムは、目的音の音声周波数成分と雑音周波数成分とを別々に抽出出力する構成としていることを特徴としている。
【００６５】
まず、複数のマイクロホンを持つ音声入力部１１、この例では第１及び第２の計２本のマイクロホンｍ１，ｍ２を持つ音声入力部１１でｃｈ１，ｃｈ２の音声を取り込む。そして、この音声入力部１１から入力された２チャンネル分の音声の信号ｃｈ１，ｃｈ２（すなわち、第１チャンネルｃｈ１は第１のマイクロホンｍ１からの音声、第２チャンネルｃｈ２は第２のマイクロホンｍ２からの音声に該当する）は、周波数分析部１２に送られ、ここで例えば高速フーリエ変換（ＦＦＴ）等の処理を行うことによって、それぞれのチャンネル別に周波数成分（周波数スペクトル）が求められる。
【００６６】
周波数分析部１２でそれぞれ求められたチャンネル別の周波数成分は、それぞれ第１及び第２のビームフォーマ１３，１６に与えられる。
【００６７】
第１のビームフォーマ１３では、２チャンネル分の周波数成分入力について、目的音の方向対応に位相を合わせた上で、周波数領域の適応フィルタにより上述のようにして処理することで雑音を抑圧し、目的音の方向の周波数成分を出力する。
【００６８】
ここで、具体的に説明すると第１の入力方向修正部１４は第１のビームフォーマ１３に対して次のような角度情報（α）を与える。つまり、第１の入力方向修正部１４は、与えられる音声方向推定部１８からの出力を用い、目的音の方向があたかもマイクロホンの正面方向となるよう、上記２チャンネルの周波数成分の入力位相を整えるに必要な角度情報（α）を入力方向修正量として第１のビームフォーマ１３に対して与える。
【００６９】
この結果、第１のビームフォーマ１３はこの修正量（α）対応に目的音方向を修正し、当該目的音方向以外の方向から到来する音声を抑圧させるようにすることで、雑音成分を抑圧し、目的音を抽出する。
【００７０】
すなわち、目的音方向推定部１８は雑音成分を抽出するための第２のビームフォーマ１６における適応フィルタのパラメータを用いて話者音源方向を知り、それを反映させた出力を出し、第１の入力方向修正部１４ではこの目的音方向推定部１８からの出力対応に入力方向修正量（α）を発生してこの修正量（α）対応に第１のビームフォーマ１３における目的音方向を修正し、これによって第１のビームフォーマ１３に当該目的音方向以外の方向から到来する音声を抑圧させるようにすることで、雑音成分を抑圧し、目的音を抽出する。
【００７１】
つまり、第２のビームフォーマ１６の場合、雑音が目的音であるから、雑音に位相を合わせている。その結果、第２のビームフォーマ１６では話者の音源は雑音源として扱われ、ビームフォーマの内蔵する適応フィルタは話者音源からの音を抽出する処理をすることになるので、当該第２のビームフォーマ１６の適応フィルタのパラメータからは話者音源の方向を反映した出力が得られる。従って、目的音方向推定部１８により、第２のビームフォーマ１６における適応フィルタのパラメータを用いて雑音源方向を知れば、それは目的音である話者音源の方向を反映させたものである。従って、目的音方向推定部１８により、第２のビームフォーマ１６における適応フィルタのパラメータを反映させた出力を出し、第１の入力方向修正部１４でこの目的音方向推定部１８からの出力対応に入力方向修正量（α）を発生し、この修正量対応に第１のビームフォーマ１３における目的音方向を修正すれば、第１のビームフォーマ１３に当該目的音方向以外の方向から到来する音声を抑圧させることができる。
【００７２】
また、第２のビームフォーマ１６では、２チャンネル分の周波数成分入力に対して、周波数領域の適応フィルタにより目的音を抑圧し、雑音の方向の周波数成分を出力する。ここでは、具体的には雑音の方向をマイクロホンの正面と仮定し、２つのマイクロホンに対して雑音が同時に到着したと見做せるように、雑音方向推定部１７からの出力を用いて第２の入力方向修正部５で位相を整える操作（整相）を行う。
【００７３】
すなわち、雑音方向推定部１７では、話者音声成分を抽出するための第１のビームフォーマ１３における適応フィルタのパラメータを用いて雑音音源方向を知り、それを反映させた出力を出し、第２の入力方向修正部１５では雑音方向推定部１７からの出力対応に入力方向修正量（α）を発生させて第２のビームフォーマ１６に与えることによって、当該第２のビームフォーマ１６に当該修正量対応に雑音方向を修正させるようにし、この方向以外の方向から到来する音声を抑圧することで雑音成分のみを抽出する。
【００７４】
ここで、雑音方向推定部１７では、第１のビームフォーマ１３の適応フィルタから雑音方向を推定し、目的音方向推定部１８では、第２のビームフォーマ１６の適応フィルタから目的音方向を推定する。
なお、これらの処理は、例えば、８［ｍsec］等の短い固定時間毎に行われる 。以降固定時間をフレームと呼ぶ。
【００７５】
このようにして、第１のビームフォーマ１３により、目的音（話者）の音声成分を抽出することができ、また、第２のビームフォーマ１６により、雑音成分を抽出することができる。
【００７６】
本装置の設置環境が、静かな会議室であり、この会議室にテレビ会議システム設置して当該テレビ会議システムの話者音声抽出のために使用しているとするならば、除去しなければならない雑音と云っても、そう問題のある大きな妨害音ではないと考えられるので、このような場合、第１のビームフォーマ１３により、抽出された目的音（話者）の成分を逆フーリエ変換して時間領域に戻すことで音声信号に戻し、これをスピーカなどで音声として出力させたり、送信するなどすれば、低雑音化された話者音声として利用できる。
【００７７】
ここで、方向推定部１７，１８の処理手順について触れておく。
【００７８】
＜方向推定部の処理手順＞
図３に方向推定部１７，１８の処理手順を示す。
【００７９】
この処理はフレーム毎に行われる。まず、初期設定をする（ステップＳ１）。この初期設定内容としては図３に点線枠で囲んで示してあるように、“目的音の追尾範囲”を“０゜±θｒ（例えば、２０゜）”とし、それ以外の範囲を雑音の探索範囲として設定する。
【００８０】
初期設定が終わったならば、次にステップＳ２の処理に移る。このステップＳ２では方向ベクトルを生成する処理を行う。そして、方向別感度計算を行った後、方向別感度周波数累積を行う（ステップＳ３，Ｓ４）。
【００８１】
そして、これを全ての周波数と方向について、実施した後、最小値であるものを求めて、その最小値となった累積値を持つものの方向を信号到来方向とする（ステップＳ５，Ｓ６）。
【００８２】
すなわち、具体的にはステップＳ２からＳ４においては、フィルタ係数Ｗ（ｋ）と方向べクトルＳ（ｋ，θ）との内積を各周波数成分毎に１゜刻みで所定の範囲の方向について計算し、対応する方向への感度を求め、次に、全周波数成分についてその感度を加算すると云う処理を行う。そして、ステップＳ７，Ｓ８においては、全周波数成分についてその感度を加算した結果として得られる各方向別の累積値のうち、その値が最小値である方向を、信号到来方向とすると云う処理をする。
この図３に示した処理手順は、雑音方向推定部１７および目的音推定部１８ともに同様のものとなる。
【００８３】
このようにして、雑音方向推定部１７は雑音方向の推定を行い、また、目的音推定部１８は目的音方向の推定を行う。そして、この推定結果はそれぞれの対応する入力方向修正部１４，１５に与える。
【００８４】
雑音方向の推定結果を受け取った第１の入力方向修正部１４は、前フレームまでの入力方向と現フレームの方向推定結果を平均化し、新たな入力方向を計算してビームフォーマの移相部１００へ出力し、また、目的音推定結果を受け取った第２の入力方向修正部１５もまた、前フレームまでの入力方向と現フレームの方向推定結果を平均化し、新たな入力方向を計算してビームフォーマの移相部１００へ出力する。
【００８５】
平均化は例えば、係数βを用いて次式のように行う。
【００８６】
θ１（ｎ）＝θ１（ｎ−１）・（１−α）＋Ｅ（ｎ）・β
ここで、θ１は音の入力方向、ｎは処理フレームの番号、Ｅは現フレームの方向推定結果である。なお、係数βはビームフォーマの出力パワーに基づいて可変にしてもよい。
【００８７】
ビームフォーマがＧＳＣである場合に、従来、方向推定の際、時間領域のフィルタ係数から周波数領域への変換が必要であったが、本発明ではＧＳＣの適応フィルタが周波数スペクトルに対して方向性感度を以てフィルタ演算処理し、目的方向外の成分を抽出すると云った処理をするものを用いており、フィルタ演算処理に使用するフィルタ係数は、もともと周波数領域で得られるため、従来のように、時間領域のフィルタ係数から周波数領域への変換と云う処理は不要となる。従って、本発明システムではＧＳＣは使用していても、時間領域のフィルタ係数から周波数領域への変換が不要である分、処理の高速化が可能となる。
【００８８】
＜全体の処理手順＞
図４に実施例１に係るシステムの全体の処理手順を示す。この処理はフレーム毎に行われる。
【００８９】
まず、初期設定する（ステップＳ１１）。初期設定内容としては、目的音方向の追尾範囲を０゜±θｒ（例えばθｒ＝２０゜）とし、雑音方向推定部の探索範囲を
θｒ ＜ φ１ ＜ 180゜−θｒ  ，
−180゜＋θｒ ＜ φ１ ＜−θｒ
とし、目的音方向推定部１８の探索範囲を
−θｒ ＜ φ２ ＜ θｒ
とする。
【００９０】
そして、目的音の入力方向の初期値をθ１＝０゜、雑音の入力方向の初期値をθ２＝９０°とする。
【００９１】
初期設定が済んだならば、まず、第１のビームフォーマ１３の処理を行い（ステップＳ１２）、雑音方向を推定し（ステップＳ１３）、雑音方向がφ２の範囲内であれば、第２のビームフォーマ１６の入力方向を修正し（ステップＳ１４，Ｓ１５）、そうでなければ修正しない（ステップＳ１４）。
【００９２】
次に，第２のビームフォーマ１６の処理に進み（ステップＳ１６）、目的音の方向を推定する（ステップＳ１７）。そして、この推定した目的音の方向がφ１の範囲内ならば、第１のビームフォーマ１３の入力方向を修正し（ステップＳ１８，Ｓ１９）、そうでなければ何もせずに、次のフレームの処理に移る。
【００９３】
以上、実施例１においては、ビームフォーマとして周波数領域で動作するビームフォーマを用いるようにしたことを特徴としており、これによって計算量を大幅に削減することができるようにしたことを特徴としている。
【００９４】
すなわち、話者の発声した音声を少なくとも異なる２箇所以上の位置で受音する音声入力手段と、前記受音位置に対応する音声信号のチャネル毎に周波数分析を行って複数チャネルの周波数成分を出力する周波数分析手段と、この周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声以外の音声を抑圧する到来雑音抑圧処理を行い、目的音声成分を得る第１のビームフォーマ処理手段と、前記周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声を抑圧し、雑音成分を得る第２のビームフォーマ処理手段と、前記第１のビームフォーマ処理手段で計算されるフィルタ係数から雑音方向を推定する雑音方向推定手段と、前記第２のビームフォーマ処理手段で計算されるフィルタ係数から目的音方向を推定する目的音方向推定手段と、前記第１のビームフォーマにおいて入力対象となる目的音の到来方向である第１の入力方向を、前記目的音方向推定手段で推定された目的音方向に基づいて逐次修正する目的音方向修正手段と、前記第２のビームフォーマにおいて入力対象とする雑音の到来方向である第２の入力方向を、前記雑音方向推定手段で推定された雑音方向に基づいて逐次修正する雑音方向修正手段とを具備する。
【００９５】
そして、話者の発声した音声を異なる２箇所以上の位置で音声入力手段は受音し、周波数分析手段では、これを前記受音位置に対応する音声信号のチャネル毎に周波数分析して複数チャネルの周波数成分を出力する。そして、第１のビームフォーマ処理手段はこの周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声以外の音声を抑圧する到来雑音抑圧処理を行い、目的音声成分を得、また、第２のビームフォーマ処理手段は、前記周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声を抑圧し、雑音成分を得る。そして、雑音方向推定手段は、前記第１のビームフォーマ処理手段で計算されるフィルタ係数から雑音方向を推定し、目的音方向推定手段は、前記第２のビームフォーマ処理手段で計算されるフィルタ係数から目的音方向を推定する。目的音方向修正手段は、前記第１のビームフォーマにおいて入力対象となる目的音の到来方向である第１の入力方向を、前記目的音方向推定手段で推定された目的音方向に基づいて逐次修正するので、第１のビームフォーマは第１の入力方向以外から到来する雑音成分を抑圧して話者の音声成分を低雑音で抽出することになる。また、雑音方向修正手段は、前記第２のビームフォーマにおいて入力対象とする雑音の到来方向である第２の入力方向を、前記雑音方向推定手段で推定された雑音方向に基づいて逐次修正するので、第２のビームフォーマは第２の入力方向以外から到来する成分を抑圧して話者の音声成分を抑圧した残りの雑音成分を抽出することになる。
【００９６】
このように本システムは雑音成分を抑圧した音声周波数成分と、音声成分を抑圧した雑音周波数成分とを別々に得ることができるが、この発明の最大の特徴は、第１及び第２のビームフォーマとして、周波数領域で動作するビームフォーマを用いるようにした点にある。そして、このことによって、計算量を大幅に削減することができるようにしている。
【００９７】
そしてこの発明によると、適応フィルタの処理量が大幅に低減されるのに加え、入力音声に対する周波数分析以外の周波数分析処理を省略することができ、かつ、フィルタ演算時に必要であった時間領域から周波数領域ヘの変換処理も不要となり、全体の演算量を大幅に削減することができる。
【００９８】
すなわち、従来技術では、ビームフォーマで抑圧できない拡散性雑音の抑圧処理のために、スペクトルサブトラクション（以後、ＳＳと略称する）処理を、ビームフォーマ処理の後に行うようにしており、このＳＳは周波数スペクトルを入力とするため、ＦＦＴ（高速フーリエ変換）などの周波数分析が従来必要であったが、周波数領域で動作するビームフォーマを用いると当該ビームフォーマからは周波数スペクトルが出力されるため、これをＳＳに流用できるので、特別にＳＳのためのＦＦＴを実施する従来のＦＦＴ処理工程は省略することができる。故に、全体の演算量を大幅に削減することができる。
【００９９】
また、ビームフォーマのフィルタを用いた方向推定の際に必要であった時間領域から周波数領域への変換処理も不要となり、全体の演算量を大幅に削減することができる。
【０１００】
次に、雑音源が目的音方向の範囲を横切って移動した場合にも追尾が高精度で行えるようにした例を実施例２として説明する。
【０１０１】
（実施例２）
本発明に係る第２の実施例について説明する。これは、請求項２の発明に相当する。
【０１０２】
本例では、雑音源が目的音方向の範囲を横切って移動した場合にも追尾が高精度で行えるように、雑音を追尾するビームフォーマを２つ用いる場合の例について説明する。全体構成を図５に示す。図５において、１１は音声入力部、１２は周波数解析部、１３は第１のビームフォーマ、１４は第１の入力方向修正部、１５は第２の入力方向修正部、１６は第２のビームフォーマ、１７は雑音方向推定部、１８は第１の音声方向推定部（目的音方向推定部）、そして、２１は第３の入力方向修正部、２２は第３のビームフォーマ、２３は第２の音声方向推定部、２４は有効雑音決定部である。
【０１０３】
これらのうち、第３の入力方向修正部２１は、第３のビームフォーマ２２の入力方向を雑音方向に修正するためのものであって、第３のビームフォーマ２２において、入力対象とする雑音の到来方向である第３の入力方向を、前記雑音方向推定部１７で推定された雑音方向に基づいて逐次方向修正するための出力を発生し、第３のビームフォーマ２２に与えるものである。具体的には、第３の入力方向修正部２１は、雑音方向推定部１７の出力する推定量対応のデータを現在の目的とする雑音源方向の角度情報に変換して目標角度情報αとして第３のビームフォーマ２２に出力するものである。
【０１０４】
第３のビームフォーマ２２は、周波数分析部１２からの複数チャンネルの周波数成分出力、この場合、１ｃｈ，２ｃｈの音声信号の周波数スペクトルを用いて、これより雑音源方向からの周波数スペクトル成分を抽出するためのものであって、前記１ｃｈ，２ｃｈそれぞれの周波数成分（周波数スペクトルデータ）に対して方向別感度調整を施した適応フィルタ処理により雑音音源方向以外の周波数スペクトル成分の抑圧処理を行うことで、雑音音源方向からの周波数スペクトル成分のデータを抽出するといったことを行う処理手段である。この第３のビームフォーマ２２も第１及び第２のビームフォーマ１３，１６同様、図２で説明した如きの構成を採用している。
【０１０５】
第２の音声方向推定部２３は、目的音声推定部（音声方向推定部）１８と同様のものであって、前記第３のビームフォーマ２２で計算されるフィルタ係数から目的音方向を推定すると云った処理を行うものであり、具体的には前記第３のビームフォーマ２２の適応フィルタから音声方向を推定し、その推定量対応のデータを出力するものである。
【０１０６】
有効雑音決定部２４は、音声方向推定部１８，２３および雑音方向推定部１７の推定する音声方向および雑音方向の情報に基づき、第２のビームフォーマ１６と第３のビームフォーマ２２のいずれが雑音を有効に追尾しているかを判断し、有効に追尾していると判断した方のビームフォーマの出力を、雑音成分として出力するものである。なお、その他、図１の構成と同一符号を付したものは同一物を示しているので、詳細は先の説明を参照することとし、ここでは改めて説明はしない。
【０１０７】
図からわかるように実施例２において、実施例１との違いは、第３の入力方向修正部２１と、第３のビームフォーマ２２と、第２の音声方向推定部２３、および有効雑音決定部２４を追加した点である。
【０１０８】
そして、第２及び第３のビームフォーマ１６，２２の出力、及び、雑音方向推定部１７の出力、及び、第１及び第２の音声方向推定部１８，２３の出力を有効雑音決定部２４に渡し、有効雑音決定部２４の出力を第１の入力方向修正部１４に渡す構成としてある。
【０１０９】
このような構成の本システムの作用を説明する。
まず、複数のマイクロホンを持つ音声入力部１１、この例では第１及び第２の計２本のマイクロホンｍ１，ｍ２を持つ音声入力部１１でｃｈ１，ｃｈ２の音声を取り込む。そして、この音声入力部１１から入力された２チャンネル分の音声の信号ｃｈ１，ｃｈ２（すなわち、第１チャンネルｃｈ１は第１のマイクロホンｍ１からの音声、第２チャンネルｃｈ２は第２のマイクロホンｍ２からの音声に該当する）は、周波数分析部１２に送られ、ここで例えば高速フーリエ変換（ＦＦＴ）等の処理を行うことによって、それぞれのチャンネル別に周波数成分（周波数スペクトル）が求められる。
【０１１０】
周波数分析部１２でそれぞれ求められたチャンネル別の周波数成分は、それぞれ第１、第２及び第３のビームフォーマ１３，１６，２２に与えられる。
【０１１１】
第１のビームフォーマ１３では、２チャンネル分の周波数成分入力について、目的音の方向対応に位相を合わせた上で、周波数領域の適応フィルタにより上述のようにして処理することで雑音を抑圧し、目的音の方向の周波数成分を出力する。ここで、具体的に説明すると第１の入力方向修正部１４は第１のビームフォーマ１３に対して次のような角度情報（α）を与える。つまり、第１の入力方向修正部１４は、有効雑音決定部２４を介して与えられる音声方向推定部１８若しくは音声方向推定部２３からの出力を用い、目的音の方向があたかもマイクロホンの正面方向となるよう、上記２チャンネルの周波数成分の入力位相を整えるに必要な角度情報（α）を入力方向修正量として第１のビームフォーマ１３に対して与える。
【０１１２】
この結果、第１のビームフォーマ１３はこの修正量（α）対応に目的音方向を修正し、当該目的音方向以外の方向から到来する音声を抑圧させるようにすることで、雑音成分を抑圧し、目的音を抽出する。
【０１１３】
つまり、第２および第３のビームフォーマ１６，２２の場合、雑音が目的音であるから、雑音に位相を合わせている。その結果、第２，第３のビームフォーマ１６，２２では話者の音源は雑音源として扱われ、各ビームフォーマの内蔵する適応フィルタは話者音源からの音を抽出する処理をすることになるので、当該第２，第３のビームフォーマ１６，２２の適応フィルタのパラメータからは話者音源の方向を反映した情報が得られることになる。
【０１１４】
従って、第１または第２の音声方向推定部１８または２３により、第２または第３のビームフォーマ１６または２２における適応フィルタのパラメータを用いて雑音源方向を知れば、それは目的音である話者音源の方向を反映させたものである。従って、第１または第２の音声方向推定部１８または２３により、第２または第３のビームフォーマ１６または２２における適応フィルタのパラメータを反映させた出力を出し、第１の入力方向修正部１４でこの出力対応に入力方向修正量（α）を発生し、この修正量対応に第１のビームフォーマ１３における目的音方向を修正すれば、第１のビームフォーマ１３は当該目的音方向以外の方向から到来する音声を抑圧するので、この場合、話者音源からの成分を抽出できることになる。
【０１１５】
一方、第１のビームフォーマ１３の適応フィルタでは雑音成分が抽出されるようにパラメータが制御されているので、このパラメータから雑音方向推定部１７では、雑音方向を推定し、その情報を第２及び第３の入力方向修正部１５，２１と有効雑音決定部２４に与えることになる。
【０１１６】
そして、当該雑音方向推定部１７からの出力を受けた第２の入力方向修正部１５では、当該雑音方向推定部１７からの出力対応に入力方向修正量（α）を発生し、この修正量対応に第２のビームフォーマ１６における目的音方向を修正すれば、第２のビームフォーマ１６は当該目的音方向以外の方向から到来する音声を抑圧するので、この場合、話者音源以外からの成分である雑音成分を抽出できることになる。
【０１１７】
このとき、第２のビームフォーマ１６の適応フィルタでは目的音である話者音声成分が抽出されるようにパラメータが制御されているので、このパラメータから第１の音声方向推定部１８では、話者音声方向を推定することができる。そして、第１の音声方向推定部１８はその推定した情報を有効雑音決定部２４に与える。
【０１１８】
また、雑音方向推定部１７からの出力が第３の入力方向修正部２１にも与えられているが、これを受けた第３の入力方向修正部２１では、当該雑音方向推定部１７からの出力対応に入力方向修正量（α）を発生に、第３のビームフォーマ２２に与える。これにより、第３のビームフォーマ２２はこの与えられた修正量対応に、自己における目的音方向を修正する。
【０１１９】
これにより、第３のビームフォーマ２２は当該目的音方向以外の方向から到来する音声を抑圧するので、この場合、話者音源以外からの成分、つまり、雑音成分を抽出できることになる。
このとき、第３のビームフォーマ２２の適応フィルタでは目的音である話者音声成分が抽出されるようにパラメータが制御されているので、このパラメータから第２の音声方向推定部２３では、話者音声方向を推定できる。そして、この推定した情報は有効雑音決定部２４に与えることになる。
【０１２０】
有効雑音決定部２４では、第１および第２の音声方向推定部１８，２３から与えられた話者音声方向の推定情報と、雑音方向推定部１７から与えられた雑音方向の推定情報とをもとに、第２のビームフォーマ１６と第３のビームフォーマ２２のいずれが雑音を有効に追尾しているかを判断する。そして、この判断結果に基づき、有効に追尾していると判断した方のビームフォーマにおける適応フィルタのパラメータを第１の入力方向修正部１４に与える。
【０１２１】
そのため、第１の入力方向修正部１４では、当該パラメータを反映させた出力を出し、第１の入力方向修正部１４でこの出力対応に入力方向修正量（α）を発生し、この修正量対応に第１のビームフォーマ１３における目的音方向を修正するので、第１のビームフォーマ１３は当該目的音方向以外の方向から到来する音声を抑圧することになって、この場合、話者音源からの成分を抽出でき、しかも、広く移動する雑音源からの雑音を対象とする場合に、その移動する雑音源を見失うことなく、確実にとらえて雑音除去することが可能となる。
【０１２２】
すなわち、この実施例においては、話者の音声周波数成分の抽出用として第１のビームフォーマ１３が設けてあり、また、雑音周波数成分の抽出用として第２および第３のビームフォーマ１６，２２が設けてある。そして、観測点から見て図６に示すように、話者が０°方向に位置していて０°±θの角度範囲で監視すれば良いとすると、当該話者の音声周波数成分を抽出するために設けた第１のビームフォーマ１３の変化範囲φ１、すなわち、適応フィルタにおける感度を高くする方向についての１°刻み変化範囲はせいぜい
−θ ＜ φ１ ＜ θ
に設定してこの範囲でフィルタリングに用いることになる。この場合、雑音周波数成分を抽出するために設けた第２および第３のビームフォーマ１６，２２のうち、第２のビームフォーマ１６の変化範囲φ２は
−180゜＋θ ＜ φ２ ＜ −θ
そして、第３のビームフォーマ２２の変化範囲φ３は
θ ＜ φ３ ＜ 180゜−θ
に設定することになる。但し、１８０°は中心点を介して０°の対向位置、−は０°位置から見て図における反時計方向回り、＋は時計方向回りを示す。
【０１２３】
故に、このようにすると、第２のビームフォーマ１６と第３のビームフォーマ２２は、目的音到来範囲φ１を挟んで各々別々の範囲から到来する雑音を追尾することになる。そのため、φ２の範囲にあった雑音源がφ１の範囲を横切ってφ３の範囲に急に移動した場合でも、φ３の領域を持ち場とする第３のビームフォーマ２２が当該移動して来た雑音源を直ちに捕えることができるため、雑音方向を見失うことがなくなる。
【０１２４】
この構成の場合、第２のビームフォーマ１６の出力と、第３のビームフォーマビーム２２の出力の計２つの出力が、雑音の出力として得られるが、雑音方向推定部１７の結果に基づき、有効雑音決定部２４において、第２のビームフォーマ１６と第３のビームフォーマ２２のいずれが雑音を有効に追尾しているかを判断し、この判断結果に基づき、有効に追尾して方の出力を雑音成分として用いることになる。
【０１２５】
＜実施例２における全体の処理の流れ＞
以上の処理の全体の流れを図７に示しておく。この処理はフレーム毎に行われる。各ビームフォーマの変化範囲および入力方向の初期値を設定した後に（ステップＳ３１）、第１のビームフォーマ１３の処理を行い（ステップＳ３２）、雑音方向を推定した後に（ステップＳ３３）、該雑音方向を入力として有効雑音決定部２４において、雑音方向がφ２にあるか、φ３にあるかの判定を実施し、第２のビームフォーマ１６と第３のビームフォーマ２２のどちらを選択するかを決定する（ステップＳ３４）。
【０１２６】
そして、推定された雑音方向が第２の入力方向修正部１５あるいは第３の入力方向修正部２１のどちらかに送られ、雑音方向が修正され、選択されたビームフォーマの処理が実行される。
【０１２７】
すなわち、推定された雑音方向がφ２の領域であれば雑音方向が第２の入力方向修正部１５に送られ、雑音方向が修正され、第２のビームフォーマ１６の処理が実行され、目的音方向が推定される（ステップＳ３４，Ｓ３５，Ｓ３６，Ｓ３７）。
また、推定された雑音方向がφ３の領域であれば雑音方向が第３の入力方向修正部２１に送られ、雑音方向が修正され、第３のビームフォーマ２２の処理が実行され、目的音方向が推定される（ステップＳ３４，Ｓ３８，Ｓ３９，Ｓ４０，Ｓ４１）。
【０１２８】
次に、選択されたビームフォーマにより推定された音声方向（目的音方向）がφ１の範囲内かどうか判断され、範囲内の場合は、推定された音声方向が第１のビームフォーマ１３の第１の入力方向修正部１４に送られ、入力方向の修正が実行される（ステップＳ４２，Ｓ４３）。範囲外の場合は修正処理が実行されず、次のフレームに対する処理に進む（ステップＳ４２，Ｓ３１）。
【０１２９】
この処理がフレーム毎に行われ、音声および雑音方向を追尾しながら、雑音抑圧が行われる。
【０１３０】
このように、実施例２は、話者の発声した音声を少なくとも異なる２箇所以上の位置で受音する音声入力手段と、前記受音位置に対応する音声信号のチャネル毎に周波数分析を行って複数チャネルの周波数成分を出力する周波数分析手段と、この周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声以外の音声を抑圧する到来雑音抑圧処理を行い、目的音声成分を得る第１のビームフォーマ処理手段と、前記周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声を抑圧し、第１の雑音成分を得る第２のビームフォーマ処理手段と、前記周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声を抑圧し、第２の雑音成分を得る第２のビームフォーマ処理手段と、前記第１のビームフォーマ処理手段で計算されるフィルタ係数から雑音方向を推定する雑音方向推定手段と、前記第２のビームフォーマ処理手段で計算されるフィルタ係数から第１の目的音方向を推定する第１の目的音方向推定手段と、前記第３の適応ビームフォーマ処理手段で計算されるフィルタ係数から第２の目的音方向を推定する第２の目的音方向推定手段と、前記第１のビームフォーマにおいて入力対象とする目的音の到来方向である第１の入力方向を、前記第１の目的音方向推定手段で推定された第１の目的音方向と、第２の目的音方向推定手段で推定された第２の目的音方向のいずれか一方または両方に基づいて逐次修正する第１の入力方向修正手段と、前記雑音方向修正手段で推定された雑音方向が所定の第１の範囲にある場合に、前記第２のビームフォーマにおいて入力対象とする雑音の到来方向である第２の入力方向を該雑音方向に基づいて逐次修正する第２の入力方向修正手段と、前記雑音方向修正手段で推定された雑音方向が所定の第２の範囲にある場合に、前記第３のビームフォーマにおいて入力対象とする雑音の到来方向である第３の入力方向を該雑音方向に基づいて逐次修正する第３の入力方向修正手段と、前記雑音方向推定手段で推定された雑音方向が所定の第１の範囲から到来したか所定の第２の範囲から到来したかに基づいて前記第１の出力雑音と前記第２の出力雑音のいずれか一方を真の雑音出力と決定していずれか一方の雑音を出力すると同時に、第１の音声方向推定手段と第２の音声方向推定手段のいずれの推定結果が有効であるかを決定していずれか一方の音声方向推定結果を第１の入力方向修正手段へ出力する有効雑音決定手段とを具備して構成したものである。
【０１３１】
そして、このような構成の場合、話者の発声した音声を異なる２箇所以上の位置で音声入力手段は受音し、周波数分析手段では、これを前記受音位置に対応する音声信号のチャネル毎に周波数分析して複数チャネルの周波数成分を出力する。そして、第１のビームフォーマ処理手段はこの周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声以外の音声を抑圧する到来雑音抑圧処理を行い、目的音声成分を得、また、第２のビームフォーマ処理手段は、前記周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声を抑圧し、雑音成分を得る。そして、雑音方向推定手段は、前記第１のビームフォーマ処理手段で計算されるフィルタ係数から雑音方向を推定し、目的音方向推定手段は、前記第２のビームフォーマ処理手段で計算されるフィルタ係数から目的音方向を推定する。また、第１の目的音方向推定手段は前記第２のビームフォーマ処理手段で計算されるフィルタ係数から第１の目的音方向を推定し、第２の目的音方向推定手段は、前記第３の適応ビームフォーマ処理手段で計算されるフィルタ係数から第２の目的音方向を推定する。
【０１３２】
また、第１の入力方向修正手段は、前記第１のビームフォーマにおいて入力対象とする目的音の到来方向である第１の入力方向を、前記第１の目的音方向推定手段で推定された第１の目的音方向と、第２の目的音方向推定手段で推定された第２の目的音方向のいずれか一方または両方に基づいて逐次修正する。そして、第２の入力方向修正手段は、前記雑音方向修正手段で推定された雑音方向が所定の第１の範囲にある場合に、前記第２のビームフォーマにおいて入力対象とする雑音の到来方向である第２の入力方向を該雑音方向に基づいて逐次修正し、第３の入力方向修正手段は、前記雑音方向修正手段で推定された雑音方向が所定の第２の範囲にある場合に、前記第３のビームフォーマにおいて入力対象とする雑音の到来方向である第３の入力方向を該雑音方向に基づいて逐次修正する。
従って、第２の入力方向修正手段の出力により第２の入力方向を修正される第２のビームフォーマは第２の入力方向以外から到来する成分を抑圧して残りの雑音成分を抽出することになり、また、第３の入力方向修正手段の出力により第３の入力方向を修正される第３のビームフォーマは第３の入力方向以外から到来する成分を抑圧して残りの雑音成分を抽出することになる。
【０１３３】
そして、有効雑音決定手段は、前記雑音方向推定手段で推定された雑音方向が所定の第１の範囲から到来したか所定の第２の範囲から到来したかに基づいて前記第１の出力雑音と前記第２の出力雑音のいずれか一方を真の雑音出力と決定していずれか一方の雑音を出力すると同時に、第１の音声方向推定手段と第２の音声方向推定手段のいずれの推定結果が有効であるかを決定して有効な方の音声方向推定結果を第１の入力方向修正手段へ出力する。
この結果、目的音方向修正手段は、前記第１のビームフォーマにおいて入力対象となる目的音の到来方向である第１の入力方向を、前記決定した方の目的音方向推定手段で得た目的音方向に基づいて逐次修正するので、第１のビームフォーマは第１の入力方向以外から到来する雑音成分を抑圧して話者の音声成分を低雑音で抽出することになる。
【０１３４】
このように本システムは雑音成分を抑圧した音声周波数成分と、音声成分を抑圧した雑音周波数成分とを別々に得ることができるが、この発明の最大の特徴は、第１乃至第３のビームフォーマとして、周波数領域で動作するビームフォーマを用いるようにした点にある。そして、このことによって、計算量を大幅に削減することができるようにしている。
【０１３５】
そしてこの発明によると、適応フィルタの処理量が大幅に低減されるのに加え、入力音声に対する周波数分析以外の周波数分析処理を省略することができ、かつ、フィルタ演算時に必要であった時間領域から周波数領域ヘの変換処理も不要となり、全体の演算量を大幅に削減することができる。
【０１３６】
また、本発明では、雑音追尾に監視領域を全く異ならせた雑音追尾用のビームフォーマを設けてあり、それぞれの出力からそれぞれ音声方向を推定させると共に、それぞれの推定結果からいずれが有効な雑音追尾をしているかを判断して、有効と判断された方のビームフォーマのフィルタ係数による音声方向の推定結果を第１の目的音方向修正手段に与えることで第１の目的音方向修正手段は、前記第１のビームフォーマにおいて入力対象となる目的音の到来方向である第１の入力方向を、前記目的音方向推定手段で推定された目的音方向に基づいて逐次修正するので、第１のビームフォーマは第１の入力方向以外から到来する雑音成分を抑圧して話者の音声成分を低雑音で抽出することができ、雑音源が移動してもこれを見失うことなく追尾して抑圧することができるようになるものである。
【０１３７】
従来技術においては、２ｃｈ、すなわち、２本のマイクロホンだけでも目的音源の追尾を可能とすべく、雑音追尾用のビームフォーマを雑音抑圧のビームフォーマとは別に１個用いるが、例えば、雑音源が目的音の方向を横切って移動したような場合、雑音の追尾精度が低下することがあった。
【０１３８】
しかし、本発明では、雑音を追尾するビームフォーマを複数用いて各々別個の追尾範囲を受け持つようにしたことにより、上記のような場合でも追尾精度の低下を抑止できるようになる。
【０１３９】
以上の実施例１及び実施例２のシステムは、演算負荷の軽減を図りつつ、主として方向を持つ雑音について抑圧できるようにした例を示した。そして、この場合、テレビ会議システムなどのように、話者音源の配置がわかっていて、しかも、環境的に雑音が少ないような環境下での利用に適しているが、レベルも特性もまちまちで雑多な雑音の影響を受ける屋外や、大勢の人の集まる店舗や駅と云った所で使用するには不十分であると考えられる。
【０１４０】
そこで、方向性の無い背景雑音も効果的に抑制できるようにした実施例を次に説明する。
【０１４１】
（実施例３）
この実施例３は本発明の請求項３に対応する。ここでは、方向性のある雑音はビームフォーマにより抑圧し、方向性のない背景雑音はスペクトルサブトラクション（ＳＳ）処理により、抑圧するようにした高精度の雑音抑圧が可能なシステムを説明する。
【０１４２】
実施例３のシステムは、図１または図５の構成のシステムの後段に、更に図８の構成のスペクトルサブトラクション（ＳＳ）処理部３０を接続して構成する。スペクトルサブトラクション（ＳＳ）処理部３０は図に示すように、音声帯域パワー計算部３１、雑音帯域パワー計算部３２、帯域重み計算部３３、スペクトル減算部３４から構成されている。
【０１４３】
これらのうち、音声帯域パワー計算部３１は、前記ビームフォーマ１３により得られた音声周波数を、周波数帯域毎に分割して帯域毎の音声パワーを計算するものであり、雑音帯域パワー計算部３２は、前記ビームフォーマ１６により得られた雑音周波数成分（またはビームフォーマ１６，２２によりそれぞれ得られ、有効雑音決定部２４により選択されて出力された雑音周波数成分）を、周波数帯域毎に分割して帯域毎の雑音パワーを計算するものである。
【０１４４】
帯域重み計算部３３は、帯域ｋ毎に、得られた音声の平均帯域パワーＰv（k）と雑音の平均帯域パワーＰn（k）を用い、帯域毎の帯域重み係数Ｗ（ｋ）を計算するものであり、修正スペクトル減算部３４は、前記入力帯域パワー計算部３１にて計算された入力帯域パワーと、音声帯域パワー計算部３１で計算された音声帯域パワーとに基き、音声信号の周波数帯域毎に重みをかけて背景雑音を抑圧するものである。
【０１４５】
音声帯域パワー計算部３１で用いる音声周波数成分と、雑音帯域パワー計算部３２で用いる雑音周波数成分は、いずれも実施例１あるいは実施例２のビームフォーマの２つの出力である目的音声成分と雑音成分を利用する。そして、一般に、スペクトルサブトラクション（ＳＳ）として知られる雑音抑圧処理により、方向性のない背景雑音成分の抑圧を行う。
【０１４６】
一般的に行われるスペクトルサブトラクション（ＳＳ）は、１チャンネルのマイクロホン（つまり、１本のマイクロホン）を用い、このマイクロホンの出力から音声のない区間において雑音のパワーを推定するため、非定常な雑音が音声に重畳している場合には対処できない。
【０１４７】
また、２チャンネルのマイクロホン（つまり、２本のマイクロホン）を用いて、一方を雑音収集用、片方を雑音重畳音声収集用とする場合にも、両マイクロホンの設置場所を離す必要があり、その結果、音声に重畳する雑音と、雑音収集用マイクロホンで取り込む雑音との位相がずれ、スペクトルサブトラクションしても雑音抑圧の改善効果は大きく上がらなかった。
【０１４８】
本実施例では、雑音成分を取り出すビームフォーマを用意して、このビームフォーマの出力を用いるようにしたため、実施例１および実施例２で述べたように、位相のずれが補正され、非定常雑音の場合でも高精度なスペクトルサブトラクション（ＳＳ）を実現できる。
【０１４９】
さらに、周波数領域のビームフォーマの出力を利用しているため、周波数分析を省略してスペクトルサブトラクションが可能であり、従来より少ない演算量で非定常雑音を抑圧できる。
【０１５０】
以下、具体的なスペクトルサブトラクション（ＳＳ）方法について述べる。
【０１５１】
＜スペクトルサブトラクション（ＳＳ）の原理＞
まず、スペクトルサブトラクションの原理について説明する。
目的音声用ビームフォーマ（第１のビームフォーマ１３）の出力をＰｖ、雑音用ビームフォーマ（第２または第３のビームフォーマ１６または２２）の出力をＰｎとすると、
Ｐｖ＝Ｖ＋Ｂ′
Ｐｎ＝Ｎ＋Ｂ″
と表すことができる。ここで、Ｖは音声成分のパワー、Ｂ′は音声出力に含まれる背景雑音のパワーであり、Ｎは雑音源成分のパワー、Ｂ″は雑音出力に含まれる背景雑音のパワーである。これらのうち、音声出力成分に含まれる背景雑音成分を、スペクトルサブトラクション処理により抑圧する。
【０１５２】
音声出力成分中のＢ′は、雑音出力成分中のＢ″と同等であり、雑音源成分のパワーＮも音声成分のパワーＶに比べて小さいとすると、Ｂ′＝Ｐｎと考えることができ、スペクトルサブトラクション（ＳＳ）処理用の重み係数Ｗは以下のように求めることができる。すなわち、Ｗは
Ｗ＝（Ｐv−Ｐn）／Ｐv  〜  Ｖ／（Ｖ＋Ｂ′）
となり、
Ｖ  〜  Ｐｖ＊Ｗ
として音声成分を近似的に求めることができる。
【０１５３】
図８にスペクトルサブトラクション（ＳＳ）処理に必要な構成を、また、図９にスペクトルサブトラクション処理手順を示す。
【０１５４】
２つのビームフォーマ１３，１５（または２２）からの出力として音声周波数成分と雑音周波数成分が得られる。ビームフォーマ１３からの出力である音声周波数成分を用いて音声帯域パワー計算が実施され（ステップＳ５１）、ビームフォーマ１５（または２２）からの出力である雑音周波数成分を用いて雑音帯域パワー計算が実施される（ステップＳ５２）。ここでのパワー計算は、実施例１および実施例２で説明した本発明システムの音声周波数成分と雑音周波数成分を利用しており、これらはビームフォーマの処理を周波数領域で行っていることから、周波数分析なしに、そのまま音声および雑音の周波数成分の各帯域毎にパワーの計算を実行できる。
【０１５５】
次に、計算されたパワー値を時間方向に平均化し、帯域毎に平均パワーを求める（ステップＳ５３）。帯域重み計算部３３では、帯域ｋ毎に、得られた音声の平均帯域パワーＰv（k）と雑音の平均帯域パワーＰn（k）を用い、次式により、帯域毎の帯域重み係数Ｗ（ｋ）を計算する。
【０１５６】
Ｗ（k）＝（Ｐｖ（k）−Ｐｎ（k））／Ｐｖ（k）
（Ｐｖ（k）＞Ｐｎ（k）の時）
Ｗ（k）＝Ｗmin
（Ｐv（k）＜＝Ｐn（k）の時）
帯域重みは最大値１．０と最小値Ｗminの間の値をとり、Ｗminの値は例えば“０．０１”等とする。
【０１５７】
次にスペクトル減算部２４では、帯域重み計算部２３で計算された帯域毎の重み係数Ｗ（k）を用い、入力の音声周波数成分Ｐv（k）に重みをかけ、雑音成分 を抑圧した音声周波数成分Ｐv（k）′を求める（ステップＳ５４）。
【０１５８】
Ｐv（k）′＝Ｐv（k）＊Ｗ（k）
こうして、方向のない背景雑音はスペクトルサブトラクション（ＳＳ）処理により、抑圧され、方向を持つ雑音は前述のビームフォーマにより抑圧されて、結果的に高精度の雑音抑圧が可能となる。
【０１５９】
以上、この実施例３によれば、前記実施例１または実施例２の音抑圧装置において得られた音声周波数成分と雑音周波数成分を用いるようにしたものであり、前記周波数帯域毎に分割して帯域毎の音声パワーを計算する音声帯域パワー計算手段と、前記得られた雑音周波数成分を、周波数帯域毎に分割して帯域毎の雑音パワーを計算する雑音帯域パワー計算手段と、前記音声帯域パワー計算手段と雑音帯域パワー計算手段とから得られる音声と雑音の周波数帯域パワーに基き、音声信号の周波数帯域毎に重みをかけて背景雑音を抑圧するスペクトル減算手段とからなるスペクトル減算雑音抑圧手段を前記実施例１または実施例２の音抑圧装置にさらに具備して構成したものである。
【０１６０】
この構成の場合、音声帯域パワー計算手段は、得られた音声周波数のスペクトル成分を、周波数帯域毎に分割して帯域毎の音声パワーを計算し、雑音帯域パワー計算手段は、前記得られた雑音周波数のスペクトル成分を、周波数帯域毎に分割して帯域毎の雑音パワーを計算する。そして、スペクトル減算手段は、前記音声帯域パワー計算手段と雑音帯域パワー計算手段とから得られる音声と雑音の周波数帯域パワーに基き、音声信号の周波数帯域毎に重みをかけて背景雑音を抑圧する。
【０１６１】
この構成によれば、ビームフォーマでは抑圧できない方向性のない雑音（背景雑音）は、本発明システムのビームフォーマで得ることのできる目的音声成分と雑音成分を利用し、これをスペクトルサブトラクション処理することで抑圧する。すなわち、本システムでは、ビームフォーマとして目的音声成分抽出用と雑音成分抽出用の２つのビームフォーマを備えているが、これらのビームフォーマの出力である目的音声成分と雑音成分を利用してスペクトルサブトラクション処理することにより、方向性のない背景雑音成分の抑圧を行う。スペクトルサブトラクション（ＳＳ）処理は雑音抑圧処理として知られるが、一般的に行われるスペクトルサブトラクション（ＳＳ）処理は、１チャンネルのマイクロホン（つまり、１本のマイクロホン）を用い、このマイクロホンの出力から音声のない区間において雑音のパワーを推定するため、非定常な雑音が音声に重畳している場合には対処できない。また、２チャンネルのマイクロホン（つまり、２本のマイクロホン）を用いて、一方を雑音収集用、片方を雑音重畳音声収集用とする場合にも、両マイクロホンの設置場所を離す必要があり、その結果、音声に重畳する雑音と、雑音収集用マイクロホンで取り込む雑音との位相がずれ、スペクトルサブトラクション処理しても雑音抑圧の改善効果は大きく上がらない。
【０１６２】
しかし、本発明では、雑音成分を取り出すビームフォーマを用意して、このビームフォーマの出力を用いるようにしたため、位相のずれは補正されており、従って、非定常雑音の場合でも高精度なスペクトルサブトラクション処理を実現できる。さらに、周波数領域のビームフォーマの出力を利用しているため、周波数分析を省略してスペクトルサブトラクションが可能であり、従来より少ない演算量で非定常雑音を抑圧できる。
【０１６３】
次に、実施例３を更に高精度化することができるようにした例を実施例４として次に説明する。
【０１６４】
（実施例４）
本実施例４は本発明の請求項４に対応する。
本実施例は、実施例３のスペクトルサブトラクション（ＳＳ）において、雑音成分のパワーを修正することにより、さらに高精度に雑音抑圧を行うことを可能とするものである。すなわち、実施例３では雑音源のパワーＮが小さいという仮定をおいたため、スペクトルサブトラクション（ＳＳ）処理を行うと雑音源の成分が音声に重畳している部分では歪みが大きくなる懸念が拭えないという問題がある。
【０１６５】
そこで、ここでは入力信号のパワーを用いて実施例３のスペクトルサブトラクションの帯域重みの計算を修正するようにする。
【０１６６】
まず、音声出力パワーをＰv、音声成分のパワーをＶ、音声出力に含まれる背 景雑音パワーをＢ′、雑音出力パワーをＰn、雑音源成分のパワーをＮ、雑音出 力に含まれる背景雑音成分をＢ″、どの信号も抑圧されていない入力信号のパワーをＰxとすると、
Ｐx＝Ｖ＋Ｎ＋Ｂ
Ｐv＝Ｖ＋Ｂ′
Ｐn＝Ｎ＋Ｂ″
ここで、ここで、Ｂ  〜  Ｂ′  〜  Ｂ″と仮定すると、真の背景雑音成分のパワーＰbは、
Ｐb＝Ｐv＋Ｐn−Ｐx
＝Ｖ＋Ｂ′＋Ｎ＋Ｂ″−（Ｖ＋Ｎ＋Ｂ）
＝Ｂ′＋Ｂ″−Ｂ
＝Ｂ
となる。この雑音パワーを用いたスペクトルサブトラクション（ＳＳ）の重みは、
Ｗ＝（Ｐv−Ｐb）／Ｐｖ
＝（Ｐx−Ｐn）／Ｐv
と計算でき、背景雑音が非定常でかつ、Ｎが大きい場合でも歪みの少いＳＳ処理を行うことができる。
【０１６７】
本実施例の構成を図１０に示し、処理の流れを図１１に示す。図１０中、３１は音声帯域パワー計算部、３２は雑音帯域パワー計算部、３４はスペクトル減算部、３５は入力信号帯域パワー計算部である。
【０１６８】
これらのうち、音声帯域パワー計算部３１は、前記ビームフォーマ１３により得られた音声周波数を、周波数帯域毎に分割して帯域毎の音声パワーを計算するものであり、雑音帯域パワー計算部３２は、前記ビームフォーマ１６または２２により得られ、有効雑音決定部２４により選択されて出力された雑音周波数成分を、周波数帯域毎に分割して帯域毎の雑音パワーを計算するものである。
【０１６９】
入力帯域パワー計算部３５は、前記周波数分析部１２から得られた入力信号の周波数スペクトル成分を周波数帯域毎に分割し、帯域毎の入力パワーを計算するものであり、スペクトル減算部３４は、前記入力帯域パワー計算部３５にて計算された入力帯域パワーと、音声帯域パワー計算部３１で計算された音声帯域パワーと、雑音帯域パワー計算部３２で計算された雑音帯域パワーとに基き、音声信号の周波数帯域ごとに重みをかけて背景雑音を抑圧するものである。
【０１７０】
図１０に示す実施例４でのスペクトルサブトラクション（ＳＳ）部３０の構成と、実施例３でのスペクトルサブトラクション（ＳＳ）部３０の構成との差は、実施例４においては何も抑圧されていない入力信号の周波数成分を更に用いる点である。
【０１７１】
この入力信号周波数成分について、入力信号帯域パワー計算部３５では、ビームフォーマからの音声周波数成分あるいは雑音周波数成分と同様に、帯域ごとにパワーを計算する（ステップＳ６１）。
【０１７２】
また、実施例３と同様に、２つのビームフォーマ１３，１５（または２２）からの出力として音声周波数成分と雑音周波数成分が与えられるので、音声帯域パワー計算部３１ではビームフォーマ１３からの出力である音声周波数成分を用いて音声帯域パワー計算を実施し（ステップＳ６２）、雑音帯域パワー計算部３２ではビームフォーマ１５（または２２）からの出力である雑音周波数成分を用いて雑音帯域パワー計算を実施する（ステップＳ６３）。
【０１７３】
そして、スペクトル減算部３４において、上述したように重み係数を求めた後に、重み付けを行う（ステップＳ６４，Ｓ６５）。これにより、方向を持つ雑音成分および方向のない雑音成分を抑圧した歪みの少い音声成分のみの抽出ができるようになる。
【０１７４】
このように、実施例４は、上記実施例３の雑音抑圧装置において、音声入力手段から得られた入力信号を周波数分析した入力信号の周波数成分を周波数帯域毎に分割し、帯域毎の入カパワーを計算する入力帯域パワー計算手段を設けて、スペクトル減算手段には、入力帯域パワーと音声帯域パワーと雑音帯域パワーとに基き、音声信号の周波数帯域毎に重みをかけて背景雑音を抑圧する処理を実施させるように構成したことを特徴とするものである。
【０１７５】
この構成の場合、音声帯域パワー計算手段は、得られた音声周波数のスペクトル成分を、周波数帯域毎に分割して帯域毎の音声パワーを計算し、雑音帯域パワー計算手段は、前記得られた雑音周波数のスペクトル成分を、周波数帯域毎に分割して帯域毎の雑音パワーを計算する。また、入力帯域パワー計算手段があり、この入力帯域パワー計算手段は、音声入力手段から得られた入力信号を周波数分析して得た入力音声の周波数スペクトル成分を受けて、これを周波数帯域毎に分割し、帯域毎の入カパワーを計算する。そして、スペクトル減算手段は、前記音声帯域パワー計算手段と雑音帯域パワー計算手段とから得られる音声と雑音の周波数帯域パワーに基き、音声信号の周波数帯域毎に重みをかけて背景雑音を抑圧する。
【０１７６】
この実施例４においては、実施例３の構成におけるスペクトルサブトラクション処理において、更に雑音成分についてそのパワーを修正するようにしたことにより、一層高精度に雑音抑圧を行うことを可能とするものである。すなわち、第３の発明では雑音源のパワ−Ｎが小さいという仮定をおいたため、スペクトルサブトラクション処理を行うと雑音源の成分が音声に重畳している部分では歪みが大きくなることが避けられないが、ここでは入力信号のパワーを用いて第３の発明でのスペクトルサブトラクション処理における帯域重みの計算を修正するようにした。
これにより、方向を持つ雑音成分および方向のない雑音成分を抑圧した歪みの少い音声成分のみの抽出ができるようになるものである。
【０１７７】
以上、種々の実施例を説明したが、本発明は第１には、話者の発声した音声を少なくとも異なる２箇所以上の位置で受音する音声入力手段と、前記受音位置に対応する音声信号のチャネル毎に周波数分析を行って複数チャネルの周波数成分を出力する周波数分析手段と、この周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声以外の音声を抑圧する到来雑音抑圧処理を行い、目的音声成分を得る第１のビームフォーマ処理手段と、前記周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声を抑圧し、雑音成分を得る第２のビームフォーマ処理手段と、前記第１のビームフォーマ処理手段で計算されるフィルタ係数から雑音方向を推定する雑音方向推定手段と、前記第２のビームフォーマ処理手段で計算されるフィルタ係数から目的音方向を推定する目的音方向推定手段と、前記第１のビームフォーマにおいて入力対象となる目的音の到来方向である第１の入力方向を、前記目的音方向推定手段で推定された目的音方向に基づいて逐次修正する目的音方向修正手段と、前記第２のビームフォーマにおいて入力対象とする雑音の到来方向である第２の入力方向を、前記雑音方向推定手段で推定された雑音方向に基づいて逐次修正する雑音方向修正手段とを具備して構成したものである。
【０１７８】
このような構成の場合、話者の発声した音声を異なる２箇所以上の位置で音声入力手段は受音し、周波数分析手段では、これを前記受音位置に対応する音声信号のチャネル毎に周波数分析して複数チャネルの周波数成分を出力する。そして、第１のビームフォーマ処理手段はこの周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声以外の音声を抑圧する到来雑音抑圧処理を行い、目的音声成分を得、また、第２のビームフォーマ処理手段は、前記周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声を抑圧し、雑音成分を得る。そして、雑音方向推定手段は、前記第１のビームフォーマ処理手段で計算されるフィルタ係数から雑音方向を推定し、目的音方向推定手段は、前記第２のビームフォーマ処理手段で計算されるフィルタ係数から目的音方向を推定する。
目的音方向修正手段は、前記第１のビームフォーマにおいて入力対象となる目的音の到来方向である第１の入力方向を、前記目的音方向推定手段で推定された目的音方向に基づいて逐次修正するので、第１のビームフォーマは第１の入力方向以外から到来する雑音成分を抑圧して話者の音声成分を低雑音で抽出することになる。また、雑音方向修正手段は、前記第２のビームフォーマにおいて入力対象とする雑音の到来方向である第２の入力方向を、前記雑音方向推定手段で推定された雑音方向に基づいて逐次修正するので、第２のビームフォーマは第２の入力方向以外から到来する成分を抑圧して話者の音声成分を抑圧した残りの雑音成分を抽出することになる。
【０１７９】
このように本システムは雑音成分を抑圧した音声周波数成分と、音声成分を抑圧した雑音周波数成分とを別々に得ることができるが、この発明の第１の特徴は、第１及び第２のビームフォーマとして、周波数領域で動作するビームフォーマを用いるようにした点にある。そして、このことによって、計算量を大幅に削減することができるようにしている。そしてこの発明によると、適応フィルタの処理量が大幅に低減されるのに加え、入力音声に対する周波数分析以外の周波数分析処理を省略することができ、かつ、フィルタ演算時に必要であった時間領域から周波数領域ヘの変換処理も不要となり、全体の演算量を大幅に削減することができる。
【０１８０】
すなわち、従来技術では、ビームフォーマで抑圧できない拡散性雑音の抑圧処理のために、スペクトルサブトラクション処理を、ビームフォーマ処理の後に行うようにしており、このスペクトルサブトラクション処理は周波数スペクトルを入力とするため、ＦＦＴ（高速フーリエ変換）などの周波数分析が従来必要であったが、周波数領域で動作するビームフォーマを用いると当該ビームフォーマからは周波数スペクトルが出力されるため、これをスペクトルサブトラクション処理に流用できるので、特別にスペクトルサブトラクション処理のためのＦＦＴを実施する従来のＦＦＴ処理工程は省略することができる。故に、全体の演算量を大幅に削減することができる。
【０１８１】
また、ビームフォーマのフィルタを用いた方向推定の際に必要であった時間領域から周波数領域への変換処理も不要となり、全体の演算量を大幅に削減することができる。
【０１８２】
また、第２には本発明は、話者の発声した音声を少なくとも異なる２箇所以上の位置で受音する音声入力手段と、前記受音位置に対応する音声信号のチャネル毎に周波数分析を行って複数チャネルの周波数成分を出力する周波数分析手段と、この周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声以外の音声を抑圧する到来雑音抑圧処理を行い、目的音声成分を得る第１のビームフォーマ処理手段と、前記周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声を抑圧し、第１の雑音成分を得る第２のビームフォーマ処理手段と、前記周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声を抑圧し、第２の雑音成分を得る第２のビームフォーマ処理手段と、前記第１のビームフォーマ処理手段で計算されるフィルタ係数から雑音方向を推定する雑音方向推定手段と、前記第２のビームフォーマ処理手段で計算されるフィルタ係数から第１の目的音方向を推定する第１の目的音方向推定手段と、前記第３の適応ビームフォーマ処理手段で計算されるフィルタ係数から第２の目的音方向を推定する第２の目的音方向推定手段と、前記第１のビームフォーマにおいて入力対象とする目的音の到来方向である第１の入力方向を、前記第１の目的音方向推定手段で推定された第１の目的音方向と、第２の目的音方向推定手段で推定された第２の目的音方向のいずれか一方または両方に基づいて逐次修正する第１の入力方向修正手段と、前記雑音方向修正手段で推定された雑音方向が所定の第１の範囲にある場合に、前記第２のビームフォーマにおいて入力対象とする雑音の到来方向である第２の入力方向を該雑音方向に基づいて逐次修正する第２の入力方向修正手段と、前記雑音方向修正手段で推定された雑音方向が所定の第２の範囲にある場合に、前記第３のビームフォーマにおいて入力対象とする雑音の到来方向である第３の入力方向を該雑音方向に基づいて逐次修正する第３の入力方向修正手段と、前記雑音方向推定手段で推定された雑音方向が所定の第１の範囲から到来したか所定の第２の範囲から到来したかに基づいて前記第１の出力雑音と前記第２の出力雑音のいずれか一方を真の雑音出力と決定していずれか一方の雑音を出力すると同時に、第１の音声方向推定手段と第２の音声方向推定手段のいずれの推定結果が有効であるかを決定していずれか一方の音声方向推定結果を第１の入力方向修正手段へ出力する有効雑音決定手段とを具備して構成する。
【０１８３】
この第２の構成の場合、話者の発声した音声を異なる２箇所以上の位置で音声入力手段は受音し、周波数分析手段では、これを前記受音位置に対応する音声信号のチャネル毎に周波数分析して複数チャネルの周波数成分を出力する。そして、第１のビームフォーマ処理手段はこの周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声以外の音声を抑圧する到来雑音抑圧処理を行い、目的音声成分を得、また、第２のビームフォーマ処理手段は、前記周波数分析手段にて得られる前記複数チャネルの周波数成分について、所望方向外の感度が低くなるように計算したフィルタ係数を用いての適応フィルタ処理を施すことにより前記話者方向からの音声を抑圧し、雑音成分を得る。そして、雑音方向推定手段は、前記第１のビームフォーマ処理手段で計算されるフィルタ係数から雑音方向を推定し、目的音方向推定手段は、前記第２のビームフォーマ処理手段で計算されるフィルタ係数から目的音方向を推定する。
【０１８４】
また、第１の目的音方向推定手段は前記第２のビームフォーマ処理手段で計算されるフィルタ係数から第１の目的音方向を推定し、第２の目的音方向推定手段は、前記第３の適応ビームフォーマ処理手段で計算されるフィルタ係数から第２の目的音方向を推定する。
【０１８５】
第１の入力方向修正手段は、前記第１のビームフォーマにおいて入力対象とする目的音の到来方向である第１の入力方向を、前記第１の目的音方向推定手段で推定された第１の目的音方向と、第２の目的音方向推定手段で推定された第２の目的音方向のいずれか一方または両方に基づいて逐次修正する。そして、第２の入力方向修正手段は、前記雑音方向修正手段で推定された雑音方向が所定の第１の範囲にある場合に、前記第２のビームフォーマにおいて入力対象とする雑音の到来方向である第２の入力方向を該雑音方向に基づいて逐次修正し、第３の入力方向修正手段は、前記雑音方向修正手段で推定された雑音方向が所定の第２の範囲にある場合に、前記第３のビームフォーマにおいて入力対象とする雑音の到来方向である第３の入力方向を該雑音方向に基づいて逐次修正する。
従って、第２の入力方向修正手段の出力により第２の入力方向を修正される第２のビームフォーマは第２の入力方向以外から到来する成分を抑圧して残りの雑音成分を抽出することになり、また、第３の入力方向修正手段の出力により第３の入力方向を修正される第３のビームフォーマは第３の入力方向以外から到来する成分を抑圧して残りの雑音成分を抽出することになる。
【０１８６】
そして、有効雑音決定手段は、前記雑音方向推定手段で推定された雑音方向が所定の第１の範囲から到来したか所定の第２の範囲から到来したかに基づいて前記第１の出力雑音と前記第２の出力雑音のいずれか一方を真の雑音出力と決定していずれか一方の雑音を出力すると同時に、第１の音声方向推定手段と第２の音声方向推定手段のいずれの推定結果が有効であるかを決定して有効な方の音声方向推定結果を第１の入力方向修正手段へ出力する。
この結果、目的音方向修正手段は、前記第１のビームフォーマにおいて入力対象となる目的音の到来方向である第１の入力方向を、前記決定した方の目的音方向推定手段で得た目的音方向に基づいて逐次修正するので、第１のビームフォーマは第１の入力方向以外から到来する雑音成分を抑圧して話者の音声成分を低雑音で抽出することになる。
【０１８７】
このように本システムは雑音成分を抑圧した音声周波数成分と、音声成分を抑圧した雑音周波数成分とを別々に得ることができるが、この発明の最大の特徴は、第１及び第２のビームフォーマとして、周波数領域で動作するビームフォーマを用いるようにした点にある。そして、このことによって、計算量を大幅に削減することができるようにしている。
【０１８８】
そしてこの発明によると、適応フィルタの処理量が大幅に低減されるのに加え、入力音声に対する周波数分析以外の周波数分析処理を省略することができ、かつ、フィルタ演算時に必要であった時間領域から周波数領域ヘの変換処理も不要となり、全体の演算量を大幅に削減することができる。
【０１８９】
また、本発明では、雑音追尾に監視領域を全く異ならせた雑音追尾用のビームフォーマを設けてあり、それぞれの出力からそれぞれ音声方向を推定させると共に、それぞれの推定結果からいずれが有効な雑音追尾をしているかを判断して、有効と判断された方のビームフォーマのフィルタ係数による音声方向の推定結果を第１の目的音方向修正手段に与えることで第１の目的音方向修正手段は、前記第１のビームフォーマにおいて入力対象となる目的音の到来方向である第１の入力方向を、前記目的音方向推定手段で推定された目的音方向に基づいて逐次修正するので、第１のビームフォーマは第１の入力方向以外から到来する雑音成分を抑圧して話者の音声成分を低雑音で抽出することができ、雑音源が移動してもこれを見失うことなく追尾して抑圧することができるようになるものである。
【０１９０】
従来技術においては、２ｃｈ、すなわち、２本のマイクロホンだけでも目的音源の追尾を可能とすべく、雑音追尾用のビームフォーマを雑音抑圧のビームフォーマとは別に１個用いるが、例えば、雑音源が目的音の方向を横切って移動したような場合、雑音の追尾精度が低下することがあった。
【０１９１】
しかし、本発明では、雑音を追尾するビームフォーマを複数用いて各々別個の追尾範囲を受け持つようにしたことにより、上記のような場合でも追尾精度の低下を抑止できるようになる。
【０１９２】
更に第３には、本発明は、上記第１または第２の音抑圧装置において、前記得られた音声周波数を、周波数帯域毎に分割して帯域毎の音声パワーを計算する音声帯域パワー計算手段と、前記得られた雑音周波数成分を、周波数帯域毎に分割して帯域毎の雑音パワーを計算する雑音帯域パワー計算手段と、前記音声帯域パワー計算手段と雑音帯域パワー計算手段とから得られる音声と雑音の周波数帯域パワーに基き、音声信号の周波数帯域毎に重みをかけて背景雑音を抑圧するスペクトル減算手段とからなるスペクトル減算雑音抑圧手段をさらに具備することを特徴とする。
【０１９３】
この構成の場合、音声帯域パワー計算手段は、得られた音声周波数のスペクトル成分を、周波数帯域毎に分割して帯域毎の音声パワーを計算し、雑音帯域パワー計算手段は、前記得られた雑音周波数のスペクトル成分を、周波数帯域毎に分割して帯域毎の雑音パワーを計算する。そして、スペクトル減算手段は、前記音声帯域パワー計算手段と雑音帯域パワー計算手段とから得られる音声と雑音の周波数帯域パワーに基き、音声信号の周波数帯域毎に重みをかけて背景雑音を抑圧する。
【０１９４】
この構成によれば、ビームフォーマでは抑圧できない方向性のない雑音（背景雑音）は、本発明システムのビームフォーマで得ることのできる目的音声成分と雑音成分を利用し、これをスペクトルサブトラクション処理することで抑圧する。すなわち、本システムでは、ビームフォーマとして目的音声成分抽出用と雑音成分抽出用の２つのビームフォーマを備えているが、これらのビームフォーマの出力である目的音声成分と雑音成分を利用してスペクトルサブトラクション処理することにより、方向性のない背景雑音成分の抑圧を行う。スペクトルサブトラクション（ＳＳ）処理は雑音抑圧処理として知られるが、一般的に行われるスペクトルサブトラクション（ＳＳ）処理は、１チャンネルのマイクロホン（つまり、１本のマイクロホン）を用い、このマイクロホンの出力から音声のない区間において雑音のパワーを推定するため、非定常な雑音が音声に重畳している場合には対処できない。また、２チャンネルのマイクロホン（つまり、２本のマイクロホン）を用いて、一方を雑音収集用、片方を雑音重畳音声収集用とする場合にも、両マイクロホンの設置場所を離す必要があり、その結果、音声に重畳する雑音と、雑音収集用マイクロホンで取り込む雑音との位相がずれ、スペクトルサブトラクション処理しても雑音抑圧の改善効果は大きく上がらない。
【０１９５】
しかし、本発明では、雑音成分を取り出すビームフォーマを用意して、このビームフォーマの出力を用いるようにしたため、位相のずれは補正されており、従って、非定常雑音の場合でも高精度なスペクトルサブトラクション処理を実現できる。さらに、周波数領域のビームフォーマの出力を利用しているため、周波数分析を省略してスペクトルサブトラクションが可能であり、従来より少ない演算量で非定常雑音を抑圧できる。
【０１９６】
更に第４には、本発明は、上記第３の発明の雑音抑圧装置において、音声入力手段から得られた入力信号を周波数分析した入力信号の周波数成分を周波数帯域毎に分割し、帯域毎の入カパワーを計算する入力帯域パワー計算手段を設けて、スペクトル減算手段には、入力帯域パワーと音声帯域パワーと雑音帯域パワーとに基き、音声信号の周波数帯域毎に重みをかけて背景雑音を抑圧する処理を実施させるようにすることを特徴とする。
【０１９７】
この構成の場合、音声帯域パワー計算手段は、得られた音声周波数のスペクトル成分を、周波数帯域毎に分割して帯域毎の音声パワーを計算し、雑音帯域パワー計算手段は、前記得られた雑音周波数のスペクトル成分を、周波数帯域毎に分割して帯域毎の雑音パワーを計算する。また、入力帯域パワー計算手段があり、この入力帯域パワー計算手段は、音声入力手段から得られた入力信号を周波数分析して得た入力音声の周波数スペクトル成分を受けて、これを周波数帯域毎に分割し、帯域毎の入カパワーを計算する。そして、スペクトル減算手段は、前記音声帯域パワー計算手段と雑音帯域パワー計算手段とから得られる音声と雑音の周波数帯域パワーに基き、音声信号の周波数帯域毎に重みをかけて背景雑音を抑圧する。
【０１９８】
この第４の発明においては、第３の発明のスペクトルサブトラクション（ＳＳ）処理において、更に雑音成分についてそのパワーを修正するようにしたことにより、一層高精度に雑音抑圧を行うことを可能とするものである。すなわち、第３の発明では雑音源のパワ−Ｎが小さいという仮定をおいたため、スペクトルサブトラクション（ＳＳ）処理を行うと雑音源の成分が音声に重畳している部分では歪みが大きくなることが避けられないが、ここでは入力信号のパワーを用いて第３の発明でのスペクトルサブトラクション処理における帯域重みの計算を修正するようにした。
これにより、方向を持つ雑音成分および方向のない雑音成分を抑圧した歪みの少い音声成分のみの抽出ができるようになるものである。
【０１９９】
尚、本発明は上述した実施例に限定されるものではなく、種々変形して実施可能である。
【０２００】
【発明の効果】
以上、詳述したように、本発明によれば、全体の演算量を大幅に削減することができ、また、ビームフォーマのフィルタを用いた方向推定の際に必要であった時間領域から周波数領域への変換処理も不要となり、全体の演算量を大幅に削減することができると云う効果が得られる。
【０２０１】
また、本発明では、雑音成分を取り出すビームフォーマを用意して、このビームフォーマの出力を用いるようにしたため、位相のずれは補正されており、従って、非定常雑音の場合でも高精度なスペクトルサブトラクション処理を実現できる。さらに、周波数領域のビームフォーマの出力を利用しているため、周波数分析を省略してスペクトルサブトラクションが可能であり、従来より少ない演算量で非定常雑音を抑圧できて、方向性のある雑音成分ばかりか、方向性のない雑音成分（背景雑音）も抑圧できて歪みの少い音声成分の抽出ができるようになると云う効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施例１の全体構成を示すブロック図である。
【図２】本発明で使用するビームフォーマの構成例と動作例を説明する図である。
【図３】本発明の実施例１における方向推定部の作用を説明するためのフローチャートである。
【図４】本発明の実施例１におけるシステムの作用を説明するためのフローチャートである。
【図５】本発明の実施例２の全体構成を示すブロック図である。
【図６】本発明の実施例２におけるビームフォーマの追尾範囲を説明するための図である。
【図７】本発明の実施例２におけるシステムの作用を説明するためのフローチャートである。
【図８】本発明の実施例３の要部構成を示すブロック図である。
【図９】本発明の実施例２におけるシステムの作用を説明するためのフローチャートである。
【図１０】本発明の実施例４の要部構成を示すブロック図である。
【図１１】本発明の実施例２におけるシステムの作用を説明するためのフローチャートである。
【符号の説明】
１１…音声入力部
１２…周波数解析部
１３…第１のビームフォーマ
１４…第１の入力方向修正部
１５…第２の入力方向修正部
１６…第２のビームフォーマ
１７…雑音方向推定部
１８…第１の音声方向推定部（目的音方向推定部）
２１…第３の入力方向修正部
２２…第３のビームフォーマ
２３…第２の音声方向推定部
２４…有効雑音決定部
３０…スペクトルサブトラクション（ＳＳ）処理部
３１…音声帯域パワー計算部
３２…雑音帯域パワー計算部
３３…帯域重み計算部
３４…スペクトル減算部
３５…入力信号帯域パワー計算部
【図１】
0004163294.tif 000002
【図２】
0004163294.tif 000003
【図３】
0004163294.tif 000004
【図４】
0004163294.tif 000005
【図５】
0004163294.tif 000006
【図６】
0004163294.tif 000007
【図７】
0004163294.tif 000008
【図８】
0004163294.tif 000009
【図９】
0004163294.tif 000010
【図１０】
0004163294.tif 000011
【図１１】
0004163294.tif 000012