(57)【要約】      （修正有）【課題】互いに到来方向が異なる複数の音声のうち、目的とする他の音声の混入を効率的に抑制して目的音声を抽出する技術を提供する。【解決手段】所定の距離離して配置された第１および第２の音声入力器からそれぞれ取得した音声信号に、目的音声以外の他の音声の影響を受けやすい周波数帯域に対して小さい値をとる重み付きCSP(Cross−Power Spectrum Phase)係数を用いて、利得調整処理および発話区間の切り出し処理の少なくとも一方を行い目的音声の抽出処理を行う。【選択図】図１１
2011113044.tif 000002
【特許請求の範囲】
【請求項１】
互いに到来方向が異なる複数の音声のうち目的とする目的音声の抽出方法であって、
所定の距離離して配置された第１および第２の音声入力器からそれぞれ取得した音声信号を離散フーリエ変換するステップと、
離散フーリエ変換された２つの前記音声信号から、重み係数を用いてWeighted CSP(Cross−Power Spectrum Phase)係数を求めるステップであって、前記重み係数は、前記Weighted CSPを、互いに異なる複数の周波数binの成分の重ね合わせと捉える場合に、前記目的音声以外の他の音声の影響を受ける成分の周波数binに対し、他の成分の周波数binに対してとる値より小さな値をとる、前記Weighted CSP係数を求めるステップと、
前記離散フーリエ変換された２つの音声信号の少なくとも一方に基づくパワースペクトルに対し、前記Weighted CSP係数またはその移動平均を用いて利得調整を行うステップと、
前記利得調整後の前記パワースペクトルに対し、フロアリング処理を行うステップと、
を含む目的音声の抽出方法。
【請求項２】
前記目的音声以外の音声の影響を受ける成分の周波数binは、前記互いに異なる複数の周波数binの成分のうち、前記目的音声以外の他の音声の音声到来方向および前記目的音声の音声到来方向の両方で正の値をとる成分の周波数binである、請求項１に記載の目的音声の抽出方法。
【請求項３】
前記Weighted CSP係数またはその移動平均を用いて、目的音声についての発話区間を推測するステップと、推測した前記発話区間に基づいて、前記フロアリング処理の前に、利得調整後の前記パワースペクトルから発話区間を切り出すステップとを更に含む、請求項１に記載の目的音声の抽出方法。
【請求項４】
前記複数の音声は、前記第１の音声入力器と第２の音声入力器を結ぶ線分に対し垂直な線分によって分けられる右半面に位置する第１話者の音声である目的音声と左半面に位置する第２話者の音声である他の音声であり、前記離散フーリエ変換された２つの音声信号の相関の移動平均の位相が音声到来方向を正しく示すことのできる上限の周波数の周波数bin番号を求め、前記上限の周波数の周波数bin番号より大きな周波数bin番号と、前記位相が右半面を音声到来方向として示す複数の周波数bin番号とに対してのみ音声を通過させるバイナリマスクを算出するステップと、前記フロアリング処理の前に、前記算出した前記バイナリマスクを利得調整後の前記パワースペクトルに適用するステップとを含む、請求項１に記載の目的音声の抽出方法。
【請求項５】
前記目的音声を強調するために、前記利得調整を行うステップの前に、前記離散フーリエ変換された２つの音声信号に対しビームフォーマ処理を行い、パワースペクトルを出力するステップを含む、請求項１に記載の目的音声の抽出方法。
【請求項６】
前記ビームフォーマ処理の後かつ前記利得調整を行う前に、前記パワースペクトルに対し、推定した雑音のパワースペクトルを用いて定常雑音の除去処理を行うステップを更に含む、請求項５に記載の目的音声の抽出方法。
【請求項７】
互いに到来方向が異なる複数の音声のうち目的とする目的音声の抽出方法であって、
所定の距離離して配置された第１および第２の音声入力器からそれぞれ取得した音声信号を離散フーリエ変換するステップと、
離散フーリエ変換された２つの前記音声信号から、重み係数を用いてWeighted CSP(Cross−Power Spectrum Phase)係数を求めるステップであって、前記重み係数は、前記Weighted CSPを、互いに異なる複数の周波数binの成分の重ね合わせと捉える場合に、前記目的音声以外の他の音声の影響を受ける成分の周波数binに対し、他の成分の周波数binに対してとる値より小さな値をとる、前記Weighted CSP係数を求めるステップと、
前記Weighted CSP係数またはその移動平均を用いて、目的音声についての発話区間を推測するステップと、
推測した前記発話区間に基づいて、前記離散フーリエ変換された２つの音声信号の少なくとも一方に基づくパワースペクトルから発話区間を切り出すステップと、
切り出した前記発話区間のパワースペクトルに対し、フロアリング処理を行うステップと、
を含む、目的音声の抽出方法。
【請求項８】
前記目的音声以外の音声の影響を受ける成分の周波数binは、前記互いに異なる複数の周波数binの成分のうち、前記目的音声以外の他の音声の音声到来方向および前記目的音声の音声到来方向の両方で正の値をとる成分の周波数binである、請求項７に記載の目的音声の抽出方法。
【請求項９】
前記複数の音声は、前記第１の音声入力器と第２の音声入力器を結ぶ線分に対し垂直な線分によって分けられる右半面に位置する第１話者の音声である目的音声と左半面に位置する第２話者の音声である他の音声であり、前記離散フーリエ変換された２つの音声信号の相関の移動平均の位相が音声到来方向を正しく示すことのできる上限の周波数の周波数bin番号を求め、前記上限の周波数の周波数bin番号より大きな周波数bin番号と、前記位相が右半面を音声到来方向として示す複数の周波数bin番号とに対してのみ音声を通過させるバイナリマスクを算出するステップと、前記フロアリング処理の前に、前記算出した前記バイナリマスクを利得調整後の前記パワースペクトルに適用するステップとを含む、請求項７に記載の目的音声の抽出方法。
【請求項１０】
互いに到来方向が異なる複数の音声のうち目的とする目的音声の抽出装置であって、
所定の距離離して配置された第１および第２の音声入力器からそれぞれ取得した音声信号を離散フーリエ変換するフーリエ変換手段と、
離散フーリエ変換された２つの前記音声信号から、重み係数を用いてWeighted CSP(Cross−Power Spectrum Phase)係数を求めるステップであって、前記重み係数は、前記Weighted CSPを、互いに異なる複数の周波数binの成分の重ね合わせと捉える場合に、前記目的音声以外の他の音声の影響を受ける成分の周波数binに対し、他の成分の周波数binに対してとる値より小さな値をとる、前記Weighted CSP係数を算出するW-CSP係数算出手段と、
前記離散フーリエ変換された２つの音声信号の少なくとも一方に基づくパワースペクトルに対し、前記Weighted CSP係数またはその移動平均を用いて利得調整を行う利得調整手段と、
前記利得調整後の前記パワースペクトルに対し、フロアリング処理を行うフロアリング処理手段と、
を含む目的音声抽出装置。
【請求項１１】
互いに到来方向が異なる複数の音声のうち目的とする目的音声の抽出装置であって、
所定の距離離して配置された第１および第２の音声入力器からそれぞれ取得した音声信号を離散フーリエ変換する離散フーリエ変換手段と、
離散フーリエ変換された２つの前記音声信号から、重み係数を用いてWeighted CSP(Cross−Power Spectrum Phase)係数を求めるステップであって、前記重み係数は、前記Weighted CSPを、互いに異なる複数の周波数binの成分の重ね合わせと捉える場合に、前記目的音声以外の他の音声の影響を受ける成分の周波数binに対し、他の成分の周波数binに対してとる値より小さな値をとる、前記Weighted CSP係数を算出するW-CSP係数算出手段と、
前記Weighted CSP係数またはその移動平均を用いて、目的音声についての発話区間を推測する発話区間推測手段と、
推測した前記発話区間に基づいて、前記離散フーリエ変換された２つの音声信号の少なくとも一方に基づくパワースペクトルから発話区間を切り出す発話区間切り出し手段と、
切り出した前記発話区間のパワースペクトルに対し、フロアリング処理を行うフロアリング処理手段と、
を含む、目的音声抽出装置。
【請求項１２】
互いに到来方向が異なる複数の音声のうち目的とする目的音声の抽出プログラムであって、前記抽出プログラムは、コンピュータに、
所定の距離離して配置された第１および第２の音声入力器からそれぞれ取得した音声信号を離散フーリエ変換するステップと、
離散フーリエ変換された２つの前記音声信号から、重み係数を用いてWeighted CSP(Cross−Power Spectrum Phase)係数を求めるステップであって、前記重み係数は、前記Weighted CSPを、互いに異なる複数の周波数binの成分の重ね合わせと捉える場合に、前記目的音声以外の他の音声の影響を受ける成分の周波数binに対し、他の成分の周波数binに対してとる値より小さな値をとる、前記Weighted CSP係数を求めるステップと、
前記離散フーリエ変換された２つの音声信号の少なくとも一方に基づくパワースペクトルに対し、前記Weighted CSP係数またはその移動平均を用いて利得調整を行うステップと、
前記利得調整後の前記パワースペクトルに対し、フロアリング処理を行うステップと、
を実行させる、目的音声の抽出プログラム。
【請求項１３】
互いに到来方向が異なる複数の音声のうち目的とする目的音声の抽出プログラムであって、前記抽出プログラムは、コンピュータに、
所定の距離離して配置された第１および第２の音声入力器からそれぞれ取得した音声信号を離散フーリエ変換するステップと、
離散フーリエ変換された２つの前記音声信号から、重み係数を用いてWeighted CSP(Cross−Power Spectrum Phase)係数を求めるステップであって、前記重み係数は、前記Weighted CSPを、互いに異なる複数の周波数binの成分の重ね合わせと捉える場合に、前記目的音声以外の他の音声の影響を受ける成分の周波数binに対し、他の成分の周波数binに対してとる値より小さな値をとる、前記Weighted CSP係数を求めるステップと、
前記Weighted CSP係数またはその移動平均を用いて、目的音声についての発話区間を推測するステップと、
推測した前記発話区間に基づいて、前記離散フーリエ変換された２つの音声信号の少なくとも一方に基づくパワースペクトルから発話区間を切り出すステップと、
切り出した前記発話区間のパワースペクトルに対し、フロアリング処理を行うステップと、
を実行させる、目的音声の抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、互いに到来方向が異なる複数の音声のうち目的とする目的音声をCSP(Cross−Power SpectrumPhase)係数を利用して抽出する技術に関し、特に、目的音声以外の音声の混入をより効率的に抑制する技術に関する。
【背景技術】
【０００２】
近年、企業等において、違法な行為又は反社会的な行為等によって、消費者又は取引先の信頼を失ってしまうというような事件が起きており、このため所謂コンプライアンス体制の確立が緊急課題となっている。コンプライアンス強化の取り組みの一環として、例えば金融サービス業界においては、窓口業務において、販売員と顧客の会話を録音し、音声認識によるインデキシングを利用して販売員の営業活動をチェックすることが行われている。
【０００３】
ここで窓口業務における販売員の顧客対応記録の収集に方法については、様々な方法が検討されている。１つには、販売員に接話マイクを装着させて会話を録音する手法がある。しかしかかる手法では、販売員の声のみの録音を目的としているものの実用上は顧客の音声も録音されるため、会話の録音に抵抗感を示す顧客が多く、必ずしも適切な手法とはいえない。このため、顧客から見えない場所に、（単一）指向性マイクを設置して、販売員の音声を収集することも考えられる。しかし、標準的なマイクでは指向性が低く顧客の音声も録音してしまい、一方でガンマイク等の超指向性を有するマイクは一般に高価でサイズが大きいため、結局かかる手法も適切とはいえない。
【０００４】
ところで、期待しない方向からの音声を効率的に除去したいという場面は他にも多くあり、例えば車載のカーナビゲーションシステムの操作のための音声認識がある。ここではドライバーを目的話者として、助手席や後部席に座っている同乗者の声を除去することが求められており、そのような技術として、CSP係数という２チャンネル信号の相互相関関係を利用して目的話者の音声スペクトルの利得調整を行う技術が知られている（例えば、特許文献１参照）。
【０００５】
なお、以下の非特許文献１および２は、それぞれWeightedCSP法および音声到来方向を基にしたバイナリマスクの背景技術として列挙するものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８―２７５８８１号公報
【非特許文献】
【０００７】
【非特許文献１】Y. Denda、T. Nishiura、Y. Yamashita, “Robust Talker DirectionEstimation  Based on Weighted CSPAnalysis and Maximum Likelihood Estimation”、IEICE Transactions on Information and Systems、２００６年３月、E89-D, 3, p.1050-1057
【非特許文献２】S.Araki、H. Sawada、R. Mukai, S.Makino, “A novel blind source separation method with observation vectorclustering”、IWAENC2005、２００５年、p.117-120
【発明の概要】
【発明が解決しようとする課題】
【０００８】
CSP係数を利用した目的話者の音声スペクトルの利得調整は、指定方向のCSP係数が、指定方向に位置する目的話者が発話しているときは高い値を示し、発話していないときは小さい値を示すという特徴を利用したものである。しかしながら、本願発明者等は、指定方向のCSP係数が、指定方向に位置する目的話者以外の話者が話しているときに比較的高めの値を示す場合があることに気付いた。この場合、CSP係数を利用して利得調整を行い抽出される音声スペクトルに目的話者以外の話者の音声が混入することになり、音声認識の精度が低下する。
【０００９】
この発明は、上記の問題点を解決するためになされたものであって、目的話者以外の話者の音声の影響を受けにくいCSP係数を導出し、目的音声以外の音声の混入を抑制して目的音声を抽出する技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本願発明者等は、指定方向のCSP係数が、指定方向に位置する目的話者以外の話者が話しているときに高めの値を示す原因を突き止めるために研究した。そして本願発明者等は、CSP係数は、２つの複素スペクトル信号の正規化相関を離散フーリエ逆変換したものであり、互いに異なる複数の周波数binの成分の重ね合わせとして捉えることができるところ、非自明にも指定方向に位置する目的話者以外の話者の発声の影響を受け易い周波数binの成分があることを見出した。そこで本願発明者は更に研究を進め、そのような目的話者以外の話者の発声の影響を受け易い周波数帯域を求め、該周波数帯域に対し小さな値をとる重み係数を用いたWeighted CSP係数を導入することで、目的音声以外の音声の混入を抑制して目的音声を抽出するというアイデアに想到した。なおWeighted CSP係数は、非特許文献１に示すように従来は音声帯域への重み付けとして利用されるのみであった。
【００１１】
即ち、上記課題を解決するために、本発明の第１の態様においては、互いに到来方向が異なる複数の音声のうち目的とする目的音声の抽出方法であって、所定の距離離して配置された第１および第２の音声入力器からそれぞれ取得した音声信号を離散フーリエ変換するステップと、離散フーリエ変換された２つの前記音声信号から、重み係数を用いてWeighted CSP係数を求めるステップであって、前記重み係数は、前記Weighted CSPを、互いに異なる複数の周波数binの成分の重ね合わせとして捉える場合に、前記目的音声以外の他の音声の影響を受ける成分の周波数binに対し、他の成分の周波数binに対してとる値より小さな値をとる、前記Weighted CSP係数を求めるステップと、前記離散フーリエ変換された２つの音声信号の少なくとも一方に基づくパワースペクトルに対し、前記Weighted CSP係数またはその移動平均を用いて利得調整を行うステップと、前記利得調整後の前記パワースペクトルに対し、フロアリング処理を行うステップとを含む目的音声の抽出方法を提供する。
【００１２】
ここで前記目的音声以外の音声の影響を受ける成分の周波数binは、前記互いに異なる複数の周波数binの成分のうち、前記目的音声以外の他の音声の音声到来方向および前記目的音声の音声到来方向の両方で正の値をとる成分の周波数binであってよい。
【００１３】
好ましくは、上記目的音声の抽出方法は、前記Weighted CSP係数またはその移動平均を用いて、目的音声についての発話区間を推測するステップと、推測した前記発話区間に基づいて、前記フロアリング処理の前に、利得調整後の前記パワースペクトルから発話区間を切り出すステップとを更に含む。
【００１４】
また好ましくは、前記複数の音声は、前記第１の音声入力器と第２の音声入力器を結ぶ線分に対し垂直な線分によって分けられる右半面に位置する第１話者の音声である目的音声と左半面に位置する第２話者の音声である他の音声であり、上記目的音声の抽出方法は、前記離散フーリエ変換された２つの音声信号の相関の移動平均の位相が音声到来方向を正しく示すことのできる上限の周波数の周波数bin番号を求めて、前記上限の周波数の周波数bin番号より大きな周波数bin番号と、前記位相が右半面を音声到来方向として示す場合の複数の周波数bin番号とに対してのみ音声を通過させるバイナリマスクを算出するステップと、前記フロアリング処理の前に、前記算出した前記バイナリマスクを利得調整後の前記パワースペクトルに適用するステップとを含む。
【００１５】
また好ましくは、上記目的音声の抽出方法は、前記目的音声を強調するために、前記利得調整を行うステップの前に、前記離散フーリエ変換された２つの音声信号に対しビームフォーマ処理を行い、パワースペクトルを出力するステップを含む。
【００１６】
より好ましくは、上記目的音声の抽出方法は、前記ビームフォーマ処理の後かつ前記利得調整を行う前に、前記パワースペクトルに対し、推定した雑音のパワースペクトルを用いて定常雑音の除去処理を行うステップを更に含む。  
【００１７】
上記課題を解決するために、本発明の第２の態様においては、互いに到来方向が異なる複数の音声のうち目的とする目的音声の抽出方法であって、所定の距離離して配置された第１および第２の音声入力器からそれぞれ取得した音声信号を離散フーリエ変換するステップと、離散フーリエ変換された２つの前記音声信号から、重み係数を用いてWeighted CSP係数を求めるステップであって、前記重み係数は、前記Weighted CSPを、互いに異なる複数の周波数bin成分の重ね合わせとして捉える場合に、前記目的音声以外の音声の影響を受ける成分の周波数binに対し、他の成分の周波数binに対してとる値より小さな値をとる、前記Weighted CSP係数を求めるステップと、前記WeightedCSP係数またはその移動平均を用いて、目的音声についての発話区間を推測するステップと、推測した前記発話区間に基づいて、前記離散フーリエ変換された２つの音声信号の少なくとも一方に基づくパワースペクトルから発話区間を切り出すステップと、切り出した前記発話区間のパワースペクトルに対し、フロアリング処理を行うステップと、を含む目的音声抽出方法を提供する。
【００１８】
ここで前記目的音声以外の音声の影響を受ける成分の周波数binは、前記互いに異なる複数の周波数binの成分のうち、前記目的音声以外の他の音声の音声到来方向および前記目的音声の音声到来方向の両方で正の値をとる成分の周波数binであってよい。
【００１９】
また好ましくは、前記複数の音声は、前記第１の音声入力器と第２の音声入力器を結ぶ線分に対し垂直な線分によって分けられる右半面に位置する第１話者の目的音声と左半面に位置する第２話者の他の音声であり、上記目的音声の抽出方法は、前記離散フーリエ変換された２つの音声信号の相関の移動平均の位相が音声到来方向を正しく示すことのできる上限の周波数の周波数bin番号を求めて、前記上限の周波数の周波数bin番号より大きな周波数bin番号と、前記位相が右半面を音声到来方向として示す場合の複数の周波数bin番号とに対してのみ音声を通過させるバイナリマスクを算出するステップと、前記フロアリング処理の前に、前記算出した前記バイナリマスクを利得調整後の前記パワースペクトルに適用するステップとを含む。
【００２０】
以上、目的音声の抽出方法として本発明を説明したが、本発明は、そのような目的音声の抽出方法をプロセッサと記憶領域を備えたコンピュータに実行させるための目的音声抽出プログラム、また目的音声抽出プログラムをインストールして、目的音声抽出方法をプロセッサと記憶領域を備えたコンピュータが実行することによって実現される目的音声抽出装置として把握することもできる。
【発明の効果】
【００２１】
本願発明によれば、目的話者以外の話者の発声の影響を受け易い周波数帯域に対し小さな値をとる重み係数を用いたWeighted CSP係数を算出し、該Weighted CSP係数を用いて、目的話者の音声スペクトルの利得調整や発話区間の切り出しを行うので、目的音声以外の音声の混入を抑制して目的音声を抽出することが可能となり、結果、音声認識の精度が高まる。本発明のその他の効果については、各実施の形態の記載から理解される。
【図面の簡単な説明】
【００２２】
【図１】図１は、本発明が適用される音声認識システムの構成図である。
【図２】図２は、本発明の第１実施形態に係る目的音声抽出部（装置）の機能構成を示す。
【図３】図３は、本発明の第２実施形態に係る目的音声抽出部（装置）の機能構成を示す。
【図４】図４は、本発明の第３実施形態に係る目的音声抽出部（装置）の機能構成を示す。
【図５】図５は、本発明の第４実施形態に係る目的音声抽出部（装置）の機能構成を示す。
【図６】図６（ａ）は、CSP係数のグラフの一例を示す。図６（ｂ）は、マイクロフォンに対する音声到来方向の一例を示す。
【図７】図７（ａ）は、対向話者の音声の影響を受けるCSP係数のグラフの一例を示す。図７（ｂ）は、CSP係数の周波数binごとの成分の一例を示す。
【図８】図８は、目的話者の音声到来方向のW-CSP係数の時間変化を示すグラフの一例を示す。
【図９】図９は、バイナリマスクの模式図の一例を示す。
【図１０】図１０は、バイナリマスクを適用可能な周波数の上限の存在を示すグラフを示す。
【図１１】図１１は、本発明に係る目的音声抽出処理の流れの一例を示すフローチャートである。
【図１２】図１２は、本発明に係る目的音声抽出方法を使用した音声認識の実験結果を示す。
【図１３】図１３は、実験により得られた、本発明により導出されたW-CSP係数の時間変化を示すグラフを示す。
【図１４】図１４は、本発明の実施の形態による目的音声抽出装置を実現するのに好適なコンピュータのハードウェア構成の一例を示した図である。
【発明を実施するための形態】
【００２３】
以下、本発明を実施するための最良の形態を図面に基づいて詳細に説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、実施の形態の説明の全体を通じて同じ要素には同じ番号を付している。
【００２４】
図１は、本発明が適用される音声認識システムの構成図である。音声認識システム３００の主たる構成としては、目的音声抽出部１００と認識部２００とに分けることができ、それぞれの部は、前処理として目的音声を抽出部する機能と、実際に音声認識をする機能とを果たすように、図示のように結合されている。マイクロフォン１およびマイクロフォン２から到来する入力音声は、各々、高速フーリエ変換（ＦＦＴ）によって周波数領域に変換され、目的音声抽出部１００でW-CSP係数による利得調整や発話区間の切り出しが行われ、その処理された結果が認識部２００に入力される。認識部２００において音声認識用の特徴量が抽出されて、参照パターンとの間でのパターンマッチングを通じて、最終的には音声認識結果が出力される。
【００２５】
本発明が適用されるのは目的音声抽出部１００であり、目的音声抽出部１００によって、本発明の目的、即ち、目的音声以外の音声の混入を抑制して目的音声を抽出するという目的が達成される。但し、後で説明する実験では、最終的に認識部２００を通してから得られる音声認識結果によって本発明の効果を評価する。なお本発明の目的音声抽出部１００への適用方法は複数あり、以下では各適用方法における目的音声抽出部１００の機能構成を、第１実施形態〜第４実施形態として順に説明する。
【００２６】
(第１実施形態）図２は、本発明の第１実施形態に係る目的音声抽出部１００ａの機能構成を示す。第１実施形態に係る目的音声抽出部１００ａは、離散フーリエ変換部（DFT: Discrete Fourier Transform）１０５ａおよび１０５ｂ、角度指標算出部１０７、Weighted CSP係数算出部１１０、ビームフォーマ処理部１１５、雑音推定部１２０、雑音除去部１２５、利得調整部１３０、フロアリング処理部１３５を含む。
【００２７】
離散フーリエ変換部１０５ａおよび１０５ｂは、所定の距離ｄ離して配置された２つの音声入力器であるマイクロフォン１およびマイクロフォン２から音声信号S1(t)、S2(t)を入力として受け取り、受け取った音声信号を、適宜増幅し、所定の時間幅を有するフレームに分割し、高速フーリエ変換（FFT：Fast Fourier Transform）等により離散フーリエ変換して、周波数領域の信号S1,T(ω)、S2,T(ω)を出力する。
【００２８】
ここで周波数領域の信号S1,T(ω)、S2,T(ω)は複素スペクトルであり、tは時刻に相当するサンプリング番号であり、Tは時刻に相当するフレーム番号である。またωは、周波数に相当する離散フーリエ変換の周波数bin番号である。なお、離散フーリエ変換部１０５ａおよび１０５ｂが行う上記各処理は、デジタル音声信号処理における公知の技術であり、また本発明の要旨ではないのでこれ以上の説明は省略する。
【００２９】
角度指標算出部１０７は、離散フーリエ変換部１０５ａおよび１０５ｂからの出力S1,T(ω)、S2,T(ω)を入力として受け取り、CSP法による音波到来方向（DOA: DirectionOf Arrival）算出法を利用して、音声の抽出を希望する目的話者の位置（音源）と目的話者以外の話者（以下、単に対向話者という）の位置（音源）とを算出する。各話者の位置の算出方法を以下に詳細に説明する。
【００３０】
まず、次式によりS1,T(ω)、S2,T(ω)からCSP係数φ1T (i)を求める。
【数１】
2011113044.tif 000003
ここで、φ1T (i)は、マイクロフォン１および２に入力された音声の複素スペクトルから求めたTフレーム目のCSP係数であり、iは音声到来方向（角度指標）である。また、＊は共役複素数を表す（以下、同様）。
【００３１】
図６（ａ）に、Tフレーム目のCSP係数のグラフの一例を模式的に示す。図６（ａ）を見ると分かるように、CSP係数は、音声到来方向に対して高い値を示す。このためCSP係数を用いて、左右半面ごとに、目的話者と対向話者の位置を検出することができる。なお、図６（ａ）において左半面とは、マイクロフォン１とマイクロフォン２が設置された平面において、マイクロフォン１とマイクロフォン２とを結ぶ線分に垂直な線分によって２つに分けられる半面のうち目的話者の位置しない半面を指すものとする。同様に、右半面とは目的話者の位置する半面を指すものとする。
【００３２】
CSP係数φ1T (i)が求まると、次式に示すように、目的話者が発話したTフレーム目のCSP係数であるφ1T(i)が最大となるサンプル差（位相差）iを求めて、これをｘとする。
【数２】
2011113044.tif 000004
【００３３】
続いてｘをサンプリング周波数Ｆｓで割ることにより、到達時間差τを求める。なお、到達時間差τには、音速ｃ、マイクロフォン１とマイクロフォン２の間の距離ｄ、およびマイクロフォン１からマイクロフォン２への方向ベクトルと音声到来方向となす角度θとの間に、図６（ｂ）に示すような関係がある。従って、目的話者の音声到来方向がマイクロフォン１からマイクロフォン２への方向ベクトルとなす角度θは、次式により求めることができる。
【数３】
2011113044.tif 000005
【００３４】
対向話者についても、同様にして、その音声到来方向がマイクロフォン１からマイクロフォン２への方向ベクトルとなす角度θを得ることができる。なお、話者について多少の移動の可能性がある場合は、ＤＰマッチング等により時系列的に位置を追跡すればよい。一方、移動の可能性が低い場合は、単に前回の発生位置をコンピュータの記憶部に記憶しておくだけでよい。
【００３５】
Weighted CSP係数算出部１１０は、離散フーリエ変換部１０５ａおよび１０５ｂからの出力S1,T(ω)、S2,T(ω)を入力として受け取り、S1,T(ω)、S2,T(ω)から、重み係数W(ω)を用いて次式により表されるWeighted CSP係数φ2T (i)を算出する。好ましくはその安定した表現を求めるために、前後数フレームにわたって移動平均をとり、Weighted CSP係数φ2T(i)バーを求める。
【数４】
2011113044.tif 000006
【００３６】
ここで重み係数W(ω)は、Weighted CSP係数を、互いに異なる複数の周波数binの成分の重ね合わせと捉える場合に、対向話者の発声の影響を受ける成分の周波数binに対し、他の成分の周波数binに対してとる値より小さな値をとる係数である。このような重み係数W(ω)を用いることで、対向話者の発声によって、目的話者の位置のWeighted CSP係数が増大することがなくなる。その結果、CSP係数を用いて利得調整を行う従来技術のように、対向話者の発声の影響により、抽出した音声スペクトルに目的話者以外の話者の音声が混入するということがなくなる。
【００３７】
そこで、図７を参照して、対向話者の発声の影響を受けやすい周波数帯域の求め方を詳細に説明する。図７（ａ）は、対向話者のみが発声し、目的話者が無発声であるT’フレーム目のCSP係数のグラフの一例を模式的に示したものである。図７（ａ）は、目的話者が発声していないのに、目的話者の位置のCSP係数が少し高くなることがあるという例を示したものである。
【００３８】
このような現象の原因は次のように解することができる。即ち、式１に示したように、CSP係数は、周波数binごとの複素スペクトルの正規化相互関数を、離散フーリエ逆変換したものである。即ち、最終的に得られるCSP係数は、互いに異なる複数の周波数bin成分の重ね合わせとして捉えることができる。図７（ｂ）に、周波数bin＝ω1、ω2、ω3（ω1＜ω2＜ω3）であるCSP係数の成分の例を示す。対向話者のみが発声しているので、どの周波数bin成分についても、対向話者の位置において大きな正の値をとっている。一方で目的話者の位置では、通常は、目的話者は発声していないので各周波数binの成分は正の値、負の値と様々な値をとり、最終的な各周波数bin成分の合計はゼロもしくはそれに近い値になると考えられる。
【００３９】
しかしながら、なんらかの理由でそのバランスが崩れると、図７（ｂ）に示す周波数bin＝ω3の成分のように、ある周波数bin成分が他の周波数bin成分を卓越し、結果として目的話者位置での各周波数bin成分の合計が比較的高い正の値となってしまう。これが対向話者の発話の漏れの原因である。従ってこの問題を回避するためには、対向話者と目的話者の位置が既知であるという前提の下で、対向話者が発声したときに、目的話者の位置におけるその成分の値e(ω)が正になってしまうような周波数binを求め（図７（ｂ）の例では、e(ω3)が正よりω3）、その周波数binについての重みW(ω)を小さくすればよい。これを式で示すと、一例として次のように表すことができる。
【００４０】
【数５】
2011113044.tif 000007
ここでe(ω)は、対向話者が発声したときにおける、目的話者の位置における任意の周波数bin成分の値であり、次式により表される。
【数６】
2011113044.tif 000008
式中、Nは、離散フーリエ変換の幅（標本点数）、ωは周波数bin番号、i1は目的話者の位置、i2は対向話者の位置である。なお、Weighted CSP係数算出部１１０は、角度指標算出部１０７よりi1とi2の情報を取得する。
【００４１】
対向話者の発声の影響を受ける成分の周波数binは、互いに異なる複数の周波数binの成分のうち、目対向話者の音声到来方向および対向話者の音声到来方向の両方で正の値をとる成分の周波数binであるといえる。なお、式５では単純な重み付けの方法を採用し、e(ω)が正になってしまうような周波数binの重みをゼロとした。しかしながら、完全にゼロにした場合、その部分の情報が失われることになる。そこで、次式による重み付けを採用してもよい。
【数７】
2011113044.tif 000009
【００４２】
ビームフォーマ処理部１１５は、離散フーリエ変換部１０５ａおよび１０５ｂからの出力S1,T(ω)、S2,T(ω)を入力として受け取り、S1,T(ω)、S2,T(ω)に対しビームフォーマ処理を行い、パワースペクトルXω(T)を出力する。ビームフォーマ処理は、遅延和アレイビームフォーマや適応ビームフォーマ（最小分数ビームフォーマ）を用いてよい。
【００４３】
遅延和アレイビームフォーマは、θ方向から到来する信号を少なくとも２つのマイクロフォンで受音して、それぞれを同相化して加算することにより、θ方向から到来する信号を強調するものである。よって、θ方向以外から到来する信号は、同相化されないために強調されない。よって、θ方向に感度が高く、それ以外の方向に感度が低いという指向性を形成することができる。ここではθ方向として、目的話者の音声到来方向を使用し、ビームフォーマ処理部１１５は、角度指標算出部１０７よりi1情報を取得する。
【００４４】
適応ビームフォーマでは、雑音や残響の方向に対して死角を形成することもできる。さらには、その他のビームフォーマ処理によって代替してもかまわない。また、これらのビームフォーマ処理を省略して、すなわち素通りさせて、離散フーリエ変換部１０５ａおよび１０５ｂからの出力S1,T(ω)、S2,T(ω)のうち、どちらか片方の出力をそのままを利用することもできる。
【００４５】
雑音推定部１２０は、パワースペクトルXω(T)を入力として受け取り、雑音区間、すなわち目的話者の非発話区間でノイズのパワースペクトルＵωを推定する。推定方法は、音声パワーの低い区間を使用する従来技術を使用してよい。ノイズのパワースペクトルＵωは、事前に推定して固定的に使ってもよく、または入力された音声信号と同時に逐次推定（更新）してもよく、あるいは一定間隔で推定（更新）してもよい。なお、ノイズのパワースペクトルＵωには、対向話者の音声は含まれないことに留意されたい。  
【００４６】
雑音除去部１２５は、ビームフォーマ処理部１１５からの出力、即ち、パワースペクトルXω(T)を入力として受け取り、雑音推定部１２０により推定された雑音のパワースペクトルＵωを用いて定常雑音の除去処理を行い、パワースペクトルYω(T)を出力する。除去処理は、スペクトルサブトラクションやウィーナフィルタを用いてよい。
【００４７】
除去処理として、スペクトルサブトラクションを利用する場合、除去処理後のパワースペクトルYω(T)は、次式により表される。
【数８】
2011113044.tif 000010
ここで、αは任意の減算定数であり、１に近い値が選択されることが多いであろうが、任意の値をとることができる。なお、除去処理を省略して、すなわち素通りさせて、ビームフォーマ処理部１１５からの出力、即ち、パワースペクトルXω(T)をそのままパワースペクトルYω(T)として出力してもよい。
【００４８】
利得調整部１３０は、離散フーリエ変換部１０５ａおよび１０５ｂからの出力S1,T(ω)、S2,T(ω)の少なくとも一方に基づくパワースペクトルに対し、Weighted CSP係数算出部１１０から取得したWeighted CSP係数を用いて利得調整を行う。
【００４９】
より具体的には、利得調整部１３０は、雑音除去部１２５から受け取ったパワースペクトルYω(T)に、  Weighted CSP係数を乗ずることにより、目的話者の音声のみを出力する制御を行い、これをDω(T)として出力する。なお、Weighted CSP係数算出部１１０は、角度指標算出部１０７からi1情報を取得して、目的話者の音声到来方向についてのWeighted CSP係数φ2T(i1)またはその移動平均を利得調整部１３０へ渡す。
【００５０】
利得調整部１３０が出力するパワースペクトルDω(T)を次式に示す。
【数９】
2011113044.tif 000011
本発明が新たに採用するWeighted CSP係数は、上述したように、対向話者の発声の影響を受け易い周波数帯域に対し小さな値をとる重み係数を用いている。このため、目的話者が発話していないときは、その値は従来のCSP係数よりも確実に小さくなり、目的話者の音声到来方向以外からの音声信号のパワースペクトルはこの処理により確実に抑圧される。
【００５１】
フロアリング処理部１３５は、利得調整部１３０からの出力、即ち、パワースペクトルDω(T)を入力として受け取り、パワースペクトルDω(T)に対しフロアリング処理を行い、これをZω(T)として出力する。ここでフロアリング処理とは、実データに含まれる小さな値をそのまま用いずに適当な数値に置き換える処理である。
【００５２】
フロアリング処理後のパワースペクトルZω(T)は、次式により表される。
【数１０】
2011113044.tif 000012
式中、Uωはノイズのパワースペクトルであり、式８で用いるものと同様のもの、または雑音推定部１２０の出力等を適宜利用できるが、他の方法で推定した異なったものを利用してもよい。βは、フロアリング係数であり、例えばゼロに近い値（例えば、0.1）等の、等技術分野において好都合な任意の値をとることができる。以上のようにして得られる出力Zω(T)は、音声認識のために認識部２００へ渡される。
【００５３】
(第２実施形態）図３は、本発明の第２実施形態に係る目的音声抽出部１００ｂの機能構成を示す。第２実施形態に係る目的音声抽出部１００ｂは、利得調整部１３０の代わりに発話区間推測部１４０と発話区間切り出し部１４５を有する点を除いて、基本的に、第１実施形態に係る目的音声抽出部１００ａと同じ構成である。そこで以下では、発話区間推測部１４０と発話区間切り出し部１４５について説明をする。
【００５４】
発話区間推測部１４０は、Weighted CSP係数算出部１１０から、目的話者の音声到来方向についてのWeighted CSP係数φ2T (i1) またはその移動平均を受け取り、Weighted CSP係数またはその移動平均を用いて、目的音声についての発話区間を推測する。具体的には、発話区間推測部１４０は、Weighted CSP係数またはその移動平均の値を時系列的に追跡し、目的話者が発話していると考えられる区間の推定（VAD: Voice Activity Detection）を行う。
【００５５】
図８は、目的話者の音声到来方向のWeighted CSP係数の移動平均の時間変化を示すグラフの一例である。図８に示すように、発話区間推測部１４０は、Weighted CSP係数の移動平均が高い区間を検出し、前後に一定の長さの区間を追加したものを目的話者の発話区間として推定する。そして、発話区間であれば、VAD(T)=1とし、そうでなければVAD(T)=0として、発話区間の関数VAD(T)を定義する。
【００５６】
本発明が新たに採用するWeighted CSP係数は、上述したように、対向話者の発声の影響を受け易い周波数帯域に対し小さな値をとる重み係数を用いている。このため、目的話者が発話していないときは、その値は従来のCSP係数よりも確実に小さくなり、従って、発話区間の関数VAD(T)はより正確に発話区間を示す。
【００５７】
発話区間切り出し部１４５は、フロアリング処理の前に、発話区間推測部１４０から取得した発話区間情報VAD(T)に従って、離散フーリエ変換部１０５ａおよび１０５ｂからの出力S1,T(ω)、S2,T(ω)の少なくとも一方に基づくパワースペクトルから発話区間を切り出して、これをFω(T)として出力する。
【００５８】
より具体的には、発話区間切り出し部１４５は、VAD(T)=1の区間に対しては、雑音除去部１２５から受け取ったパワースペクトルYω(T)をそのまま出力し、一方VAD(T)=0の区間に対しては、パワースペクトルYω(T)に、非常に小さい定数εを乗じた値を出力する。かかる処理は次式により表される。
【数１１】
2011113044.tif 000013
【００５９】
本実施形態における発話区間切り出し処理と、第１実施形態における利得調整処理は、どちらも目的話者の音声のみを出力するための処理であるが特性が異なる。本実施形態における発話区間切り出し処理は、目的話者の発話区間をおおまかに推定し、それ以外の区間は出力を抑制する。そのため目的話者の非発話区間での対向話者の音声の漏れを少なくすることができ、目的話者と対向話者とが交互に発声するような状況に適している。反面、目的話者の発話区間内に関しては何ら制御が行われないので、目的話者と対向話者の発話が重なり合うような状況には適していない。
【００６０】
一方、第１実施形態における利得調整処理は、時間軸方向に鋭敏な変化を示すので、目的話者の発話中のショートポーズ（短い無声区間）において対向話者の発生が優勢となる現象を抑えることができる。そのため、目的話者と対向話者の発話が重なり合うような状況でも効果を発揮することができる。反面、目的話者の非発話区間での対向話者の音声の漏れを完全になくすことはできない。そこで、両処理の特性を活かしつつ互いの欠点をカバーすべく、発話区間切り出し処理と利得調整処理とを併用することが考えられる。そこでこのような構成を採用する第３実施形態に係る目的音声抽出部１００ｃを以下に説明する。
【００６１】
(第３実施形態）図４は、本発明の第３実施形態に係る目的音声抽出部１００ｃの機能構成を示す。上述したように、第３実施形態に係る目的音声抽出部１００ｃは、第１実施形態における利得調整部１３０と、第２実施形態における発話区間推測部１４０および発話区間切り出し部１４５との両方の構成要素を有し、第１実施形態に係る目的音声抽出部１００ａと第２実施形態に係る目的音声抽出部１００ｂとを統合したものとなっている。従って、個々の要素については既に説明済みであるため、ここではその要素間の接続関係について説明する。
【００６２】
図４を見ると分かるように、発話区間推測部１４０の処理は、ビームフォーマ処理部１１５から利得調整部１３０までの処理と平行して行なわれる。そして、発話区間切り出し処理は、利得調整部処理の後に行われ、発話区間切り出し部１４５は、利得調整部１３０からパワースペクトルDω(T)を入力として受け取り、発話区間推測部１４０から取得したVAD(T)に従って、パワースペクトルDω(T)から発話区間を切り出して、これをFω(T)として出力する。発話区間切り出し部１４５の出力Fω(T)は、フロアリング処理部１３５の入力となる。
【００６３】
このように、第３実施形態に係る目的音声抽出部１００ｃでは利得処理と発話区間切り出し処理の両方が行われるので、第３実施形態に係る目的音声抽出部１００ｃは、目的話者と対向話者とが交互に発声するような状況と、目的話者と対向話者の発話が重なり合うような状況のどちらにおいても、目的音声以外の音声の混入を適切に抑制して目的音声を抽出することができる。
【００６４】
(第４実施形態）図５は、本発明の第４実施形態に係る目的音声抽出部１００ｄの機能構成を示す。第４実施形態に係る目的音声抽出部１００ｄは、バイナリマスク算出部１５０とバイナリマスク適用部１５５を新たに含む点を除いて、基本的に、第３実施形態に係る目的音声抽出部１００ｃと同じ構成である。そこで以下では、バイナリマスク算出部１５０とバイナリマスク適用部１５５について説明をする。
【００６５】
なお、第４実施形態においては、図９に示すように、第１の音声入力器であるマイクロフォン１と第２の音声入力器であるマイクロフォン２とが設置された平面において、マイクロフォン１とマイクロフォン２とを結ぶ線分に垂直な線分９００によって分けられる半面のうち目的話者が位置する半面を右半面とすると、対向話者は左半面に位置するものとする。即ち、目的話者と対向話者は、２つのマイクロフォンに対し左右の半面にそれぞれ位置するものとする。
【００６６】
そこで本発明の第４実施形態に係る目的音声抽出部１００ｄは、目的話者と対向話者は２つのマイクロフォンに対し左右の半面にそれぞれ位置するという事前知識を利用して、次のようなバイナリマスクを算出し、これを目的音声以外の音声の除去に利用する。即ち、第４実施形態に係る目的音声抽出部１００ｄは、図９に示すように周波数binごとの音声到来方向を検出し、音声到来方向が、目的話者が位置する半面（図９では右半面）を指す周波数binについては、音声を通過させ、それ以外の周波数binについては、音声を通過させないバイナリマスクを算出する。
【００６７】
ここで周波数binごとの音声到来方向は、２つのマイクロフォン１と２の観測信号S1(t)、S2(t)の相関R T(ω)の移動平均の位相θT(ω)として、次式により得られる。
【数１２】
2011113044.tif 000014
式中、S1,T(ω)、S2,T(ω)はそれぞれ、S1(t)、S2(t)を離散フーリエ変換したものである。
【００６８】
ところで本願発明者等は、非自明にも、ある周波数を越えると、式１２より得られる位相θT(ω)が音声到来方向を正しく示すことができなくなることに気付いた。そこで、本願発明者等は更に研究を進め、そのような上限の周波数の周波数bin番号を突き止めることを試み、成功した。そこで以下ではまず、バイナリマスクを適用可能な上限の周波数binの算出方法について説明する。なお、このような音声の到来方向を利用したバイナリマスクは非特許文献２に開示されているが、非特許文献２では全周波数帯域が対象とされるので、マイクロフォンの間隔を広くできず、サンプリング周波数も高くできないという制限があった。また、目的話者と対向話者の位置に関する事前知識が利用されないため、話者位置のクラスタリングも必要であった。
【００６９】
図１０は、R T(ω)バーの離散フーリエ逆変換を、２つの周波数 binの成分について表したものである。ここでω2はω1よりわずかに高い周波数であり、ω1は、音源が最左位置にあるとき、期待する位相差θT(ω)が−πになる周波数とする。音源が最左位置にある時ω1よりわずかに高い周波数のω2が報告する位相差θT(ω)は、期待される−πではなく、＋πよりわずかに小さな正の値となる。すなわち、周波数ω2では右半面から音声が到来していると判定されてしまう。したがって、ω2は、音源到来方向を利用したバイナリマスクの適用限界を超えているということになり、ω1が、上限周波数であった、ということになる。
【００７０】
次にθT(ω)＝−πとなる周波数を求める。音源が最左位置にあるとき、dだけ離れた２つのマイクロフォンが観測する音波の到来時間差Δtは次式により求められる。
【数１３】
2011113044.tif 000015
この到来時間差がちょうど位相差−πとなる音波の周波数をfmとすると、次式が成立する。
【数１４】
2011113044.tif 000016
【００７１】
この周波数fmを次式に示すようにbin番号に変換すると、バイナリマスクを適用可能な上限周波数のbin番号、ωmが得られる。
【数１５】
2011113044.tif 000017
式中、Nは、離散フーリエ変換の幅（標本点数）であり、Fsはサンプリング周波数である。
第４実施形態に係る目的音声抽出部１００ｄのバイナリマスク算出部１５０は、上式により求められる上限周波数のbin番号であるωmを用いて、バイナリマスクを算出する。
【００７２】
即ち、バイナリマスク算出部１５０は、離散フーリエ変換部１０５ａおよび１０５ｂからの出力S1,T(ω)、S2,T(ω)を入力として受け取り、S1,T(ω)とS2,T(ω)の相関の移動平均の位相が音声到来方向を正しく示すことのできる上限の周波数の周波数bin番号を求めて、上限の周波数の周波数bin番号より大きな周波数bin番号と、上記位相が、目的話者が位置する半面（ここでは右半面）を音声到来方向として示す場合の複数の周波数bin番号とに対してのみ音声を通過させるバイナリマスクBMT(ω)を算出する。
【００７３】
バイナリマスク算出部１５０が求めるバイナリマスクBMT(ω)は次式により与えられる。
【数１６】
2011113044.tif 000018
式中、γは安全率であり、1.0を上限とする。なお後述する実験ではγとして0.75を使用している。また、式１６は、目的話者が正の位相をとる半面に位置している場合のバイナリマスクであり、目的話者が負の位相をとる半面に位置している場合には位相差θT(ω)>0の条件は、位相差θT(ω)<0となる。
【００７４】
バイナリマスク適用部１５５は、利得調整部１３０からの出力、即ち、パワースペクトルDω(T)を入力として受け取り、パワースペクトルDω(T)に対し、バイナリマスク算出部１５０から取得したバイナリマスクを適用し、これをEω(T)として出力する。バイナリマスク適用部１５５による処理は次式により示される。  
【数１７】
2011113044.tif 000019
ここで、εは非常に小さい定数である。バイナリマスク適用部１５５の出力は、発話区間切り出し部１４５の入力となる。なお、図５には、利得調整部１３０、発話区間推測部１４０および発話区間切り出し部１４５の各要素が示されているが、これらはオプションとして各要素の処理をスキップすることも可能であることはいうまでもない。
【００７５】
次に図１１を参照して、本発明の第４実施形態に係る目的音声抽出部１００ｄによる目的音声抽出処理の流れを説明する。なお、本発明の第１実施形態から第３実施形態に係る目的音声抽出部１００の各フローチャートは、図１１において、いくつかの処理をスキップしたものとして表されることに留意されたい。処理はステップ５から開始し、目的音声抽出部１００ｄは所定の距離d離して配置されたマイクロフォン１および２を介して音声信号S1(t)、S2(t)を取得する。次に目的音声抽出部１００ｄの離散フーリエ変換部１０５ａ、ｂは、マイクロフォン１および２を介して取得された音声信号S1(t)、S2(t)をそれぞれ離散フーリエ変換して複素スペクトルS1,T(ω)、S2,T(ω)を算出する。（ステップ１０）。
【００７６】
続いて目的音声抽出部１００ｄの角度指標算出部１０７は、複素スペクトルS1,T(ω)、S2,T(ω)を入力として受け取り、CSP法による音波到来方向（DOA: Direction Of Arrival）算出法を利用して目的話者の位置（音源）i1と対向話者の位置（音源）i2とを算出する（ステップ１５）。目的音声抽出部１００ｄのビームフォーマ処理部１１５は、複素スペクトルS1,T(ω)、S2,T(ω)を入力として受け取り、i1情報に基づいて、S1,T(ω)、S2,T(ω)に対しビームフォーマ処理を行い、パワースペクトルXω(T)を出力する（ステップ２０）。  
【００７７】
続いて目的音声抽出部１００ｄの雑音推定部１２０は、目的話者の非発話区間でノイズのパワースペクトルＵωを推定し、目的音声抽出部１００ｄの雑音除去部１２５は、パワースペクトルXω(T)を入力として受け取り、雑音推定部１２０により推定された雑音のパワースペクトルＵωを用いて定常雑音の除去処理を行い、パワースペクトルYω(T)を出力する（ステップ２５）。
【００７８】
一方、目的音声抽出部１００ｄのWeighted CSP係数算出部１１０は、ステップ２０、２５の処理と平行して、複素スペクトルS1,T(ω)、S2,T(ω)とi1情報とを入力として受け取り、S1,T(ω)、S2,T(ω)から、式５および６により表される重み係数W(ω)を用いてWeighted CSP係数φ2T(i) の移動平均を算出する。そして、i1情報に基づいて、Weighted CSP係数の移動平均φ2T (i1)バーを算出する（ステップ３０）。
【００７９】
ステップ２５から処理はステップ３５へ進み、目的音声抽出部１００ｄの利得調整部１３０は、パワースペクトルYω(T)に、Weighted CSP係数の移動平均φ2T (i1)バーを乗ずることにより、目的話者の音声のみを出力する制御を行い、これをDω(T)として出力する。
【００８０】
一方、目的音声抽出部１００ｄのバイナリマスク算出部１５０は、ステップ１５から３０の処理と平行して、複素スペクトルS1,T(ω)、S2,T(ω)を入力として受け取り、S1,T(ω)とS2,T(ω)の相関の移動平均の位相θT(ω)が、目的話者が位置する半面を音声到来方向として示す場合の複数の周波数bin番号と、バイナリマスクを適用可能な上限の周波数bin番号よりも大きい周波数bin番号とに対してのみ、音声を通過させるバイナリマスクBMT(ω)を算出する（ステップ４０）。
【００８１】
ステップ３５から処理はステップ４５へ進み、目的音声抽出部１００ｄのバイナリマスク適用部１５５は、パワースペクトルDω(T)を入力として受け取り、パワースペクトルDω(T)に対しバイナリマスクBMT(ω)を適用し、これをE ω(T)として出力する。
【００８２】
一方、目的音声抽出部１００ｄの発話区間推測部１４０は、ステップ３５および４５の処理と平行して、Weighted CSP係数の移動平均φ2T(i1) バーを用いて、目的音声についての発話区間を推測し、発話区間情報VAD(T)を出力する（ステップ５０）。ステップ４５から処理はステップ５５へ進み、目的音声抽出部１００ｄの発話区間切り出し部１４５は、発話区間情報VAD(T)に従って、パワースペクトルEω(T)から発話区間を切り出して、これをFω(T)として出力する。
【００８３】
最後に目的音声抽出部１００ｄのロアリング処理部１３５は、パワースペクトルFω(T)を入力として受け取り、パワースペクトルFωT)に対しフロアリング処理を行い、これをZω(T)として出力する（ステップ６０）。そして処理は終了する。
【００８４】
次に図１２を参照して、本発明が提案する目的音声の抽出方法を利用した音声認識の評価実験を基に、本発明の有効性を証明する。図１２に示す実験結果の実験の条件を以下にリストする。
（実験条件）
場所：静かな小会議室
形態：対面（同時発声を含む）
マイク：指向性マイク２個を、２話者の中間地点に12.5cm間隔にて設置
タスク：旅行会話タスク（ディクテーション）
サンプリング周波数：22.5kHz 
評価発話数：100発話（目的話者の発話数）
なお、オリジナルの収録音声は、 ２人の話者が交互に発声する形式であったが、波形編集処理により、片方の話者の音声をもう一方の話者の音声に人工的に重畳することにより、同時発声の実験音声を作成した。
【００８５】
図１２に示すように、実験により、目的音声抽出部の４種類の構成Ａ〜Ｄのそれぞれについて、利得調整処理かつ発話区間切り出し処理（「CPS利用＝利得調整＋区間切り出し」）、利得調整処理（「CPS利用＝利得調整のみ」）、および発話区間切り出し処理（「CPS利用＝区間切り出しのみ」）を行った場合の３種類の音声認識結果を得た。ここで構成Ａはベースとなる従来の構成であり、左右どちらかのマイクロフォン（目的話者に近い方）の収録信号をそのまま使う構成である。構成Ｂは、重み付けを行わないCSP係数を利用した、AFE(ASR Front-end for speech Enhancement )従来法の構成である。構成Ｃは、上述した重み付けを行うCSP係数を利用した第１〜第３実施形態に係る目的音声抽出部の構成である。構成Ｄは、上述した重み付けを行うCSP係数を利用した第４実施形態に係る目的音声抽出部の構成である。
【００８６】
図１２を見ると、Weighted CSP係数の導入による効果は、Weighted CSP係数を利得調整処理に用いた場合に顕著に現れることが分かる（図１２の真ん中の「CSP利用＝利得調整のみ」の構成Ｂと構成Ｃを参照）。また、バイナリマスク適用の効果は、どのＣＳＰ利用の形態でも顕著に追加の効果を示している。なお、図１２には示していないが、利得調整処理や発話区間の切り出し処理を行わず、バイナリマスク適用処理のみを行った場合、文字誤り率は27.3%であり、ベースの構成Ａにおける文字誤り率92.6%と比較して、三分の一以下まで減らすことができた。以上のように、本発明の目的音声抽出処理は、音声認識の誤り率を効果的に削減できる。
【００８７】
なお、図１３は、図１２と同じ条件で得られた、目的話者の位置でのWeightedCSP係数と、重みなしのCSP係数の履歴を示すグラフである。図中示された発話は、対向話者の発話である。目的話者の位置でのWeighted CSP係数は、対向話者の発声時にゼロ近くまで下がっており、対向話者の発話の漏れを効率的に防いでいることが分かる。
【００８８】
図１４は、本発明の一実施形態に係る、目的音声抽出装置のハードウェア構成を示す図である。図１４においては、目的音声抽出装置を情報処理装置１０００とし、そのハードウェア構成を例示する。以下は、コンピュータを典型とする情報処理装置として全般的な構成を説明するが、その環境に応じて必要最小限な構成を選択できることはいうまでもない。
【００８９】
情報処理装置１００は、ＣＰＵ１０１０、バスライン１００５、通信Ｉ／Ｆ１０４０、メインメモリ１０５０、ＢＩＯＳ１０６０、パラレルポート１０８０、ＵＳＢポート１０９０、グラフィック・コントロール１０２０、ＶＲＡＭ１０２４、音声プロセッサ１０３０、Ｉ／Ｏコントローラ１０７０、並びにキーボードおよびマウス・アダプタ１１００等の入力手段を備える。Ｉ／Ｏコントローラ１０７０には、フレキシブル・ディスク（ＦＤ）ドライブ１０７２、ハードディスク１０７４、光ディスク・ドライブ１０７６、半導体メモリ１０７８等の記憶手段を接続することができる。
【００９０】
音声プロセッサ１０３０には、マイクロフォン１０３６および１０３７、増幅回路１０３２、およびスピーカ１０３４が接続される。また、グラフィック・コントローラ１０２０には、表示装置１０２２が接続されている。
【００９１】
ＢＩＯＳ１０６０には、情報処理装置１０００の起動時にＣＰＵ１０１０が実行するブートプログラムや、情報処理装置１０００のハードウェアに依存するプログラム等を格納する。ＦＤ（フレキシブル・ディスク）ドライブ１０７２は、フレキシブル・ディスク１０７１からプログラムまたはデータを読み取り、Ｉ／Ｏコントローラ１０７０を介してメインメモリ１０５０またはハードディスクに提供する。図１４には、情報処理装置１０００の内部にハードディスク１０７４が含まれる例を示したが、バスライン１００５またはＩ／Ｏコントローラ１０７０に外部機器接続用インタフェース（図示せず）を接続詞、情報処理装置１０００の外部にハードディスクを接続または増設してもよい。
【００９２】
光ディスク・ドライブ１０７６としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＣＤ−ＲＡＭドライブを使用することができる。この際は各ドライブに対応した光ディスク１０７７を使用する必要がある。光ディスク・ドライブ１０７６は光ディスク１０７７からプログラムまたはデータを読み取り、Ｉ／Ｏコントローラ１０７０を介してメインメモリ１０５０またはハードディスク１０７４に提供することもできる。
【００９３】
情報処理装置１０００に提供されるコンピュータ・プログラムは、フレキシブル・ディスク１０７１、光ディスク１０７７、またはメモリカード等の記録媒体に格納されて利用者によって提供される。このコンピュータ・プログラムは、Ｉ／Ｏコントローラ１０７０を介して記録媒体から読み出され、または通信Ｉ／Ｆ１０４０を介してダウンロードされることによって、情報処理装置１０００にインストールされ実行される。コンピュータ・プログラムが情報処理装置に働きかけて行わせる動作は、既に説明した目的音声抽出部１００の動作と同一であるので省略する。
【００９４】
前述のコンピュータ・プログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としてはフレキシブル・ディスク１０７１、光ディスク１０７７、またはメモリカードのほかに、ＭＤ等の光磁気記録媒体、テープ媒体を用いることができる。また、専用通信回線やインターネットに接続されたサーバシステムに設けたハードディスクまたは光ディスク・ライブラリ等の記憶装置を記録媒体として使用し、通信回線を介してコンピュータ・プログラムを情報処理装置１０００に提供してもよい。
【００９５】
以上の例は、情報処理装置１０００にういて主に説明したが、コンピュータに、情報処理装置で説明した機能を有するプログラムをインストールして、そのコンピュータを情報処理装置として動作させることにより、上記で説明した情報処理装置と同様の機能を実現することができる。
【００９６】
本装置は、ハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせとして実現可能である。ハードウェアとソフトウェアの組み合わせによる実施では、所定のプログラムを有するコンピュータシステムでの実施が典型的な例として挙げられる。かかる場合、該所定のプログラムが該コンピュータシステムにロードされ実行されることにより、該プログラムは、コンピュータシステムに本発明にかかる処理を実行させる。このプログラムは、任意の言語、コード、または表記によって表現可能な命令群から構成される。そのような命令群は、システムが特定の機能を直接実行すること、または（１）他の言語、コード、または表記への変換、（２）他の媒体への複製、のいずれか一方もしくは双方が行われた後に実行することを可能にするものである。もちろん、本発明は、そのようなプログラム自体のみならず、プログラムを記録した媒体を含むプログラム製品もその範囲に含むものである。本発明の機能を実行するためのプログラムは、フレキシブル・ディスク、ＭＯ、ＣＤ−ＲＯＭ，ＤＶＤ，ハードディスク装置、ＲＯＭ、ＭＲＡＭ，ＲＡＭ等の任意のコンピュータ可読媒体に格納することができる。かかるプログラムは、コンピュータ可読媒体への格納のために、通信回線で接続する他のコンピュータシステムからダウンロードしたり、他の媒体から複製したりすることができる。また、かかるプログラムは圧縮し、また複数に分割して、単一または複数の記録媒体に格納することもできる。
【００９７】
以上、実施形態を用いて本発明の説明をしたが、本発明の技術範囲は上記実施形態に記載の範囲には限定されない。上記の実施形態に、種々の変更または改良を加えることが可能であることが当業者に明らかである。従って、そのような変更または改良を加えた形態も当然に本発明の技術的範囲に含まれる。
【図１】
2011113044.tif 000020
【図２】
2011113044.tif 000021
【図３】
2011113044.tif 000022
【図４】
2011113044.tif 000023
【図５】
2011113044.tif 000024
【図６】
2011113044.tif 000025
【図７】
2011113044.tif 000026
【図８】
2011113044.tif 000027
【図９】
2011113044.tif 000028
【図１０】
2011113044.tif 000029
【図１１】
2011113044.tif 000030
【図１２】
2011113044.tif 000031
【図１３】
2011113044.tif 000032
【図１４】
2011113044.tif 000033