(57)【要約】【課題】観測された混合信号(複数の音源信号)から正面方向に存在するターゲット音源信号を抽出する音声強調処理システムを提供する。【解決手段】複数の音源から発生される音響信号を左右両受信部から入力する信号収音手段101と、入力した左右２入力信号を周波数帯域ごとに分割して左右２入力信号の周波数帯域成分を求める信号変換手段102と、前記周波数帯域成分から求めたコヒーレンス成分と前記周波数帯域成分から求めた両耳間レベル差(ILD)とを用いてターゲット音源を同定する音源同定手段103と、前記周波数帯域成分からノイズ源を同定するノイズ源同定手段104と、前記音源同定手段で求めたターゲット音源と、前記ノイズ源同定手段で求めたノイズ源とに基づき、周波数帯域毎にターゲット音源を抽出する音源抽出手段105とを備え、従来の手法以上にターゲット音源を良好に分離・強調することを可能にする。【選択図】図１
2008135933.tif 000002
【特許請求の範囲】
【請求項１】
観測された混合信号から正面方向に存在するターゲット音源信号を抽出する音声強調処理システムであって、複数の音源から発生される音響信号を左右両受信部から入力する信号収音手段と、入力した左右２入力信号を周波数帯域毎に分割して左右２入力信号の周波数帯域成分を求める信号変換手段と、前記周波数帯域成分から求めたコヒーレンス成分と前記周波数帯域成分から求めた両耳間レベル差(ILD) とに基づき、ターゲット音源を同定する音源同定手段と、前記周波数帯域成分からノイズ源を同定するノイズ源同定手段と、前記音源同定手段で求めたターゲット音源と前記ノイズ源同定手段で求めたノイズ源とに基づき、周波数帯域毎にターゲット音源を抽出する音源抽出手段と、を備えたことを特徴とする音声強調処理システム。
【請求項２】
前記音源同定手段は、前記周波数帯域成分からコヒーレンス関数を用いてコヒーレンス成分の実数部(RealCoh)を求める手段と、前記周波数帯域成分から両耳間の音圧レベル差(ILD)を求める手段と、周波数帯域毎のRealCoh値とILD値とに基づき予め設定された条件式を用いて周波数帯域毎のターゲット音源の有無(SAPCohILD)を導出する手段とを備えたことを特徴とする請求項１に記載の音声強調処理システム。
【請求項３】
前記ノイズ源同定手段は、前記周波数帯域成分から周波数帯域毎のノイズ比を算出し、その値と予め設定された指標値とを比較することにより周波数帯域毎のノイズ源の有無(SAPNOR)を導出する手段とを備えたことを特徴とする請求項１に記載の音声強調処理システム。
【請求項４】
前記音源抽出手段は、前記音源同定手段で求めた周波数帯域毎のSAPCohILD値と、前記ノイズ源同定手段で求めたSAPNOR値とに基づき周波数帯域毎のターゲット音源の有無(SAPSNR)を導出することにより周波数帯域毎にターゲット音源を抽出する手段を備えたことを特徴とする請求項１に記載の音声強調処理システム。
【請求項５】
前記音源抽出手段は、周波数帯域毎のS/N比を算出して、その値と予め設定された指標値とを比較することにより周波数帯域毎のターゲット音源の有無(SAPSNR)を導出することにより周波数帯域毎にターゲット音源を抽出する手段を備えたことを特徴とする請求項１に記載の音声強調処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観測された混合信号（複数の音源）から正面方向に存在するターゲット音源信号を抽出する技術に関するものである。
【背景技術】
【０００２】
近年、独立成分分析（ICA: Independent Component Analysis）に基づく音源分離法として、ブラインド音源分離（BBS: Blind Source Separation）や適応型ビームフォーマ（ABF: Adaptive Beamformer）などの手法が研究されている。
【０００３】
また広周波数帯域での音源分離を行う両耳聴モデルとして、両耳間レベル差および両耳間位相差を用いた周波数領域両耳聴モデル(FDBM:Frequency Domain Binaural Model)が提案されている。このFDBMは、低周波数領域の信号に対しては、両耳間位相差を用い、高周波数領域の信号に対しては、両耳間レベル差を用いることによって音源の到来方向を推定する。得られた推定結果に基づき、特定方向の音源のみをフィルタリングにより分離するため、広周波数帯域での音源方向の推定精度が改善され、また分離性能が改善されている。しかしながら、この方法における音源方向の推定は、仰角が０°、すなわち水平面について推定するものであり、仰角がある音源方向を判定しようとすると、両耳間の位相差、レベル差が等しい点がいくつか空間上に存在するため、方向の推定は出来ないという問題が残っていた。
【０００４】
特許文献１では、この問題を解決するために、上下に存在する複数の音源から特定の音響信号を分離するシステムを提示している。このシステムは、複数の音源から発生される音響信号を左右両受音部から入力する手段と、左右両入力信号を周波数帯域ごとに分割する手段と、左右両入力信号のクロススペクトルから周波数帯域ごとの両耳間位相差(IPD)、パワースペクトルのレベル差から両耳間レベル差(ILD)を求める手段と、全周波数帯域で、IPD及び／またはILDと、データベースのそれとを比較することにより各周波数帯域ごとに音源方向の候補を推定する手段と、上記の各周波数帯域ごとに得られた音源方向のうち出現頻度が高い方向を音源方向と推定する手段と、上記より推定された音源方向情報をもとに、特定音源方向の周波数帯域を主として抽出することにより音源を分離する手段とを備え、２入力システムにより複数の音源から特定の音響信号を分離することが可能となり、さらに方位角と仰角を有する音源を分離することが可能としている。
【０００５】
【特許文献１】特開２００４−３２５２８４
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の方法では、特に反射音が存在する環境や、周囲に非定常/定常騒音源が多数あるような環境では、音源分離の精度が向上しないという問題点がある。
【０００７】
本発明は、２入力を用いて抽出したい音源と抑制したいノイズ源を同定し、時間−周波数平面上で両者のS/N比を比較して抽出音源を強調することで、ターゲット音源を良好に分離・強調するシステムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、請求項１に記載の音声強調処理システムは、観測された混合信号から正面方向に存在するターゲット音源信号を抽出する音声強調処理システムであって、複数の音源から発生される音響信号を左右両受信部から入力する信号収音手段と、入力した左右２入力信号を周波数帯域毎に分割して左右２入力信号の周波数帯域成分を求める信号変換手段と、前記周波数帯域成分から求めたコヒーレンス成分と前記周波数帯域成分から求めた両耳間レベル差(ILD) とに基づき、ターゲット音源を同定する音源同定手段と、前記周波数帯域成分からノイズ源を同定するノイズ源同定手段と、前記音源同定手段で求めたターゲット音源と、前記ノイズ源同定手段で求めたノイズ源とに基づき、周波数帯域毎にターゲット音源を抽出する音源抽出手段と、を備えたことを特徴とする。
【０００９】
請求項２に記載の音声強調処理システムは、前記音源同定手段が、前記周波数帯域成分からコヒーレンス関数を用いてコヒーレンス成分の実数部(RealCoh)を求める手段と、前記周波数帯域成分から両耳間の音圧レベル差(ILD)を求める手段と、周波数帯域毎のRealCoh値とILD値とに基づき予め設定された条件式を用いて周波数帯域毎のターゲット音源の有無(SAPCohILD)を導出する手段とを備えたことを特徴とする。
【００１０】
請求項３に記載の音声強調処理システムは、前記周波数帯域成分から周波数帯域毎のノイズ比を算出し、その値と予め設定された指標値とを比較することにより周波数帯域毎のノイズ源の有無(SAPNOR)を導出する手段とを備えたことを特徴とする。
【００１１】
請求項４に記載の音声強調処理システムは、前記音源同定手段で求めた周波数帯域毎のSAPCohILD値と、前記ノイズ源同定手段で求めたSAPNOR値とに基づき周波数帯域毎のターゲット音源の有無(SAPSNR)を導出することにより周波数帯域毎にターゲット音源を抽出する手段を備えたことを特徴とする。
【００１２】
請求項５に記載の音声強調処理システムは、前記音源抽出手段が、周波数帯域毎のS/N比を算出して、その値と予め設定された指標値とを比較することにより周波数帯域毎のターゲット音源の有無(SAPSNR)を導出することにより周波数帯域毎にターゲット音源を抽出する手段を備えたことを特徴とする。
【発明の効果】
【００１３】
請求項１に係る発明によれば、左右２入力信号間の周波数帯域成分からコヒーレンス成分の実数部(RealCoh)と両耳間レベル差(ILD)とを求めてターゲット音源を同定するとともに、左右２入力信号間の周波数帯域成分からノイズ源を同定することで、周波数帯域毎に正面方向のターゲット音源を同定することができ、従来の手法以上にターゲット音源を良好に分離・強調することが可能になる。特に、反射音が存在するような環境においても効果がある。
【００１４】
請求項２に係る発明によれば、周波数帯域毎にターゲット音源の有無を同定することが可能になる。
【００１５】
請求項３に係る発明によれば、周波数帯域毎にノイズ源の有無を同定することが可能になる。
【００１６】
請求項４または請求項５に係る発明によれば、音源同定手段で求めたターゲット音源と、ノイズ源同定手段で求めたノイズ源とに基づき、周波数帯域毎にターゲット音源を抽出することで、従来の手法以上にターゲット音源を良好に分離・強調することが可能になる。
【発明を実施するための最良の形態】
【００１７】
次に、本発明の実施の形態に係る音声強調処理システムについて図面に基づいて説明する。なお、この実施の形態により本発明が限定されるものではない。
【００１８】
図１は、本発明の実施の形態に係る音声強調処理システムの構成を示す図である。図１に示すように、音声強調処理システムは、観測された混合信号から正面方向に存在するターゲット音源信号を抽出する音声強調処理システムであって、複数の音源から発生される音響信号を左右両受信部から入力する信号収音手段11と、入力した左右２入力信号を周波数帯域毎に分割して左右２入力信号の周波数帯域成分を求める信号変換手段12と、前記周波数帯域成分から求めたコヒーレンス成分と前記周波数帯域成分から求めた両耳間レベル差(ILD)とを用いてターゲット音源を同定する音源同定手段13と、前記周波数帯域成分からノイズ源を同定するノイズ源同定手段14と、前記音源同定手段で求めたターゲット音源と、前記ノイズ源同定手段で求めたノイズ源とに基づき、周波数帯域毎にターゲット音源を抽出する音源抽出手段15と、を備えている。
【００１９】
信号収音手段11は、複数の音源から発生される音響空間において、左右両受信部からターゲット音源Sとノイズ源Ni（ i：ノイズ源の個数）とが混合された音響信号を受信する。
【００２０】
信号変換手段12は、信号収音手段11で入力した左右２入力信号をそれぞれFFT(Fast Fourier Transform)を用いて周波数帯域毎に分割して左右２入力信号の周波数帯域成分を求める。
【００２１】
音源同定手段13は、信号変換手段12で求めた周波数帯域成分からコヒーレンス関数( coherence function )を用いてコヒーレンス成分の実数部(RealCoh)を求める手段Aと、前記周波数帯域成分から両耳間の音圧レベル差(ILD)を求める手段Bと、周波数帯域毎のRealCoh値とILD値とに基づき予め設定された条件式を用いて周波数帯域毎のターゲット音源の有無(SAPCohILD)を導出する手段Cとを有する。
【００２２】
手段Aでは、コヒーレンス関数は式(1)で定義され、その実数部は式(2)で求められる。ここで、XLは左側入力信号の周波数帯域成分、XRは右側入力信号の周波数帯域成分、XR *はXRの共役複素数、kは周波数、lは時間を表す。
2008135933.tif 000003
2008135933.tif 000004
【００２３】
図２は、実験により全ての周波数帯域で得られたコヒーレンス関数の実数部(RealCoh)を平均化して表したものである。この実験結果から、実数部(RealCoh)は、正面方向からの信号に対しては大きな値（例えばRealCoh ≧0.9）となり、その他の方向からの信号に対しては小さな値（例えばRealCoh ≦0.2）となることがわかる。したがって、この実数部(RealCoh)を用いて、正面方向のターゲット音源と、その他の方向のノイズ源とを分別できることが導き出される。
【００２４】
しかしながら、この実数部(RealCoh)には周期性があり、正面方向以外の信号についても周波数によっては大きな値を有する場合がある。図３に、実験により全ての周波数帯域で得られたコヒーレンス関数の実数部(RealCoh)を表したものを示す。したがって、手段Aだけを用いて、全ての周波数帯域で正面方向のターゲット音源を抽出できるとは限らないことがわかる。
【００２５】
次に手段Bについて説明する。手段Bでは、左側入力信号の周波数帯域成分XLおよび右側入力信号の周波数帯域成分XRが式(3)で定義され、これを用いて両耳間の音圧レベル差(ILD)を求める。音圧レベル差(ILD)は式(4)で求められる。ここで、HLは音源から左耳までの伝達関数、HRは音源から右耳までの伝達関数、Sは音源を表す。
2008135933.tif 000005
2008135933.tif 000006
【００２６】
数式(4)から、両耳間の音圧レベル差(ILD)は、全ての周波数帯域において、正面方向からの信号に対して小さな値となり、その他の方向からの信号に対して大きな値となることが導き出される。
【００２７】
次に手段Cについて説明する。手段Cでは、手段Aで求めた周波数帯域毎のRealCoh値と、手段B で求めた周波数帯域毎のILD値とに基づき、予め設定された条件式を用いて周波数帯域毎のターゲット音源の有無(SAPCohILD)を導出する。SAPCohILD値は式(5)’により求められる。SAPCohILD値を用いて式(5)により周波数帯域毎にターゲット音源SL 、SRを求める。ここで、SLは左側入力信号の周波数帯域成分XLから求めるものであり、SRは右側入力信号の周波数帯域成分XRから求めるものである。
2008135933.tif 000007
2008135933.tif 000008
【００２８】
式(5)’において、T1 、T2 、P1 、P2 は予め設定された閾値である。式(5)’から、RealCoh値が閾値T1より大きく、且つILD値が閾値P1より小さい場合は、SAPCohILD値が１に設定され、RealCoh値が閾値T2より小さく、且つILD値が閾値P2より大きい場合は、SAPCohILD値が0に設定され、その他の場合は補完処理が行われ、SAPCohILD値として0と1の間の数値が設定される（例えば、0.2 or 0.5 or 0.8）。
【００２９】
次にノイズ源同定手段14について説明する。ノイズ源同定手段14は、信号変換手段12で求めた周波数帯域成分から周波数帯域毎のノイズ比率を算出し、その値と予め設定された指標値とを比較することにより周波数帯域毎のノイズ源の有無(SAPNOR)を導出する。
ここで、ノイズ比率を算出には従来の手法を用いる。従来の手法として、遅延和アレイを用いる手法やRoman’s Algorithmなどがある。
【００３０】
遅延和アレイを用いる手法は、マイクロホンの受信信号に適切な遅延を与えることで目的音成分を同相化（位相を揃えること）して目的音を強調する手法であり、ノイズ源同定手段14では、正面方向の音源を抽出するため、遅延が0の条件で左側入力信号の周波数帯域成分XLと右側入力信号の周波数帯域成分XRとの差分Ｚ( = XL−XR)を算出し、式(6)によりノイズ比率OIR(w,t)を求める。ここでY1にはXLまたはXRを用いる。
2008135933.tif 000009
【００３１】
またRoman’s Algorithmについて、図４にそのアルゴリズムを示す。この手法では、適応フィルタWを用いて、式(6)によりノイズ比率OIR(w,t)を求める。
【００３２】
式(6)により求めたノイズ比率OIR(w,t)と予め設定された指標値とを比較することにより周波数帯域毎のノイズ源の有無(SAPNOR)を導出する。指標値として−6dBを設定した場合の例を式(7)に示す。
2008135933.tif 000010
【００３３】
式(7)から、ノイズ比率OIR(w,t)が-6dBより大きい場合にはSAPNOR値が0に設定され、その他の場合はSAPNOR値が1に設定される。
【００３４】
次に音源抽出手段15について説明する。音源抽出手段15は、周波数帯域毎のSAPCohILD値とSAPNOR値とに基づき周波数帯域毎のターゲット音源の有無(SAPSNR)を導出することにより周波数帯域毎にターゲット音源を抽出する手段Dと、周波数帯域毎のS/N比を算出して、その値と予め設定された指標値とを比較することにより周波数帯域毎のターゲット音源の有無(SAPSNR)を導出することにより周波数帯域毎にターゲット音源を抽出する手段Eとを有する。
【００３５】
手段Dでは、音源同定手段13で求めた周波数帯域毎のSAPCohILD値と、ノイズ源同定手段14で求めた周波数帯域毎のSAPNOR値とを比較し、周波数帯域毎にターゲット音源の有無(SAPSNR)を導出する。ここでは、
・“SAPCohILD値 = 1” and “SAPNOR値 = 0” の場合、SAPSNR値 = 1 
・“SAPCohILD値 = 0” and “SAPNOR値 = 1” の場合、SAPSNR値 = 0
に設定する。上記以外の場合には、手段Eを用いてSAPSNR値を導出する。
【００３６】
手段Eでは、式(8)により周波数帯域毎のS/N比SNR(w,t)を算出して、その値と予め設定された指標値T3とを比較することにより周波数帯域毎のターゲット音源の有無(SAPSNR)を導出する。
2008135933.tif 000011
【００３７】
式(8)により求めたSNR(w,t)に基づき、SAPSNR値を式(9)により求める。
2008135933.tif 000012
【００３８】
式(9)から、SNR(w,t)が閾値T3より小さい場合にはSAPSNR値が0に設定され、その他の場合はSAPSNR値が1に設定される。
【００３９】
音源抽出手段15では、上記で説明した手段Dおよび手段Eで求めたSAPSNR値に基づき、式(10)を用いて周波数帯域毎にターゲット音源SL 、SRを求める。ここで、SLは左側入力信号の周波数帯域成分XLから求めるものであり、SRは右側入力信号の周波数帯域成分XRから求めるものである。
2008135933.tif 000013
【００４０】
次に、本発明の音声強調処理システムと、他の従来手法を用いたシステムとの比較実験結果について説明する。ここでは、次の３つの条件で実験を行った結果を図５、及び図６に示す。
(1)ターゲット音源：正面方向、40 sentences
ノイズ源(1個) ：60度方向、40 sentences
(2)ターゲット音源：正面方向、40 sentences
ノイズ源(2個) ：60度方向＆−60度方向、40 sentences
(3)ターゲット音源：正面方向、40 sentences
ノイズ源(3個) ：60度方向＆−60度方向＆30度方向、40 sentences
【００４１】
図５は、それぞれのシステムにおけるS/N比を示したものであり、図６は、歪み度を示したものである。図５、及び図６の凡例において、FDBM、Romanが従来手法の結果を示すものであり、CohILDが本発明において音源同定手段13で求めたターゲット音源の有無(SAPCohILD)を用いた場合（中間段階）の結果を示すものであり、CohAndBFが本発明による結果を示すものである。
【００４２】
図５から、上記３条件において、本発明のシステムは、他のシステムと比べて、高いS/N比を得ることができることが実証された。また図６から、上記３条件において、本発明のシステムは、他のシステムと比べて、歪み度が少ないことが実証された。
以上から、本発明のシステムは、従来手法以上に、ターゲット音源を良好に分離・強調することが可能になることが実証された。
【図面の簡単な説明】
【００４３】
【図１】本発明の音声強調処理システムの構成を示す図である。
【図２】実験により全ての周波数帯域で得られたコヒーレンス関数の実数部(RealCoh)を平均化して表した図である。
【図３】実験により全ての周波数帯域で得られたコヒーレンス関数の実数部(RealCoh)を表した図である。
【図４】ノイズ比率を算出する手法としてRoman’s Algorithmを示した図である。
【図５】S/N比について、本発明の音声強調処理システムと、他の従来手法を用いたシステムとの比較実験結果を示した図である。
【図６】歪み度について、本発明の音声強調処理システムと、他の従来手法を用いたシステムとの比較実験結果を示した図である。
【符号の説明】
【００４４】
１１  信号収音手段
１２  信号変換手段
１３  音源同定手段
１４  ノイズ源同定手段
１５  音源抽出手段
【図１】
2008135933.tif 000014
【図２】
2008135933.tif 000015
【図３】
2008135933.tif 000016
【図４】
2008135933.tif 000017
【図５】
2008135933.tif 000018
【図６】
2008135933.tif 000019