(57)【要約】【課題】音源から受音装置までの環境が変わった場合であっても、伝達特性の測定や逆フィルタの学習を必要としない反射音除去方法を提供する。【解決手段】受音装置１１で受音した信号をフレームシフトさせながらフーリエ変換し、時間周波数領域で時間軸上に並べられたスペクトル成分を周波数軸上のスペクトル成分として読み取る。そして、各周波数ビン毎に、当該周波数ビンの周波数成分の自己相関関数に基づいて減衰率を算出するとともに、全分析フレームの各スペクトル成分の自己相関関数から当該周波数に関する残響時間を決定し、各フレームのスペクトル成分について、当該フレーム以降、前記残響時間までのフレームの各スペクトル成分に減衰率を掛けた値を減算していく。【選択図】図６
2008026626.tif 000002
【特許請求の範囲】
【請求項１】
受音装置で受音した信号から、反射音を除去するための反射音除去方法において、
受音装置によって受音した信号をフレームシフトさせながらフーリエ変換し、時間周波数領域の信号を得るステップと、
全分析フレームの周波数スペクトルから、各周波数ビン毎のスペクトル成分の時間変化を読み取るステップと、
各周波数ビン毎に、周波数成分の時間波形の自己相関関数に基づいて減衰率を周波数ビン毎の時間の関数として算出するステップと、
各分析フレームのスペクトル成分について、当該分析フレーム以降の分析フレームの各スペクトル成分から当該分析フレームのスペクトル成分に減衰率の時間関数を掛けた値を減算していくステップとを備えたことを特徴とする反射音除去方法。
【請求項２】
請求項１に記載の反射音除去方法において、さらに、
各周波数ビン毎に、周波数成分の時間波形の自己相関関数から当該周波数に関する残響時間を決定するステップと、
各フレームのスペクトル成分について、当該フレーム以降、前記残響時間までのフレームの各スペクトル成分から当該分析フレームのスペクトル成分に減衰率の時間関数を掛けた値を減算するステップとを備えるようにした反射音除去方法。
【請求項３】
受音装置で受音した信号から、反射音を除去するための反射音除去装置において、
受音装置によって受音した信号をフレームシフトさせながらフーリエ変換し、時間周波数領域の信号を得る周波数領域変換部と、
全分析フレームの周波数スペクトルから、各周波数ビン毎のスペクトル成分の時間変化を読み取る読取部と、
各周波数ビン毎に、周波数成分の時間波形の自己相関関数に基づいて減衰率を周波数ビン毎の時間の関数として算出する減衰率算出部と、
各分析フレームのスペクトル成分について、当該分析フレーム以降の分析フレームの各スペクトル成分から当該分析フレームのスペクトル成分に減衰率の時間関数を掛けた値を減算していく反射音除去部とを備えたことを特徴とする反射音除去装置。
【請求項４】
請求項３に記載の反射音除去装置において、さらに、
各周波数ビン毎に、周波数成分の時間波形の自己相関関数から当該周波数に関する残響時間を決定する残響時間決定部を備え、
各フレームのスペクトル成分について、当該フレーム以降、前記残響時間までのフレームの各スペクトル成分から当該分析フレームのスペクトル成分に減衰率の時間関数を掛けた値を減算していくようにした反射音除去装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マイクロホンなどで受音した音声信号から反射音を除去する方法に関するものであり、より詳しくは、伝達特性の測定や逆フィルタの学習を必要としない反射音除去方法に関するものである。
【背景技術】
【０００２】
話者から離れた場所に設置したマイクロホンにより音声を受音する場合、その音声は、壁やその他の障害物によって反射されマイクロホンに入力されるため、音声信号のSNRは著しく低下する。
【０００３】
このような反射音を除去する技術として、室内空間で音源からマイクロホンまでのインパルス応答を測定し、その逆特性を畳み込む方法が一般的である。インパルス応答をフーリエ変換したものが伝達関数（言い換えると「周波数特性」）であるが，これは次の方法でも求めることができる。
【０００４】
この伝達特性を測定する場合は、まず、音源から既知信号を出力し、これをマイクロホンで受音する。このマイクロホンで受音した信号は、音源からマイクロホンまでの伝搬経路のインパルス応答と当該既知信号のコンボリューションとなり、したがってマイクロホンでの受音信号のフーリエ変換は伝搬経路のインパルス応答のフーリエ変換と当該既知信号のフーリエ変換の積になるため、音源からマイクロホンまでの伝搬経路の伝達関数は、マイクロホンでの受音信号のフーリエ変換を当該既知信号のフーリエ変換で周波数ごとに割れば求まる。インパルス応答はこれをフーリエ逆変換することによって求めることができる。
【０００５】
このようにして伝達関数が得られれば、周波数ごとにその逆数を受音信号のフーリエ変換に掛けることによって伝達経路の影響を除去した音源信号を求めることが原理的には可能である。
【０００６】
しかしながら、上述のように伝達特性を測定してから反射音などを除去する方法では、音場の変化により話者からマイクロホンまでの伝達特性が変化するような環境下では、その都度、伝達特性を測定しなければならない。また、スペクトル・サブトラクション法を反射音除去に応用する研究も行われているが（非特許文献２、非特許文献３）、伝達特性を一度測定することには変わりはない。さらに、この問題を解決するために、単一のマイクロホンで受音した信号の調波構造を用いて逆フィルタを学習する手法も提案されているが（非特許文献４）、この手法の場合、効果的に反射音除去を行うためには、逆フィルタ学習のために、膨大な量の学習を必要とする。
【非特許文献１】Miyoshi, M. et al., "Inverse filtering of room acoustics," IEEE Trans. ASSP, Vol. 36, No.2, pp.145-152, 1998.
【非特許文献２】馬場ら,  音講論（秋）,17-18, 2004
【非特許文献３】中島ら,  音講論（春）,567-568, 1998
【非特許文献４】Nakatani, T. et al., "Blind dereverberation of single channel speech signal based on harmonic structure," Proc. ICASSP-2003, vol.1, pp.92-95, 2003.
【発明の開示】
【発明が解決しようとする課題】
【０００７】
そこで、本発明は上記課題に着目してなされたもので、音源からマイクロホンなどへの環境が変わった場合であっても、伝達特性の測定や逆フィルタの学習を必要としない反射音除去方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
すなわち、本発明は上記課題を解決するために、受音装置で受音した信号をフレームシフトさせながらフーリエ変換し、時間周波数領域の信号とする。そして、全分析フレームの周波数スペクトルから、各周波数ビン毎のスペクトル成分の時間変化を読み取る。次に、各周波数ビン毎に、その周波数成分の時間変化波形の自己相関関数に基づいて減衰率を時間の関数として算出し、各分析フレームのスペクトル成分について、その分析フレーム以降の分析フレームの各スペクトル成分から当該分析フレームのスペクトル成分に減衰率の時間関数を掛けた値を減算していくようにしたものである。
【０００９】
このようにすれば、室温や人の動きなどによって伝達特性が変化した場合であっても、その都度、伝達特性を測定する必要がなくなり、しかも、従来のように逆フィルタの学習などを行うことなく反射音を除去することができるようになる。
【００１０】
また、このような発明において、さらに、各周波数ビン毎に、周波数成分の時間波形の自己相関関数から当該周波数に関する残響時間を決定し、各分析フレームのスペクトル成分について、当該フレーム以降、前記残響時間までの分析フレームの各スペクトル成分から当該分析フレームのスペクトル成分に減衰率の時間関数を掛けた値を減算していく。
【００１１】
このようにすれば、残響時間を考慮した反射音除去を行うことができるので、より精度よく反射音を除去することができるようになる。
【発明の効果】
【００１２】
本発明によれば、音源から受音装置までの環境が変化した場合であっても、その都度、伝達特性を測定する必要がなく、しかも、従来のように逆フィルタの学習などを行うことなく反射音を除去することができるようになる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の一実施の形態について図面を参照して説明する。図１は、音源２からマイクロホンまでの音波の伝搬状態を示したものであり、図２は、周波数特性を考慮した反射音除去機能を組み込んだ装置１の機能ブロック図を示したものである。この実施の形態では、音源として一つの音源２を用い、受音装置として一つの受音装置１１を設けた場合について説明する。ここで、音源２の種類としては、人間の音声などのような可聴周波数領域の音波を出力する音源を用いるが、その他の音源であってもよい。また、受音装置１１の数は２個以上であってもよく、好ましくは、音源数以上の個数設けるようにする。
【００１４】
図１において、音源２から出力された音声は受音装置１１に到達する。このとき、直接音は受音装置１１に直接到達し、次いで、反射音は、側壁４１で反射されて受音装置１１に到達する。さらには、側壁４１や奥壁４２で反射された反射音は、更に遅れて受音装置１１に到達する。これらの反射音は、壁面でほぼ波形構造がくずれることなく反射すると仮定すれば、受音装置１１で受音された信号は、直接音と時間遅れで減衰しながら到達する反射音が重畳された信号となる。受音装置１１で受音された信号のうち、この反射音を除去することができれば、受音装置１１で受音した信号を音源信号に近づけることができる。本実施の形態では、受音装置１１で受音した信号から反射音を除去して直接音のみを抽出するようにしている。
【００１５】
図２に、この反射音除去機能を組み込んだ反射音除去装置１の機能ブロックについて説明する。
【００１６】
まず、受音装置１１は、音源２から出力された音声を受音するものであり、マイクロホンやマイクロホンアレイなども含むものである。この受音装置１１によって受音された観測信号は、図３に示すように、時間領域の信号として表現され、具体的に、次式で表現される。
【００１７】
【数１】
2008026626.tif 000003
【００１８】
この時間領域で表現された信号は、一旦記憶部２０に格納され、次いで、フーリエ変換部１２にて、図４に示すように、周波数スペクトルのフレーム間隔毎の時間変化（以下、「時間周波数領域」と呼ぶ）の信号に変換される。
【００１９】
【数２】
2008026626.tif 000004
【００２０】
受音装置１１で受音した信号を時間周波数領域の信号に変換する場合、受音装置１１で受音した信号を、分析フレームをオーバーラップさせて少しずつずらしながら各分析フレーム内で短時間フーリエ変換（STFT)する。ここでは初期の分析フレーム番号をk=0としており、また、分析フレームの個数をm個としている。これにより、図３や図４に示すような時間周波数領域における離散的な信号が得られる。この領域のうち時間軸上においては、K個の分析フレームに基づく離散的な信号が存在し、また、周波数軸上においては、N個の離散的な標本点が存在する。なお、図３と図４は同じ信号空間を示しており、図３は分析フレーム毎の周波数スペクトルとして表現しており、また、図４は各周波数ビンの成分の時間変化として表現したものである。
【００２１】
第一の読取部１３は、この時間軸上に並べられた信号を、図５に示すように、周波数標本点毎の離散的な信号として読み出す。すなわち、分析フレーム毎に図３のように並べられた離散的な信号を、今度は、図４に示すように周波数ビン毎の信号として読み取る。この各周波数ビン毎における周波数のスペクトルの時間変化は、次式のように表現される。
【００２２】
【数３】
2008026626.tif 000005
【００２３】
このうち、Ｈ(ωn,k)は、直接音成分と反射音成分に分離することができ、次式のように表現することができる。
【００２４】
【数４】
2008026626.tif 000006
【００２５】
ところで、受音信号における周波数スペクトルの値は、遅延を持つ元の音声信号の周波数スペクトルの値の和で近似することができるため、分析フレームkにおける周波数ωnのスペクトル成分を、
【００２６】
【数５】
2008026626.tif 000007
【００２７】
と表現することができる。この近似式から、数４は、
【００２８】
【数６】
2008026626.tif 000008
【００２９】
と表現することができる。ここで、αωn(0)は、周波数ωnにおける分析フレームk=0の減衰率であるため、「１」とみなすことができ、これを代入することにより、音源信号Ｓ（ωn,k）の推定値は、以下のように求まる。
【００３０】
【数７】
2008026626.tif 000009
【００３１】
ところで、図５に示される周波数ωnにおける分析フレーム毎のスペクトル成分は、図６に示すように、直接音成分と反射音成分の和となっている。一方、周波数ωnにおける分析フレームk=1のスペクトル成分は、分析フレームk=1における音のスペクトル成分とk=0の音のスペクトル成分とが重ね合わされたものとなる。図６においては、模式的に分析フレームk=1のスペクトル成分のうち、上側の白い矩形領域をk=1の寄与と考え、下側の黒い矩形領域をk=0からの寄与と考えている。このうち、k=0の寄与は、分析フレームk=0における音のスペクトル成分に減衰率αωn(1)を掛けたものとみなすことができる。また、同様に、周波数ωnにおける分析フレームk=2のスペクトル成分は、分析フレームk=2の音のスペクトル成分と、分析フレームk=1からの寄与およびk=0からの寄与が重ね合わされたものと考える。このうち、k=2以外の寄与は、分析フレームk=1における成分に減衰率αωn(1)を掛けたものと、分析フレームk=0における成分に減衰率αωn(2)を掛けたものの合計となる。以下、同様に、周波数ωnにおける各分析フレームのスペクトル成分は、その分析フレームにおける直接音とそれ以前の分析フレームの成分にそれぞれの減衰率を掛け合わせたものの和となる。
【００３２】
この反射音を除去する場合、反射音除去部１６は、分析フレームk=1の直接音成分S(ωn, 1)を抽出するには、k=1の当該周波数ωnのスペクトル成分X(ωn, 1)から、分析フレームk=0の当該周波数のスペクトル成分X(ωn, 0)に減衰率αωn(1)をかけたものを引く。この減衰率αωn(1)は、後述する減衰率算出部１４によって推定される。また、周波数ωnにおける分析フレームk=2の直接音成分S(ωn, 2)を抽出する場合は、同様に、分析フレームk=0からの減衰率αωn(2)と、分析フレームk=1からの減衰率αωn(1)を推定しておき、分析フレームk=2におけるスペクトル成分S(ωn, 2)から分析フレームk=0のスペクトル成分S(ωn, 0)に減衰率αωn(2)を掛けた値、および、分析フレームk=1の直接音のスペクトル成分S(ωn, 1)に減衰率αωn(1)を掛けた値の合計を引く。これにより分析フレームk=2における直接音成分S(ωn, 2)の推定値を計算する。以下、同様に、以前のフレームにおける成分S(ωn, k-j)に、それぞれの分析フレームに対する減衰率αωn(j)を掛けたものをj=1〜Ln（周波数ωnでの残響時間をフレーム間隔単位で表した値）について合計した値を引くことによって、その分析フレームの直接音成分S(ωn, k)の推定値を計算する。
【００３３】
この減衰率の推定や残響時間の決定は次のようにして行う。
【００３４】
まず、数８のように表現される受音信号について、数９のように、各周波数ビンの自己相関関数を計算する。
【００３５】
【数８】
2008026626.tif 000010
【００３６】
【数９】
2008026626.tif 000011
【００３７】
この自己相関関数は、数１０のように変形される。
【００３８】
【数１０】
2008026626.tif 000012
【００３９】
このとき、右辺第二項は右辺第一項と比較して充分に小さいと考えられるため、
【００４０】
【数１１】
2008026626.tif 000013
【００４１】
と近似することができる。
【００４２】
そして、この自己相関関数をφxx(ωn,0)によって正規化する。
【００４３】
【数１２】
2008026626.tif 000014
【００４４】
このΦxx(ωn,k)のフーリエ変換は、周波数ωnにおけるパワー周波数特性となるため、減衰率αωn(k)とみなすことができる。これにより分析フレームk=0から分析フレームk=K-1までの減衰率を推定する。
【００４５】
一方、周波数ωnにおける残響時間Lnは、Φxx(ωn,k)が十分に小さくなる分析フレームkとみなすことができるため、このΦxx(ωn,k)が、例えば、0.001よりも小さくなるときのkを周波数ωnの残響時間とする。
【００４６】
第二の読取部１７は、この抽出された直接音の信号を周波数スペクトルの分析フレーム毎の変化として読み取り、これをフーリエ逆変換部１８にて分析フレーム毎にフーリエ逆変換することによって時間領域の信号に戻す。
【００４７】
そして、出力部１９は、この時間領域の信号に戻された信号をスピーカーなどを介して音声出力する。もしくは、その信号を記録媒体に格納する場合は、スピーカーなどを介することなく、そのまま書込装置などを介して記録媒体に出力する。また、この出力の方法は、スピーカーや記録媒体だけでなく、他の装置などに出力するようにしてもよい。例えば、音声認識装置によって音声認識を行う場合は、時間領域の信号に戻された信号を音声認識装置に出力してもよく、あるいは、音声認識装置がスペクトルに基づいて音声認識を行う場合は、フーリエ逆変換部１８にてフーリエ逆変換することなく、時間周波数領域の信号を時間毎に出力するようにしてもよい。
【００４８】
次に、このように構成された反射音除去装置１における反射音除去処理方法について、図７のフローチャートを用いて説明する。
【００４９】
受音装置１１で受音した信号から反射音を除去する場合、まず、受音装置１１で話者の音声を受音し（ステップＳ１）、これを時間領域の信号として記憶部２０に格納する。また、これとともに、分析フレームを時間軸上にオーバーラップさせて少しずつずらしながらフーリエ変換する（ステップＳ２）。このとき、フーリエ変換によって得られた信号は、図４に示すように、時間周波数領域における時間軸上に分析フレームの時刻毎に並べられる。そして、時間軸上に並べられたスペクトル成分を、今度は、周波数標本点毎の離散的な信号として読み出す（ステップＳ３）。
【００５０】
そして、各周波数ωnにおける分析フレームkに対する自己相関関数を計算し（ステップＳ４）、分析フレームk=0の自己相関関数によって正規化する（ステップ５）。この正規化によって、分析フレームk=0から分析フレームkまでのスペクトルの減衰率αωn(k)を算出し、その減衰率が一定の基準値よりも小さくなるまでの分析フレーム番号kを求め、これを残響時間Lnとする（ステップＳ６）。
【００５１】
次に、分析フレームk=1のスペクトル成分から反射音成分を除去すべく、k=1の周波数ωnのスペクトル成分X(ωn, 1)から、分析フレームk=0の当該周波数のスペクトル成分X(ωn, 0)に減衰率αωn(1)をかけたものを引く。また、周波数ωnにおける分析フレームk=2の直接音成分S(ωn, 2)を抽出する場合は、同様に、分析フレームk=2におけるスペクトル成分S(ωn, 2)から分析フレームk=0のスペクトル成分S(ωn, 0)に減衰率αωn(2)を掛けた値、および、分析フレームk=1の直接音のスペクトル成分S(ωn, 1)に減衰率αωn(1)を掛けた値の合計を引く。これにより分析フレームk=2における直接音成分S(ωn, 2)の推定値を計算する。以下、同様に、以前の分析フレームにおける成分S(ωn, k-j)に、それぞれの分析フレームに対する減衰率αωn(j)を掛けたものをj=1〜Ln（周波数ωnでの残響時間をフレーム間隔単位で表した値）について合計した値を引くことによって、その分析フレームから反射音を除いて直接音成分S(ωn, k)を推定する（ステップＳ７）。
【００５２】
以下、同様に、他の周波数ωnについても反射音を除去していき、最終的に反射音の除去された全ての周波数ビンを生成する。
【００５３】
次に、この反射音の除去された全ての周波数ビンから、今度は逆に、各周波数標本点毎に並べられていた離散的な信号を、時間軸上に並び替えた信号として読み出し（ステップＳ８）、これをフーリエ逆変換することによって（ステップＳ９）反射音の除去された音声を出力する（ステップＳ１０）。
【００５４】
このようにすれば、音源から受音装置１１までの音場環境が変化した場合であっても、その都度、伝達特性を測定する必要がなく、しかも、従来のように逆フィルタの学習などを行うことなく反射音を除去することができるようになる。
【実施例１】
【００５５】
次に、上記提案手法と反射面における周波数特性をフラットと仮定した手法の性能をシミュレーションにより評価する。図８は、シミュレーションデータのスペクトログラムの比較を示している。ａ）は元の音声、ｂ）は反射の影響を受けた音声、ｃ）は提案手法を適用した音声、そしてｄ）は周波数特性をフラットと仮定した場合の音声である。これらを比較すると、周波数特性をフラットと仮定した場合は、過剰な減算が起こっていることがわかる。次に、次式におけるSNRを用いて評価を行った。
【００５６】
【数１４】
2008026626.tif 000015
【００５７】
残響除去前のSNRが-2.4dBであったが、周波数特性をフラットと仮定した残響除去処理を行った結果0.5dBとなった。そして、提案手法を用いた結果は0.7dBであった。ここまでは、１周波数ビンずつの処理の結果を示したが、近傍の周波数ビンでは周波数特性が似ていると考えられる。それゆえ、複数の周波数ビンを１グループと考えて残響除去を行った結果を図９に示す。その結果、8〜128の周波数ビンを１グループと考えると約0.9dBまで改善した。
【図面の簡単な説明】
【００５８】
【図１】本発明における一実施の形態における音源と受音装置との間の音声伝達状態を示した図
【図２】同形態における機能ブロックを示した図
【図３】同形態における受音装置で受音した観測信号を示した図
【図４】図３における観測信号をフレームシフトさせながらフーリエ変換した図
【図５】図４の時間軸上に並べられた信号を周波数毎に並べた図
【図６】同形態におけるスペクトル上での残響減算方法を示す図
【図７】同形態における反射音除去の処理を示すフローチャート
【図８】同形態における評価結果であるスペクトログラムの比較を示す図
【図９】同形態における評価結果である複数周波数ビンを１グループとして処理した場合のSNRを示す図
【符号の説明】
【００５９】
１・・・反射音除去装置
２・・・音源
１１・・・受音装置
１２・・・フーリエ変換部（周波数領域変換部）
１３・・・第一の読取部
１４・・・減衰率算出部
１５・・・残響時間決定部
１６・・・反射音除去部
１７・・・第二の読取部
１８・・・フーリエ逆変換部
１９・・・出力部
２０・・・記憶部
４１・・・側壁
４２・・・奥壁
【図１】
2008026626.tif 000016
【図２】
2008026626.tif 000017
【図３】
2008026626.tif 000018
【図４】
2008026626.tif 000019
【図５】
2008026626.tif 000020
【図６】
2008026626.tif 000021
【図７】
2008026626.tif 000022
【図８】
2008026626.tif 000023
【図９】
2008026626.tif 000024