(57)【特許請求の範囲】
【請求項１】
時系列の観測信号を入力として残響を含まない音源モデルのモデルパラメータを推定する音源モデル推定部と、
上記モデルパラメータと上記観測信号を入力として上記観測信号の共分散行列と共分散ベクトルを推定する観測信号共分散推定部と、
上記観測信号を収音する場所において観測された信号に含まれる残響信号を予測する予測フィルタ係数を当該予測フィルタ係数の確率密度関数でモデル化した予測フィルタモデルを、予め記録しておく予測フィルタモデル記録部と、
上記観測信号の共分散行列と共分散ベクトルと、上記予測フィルタモデルを入力として予測フィルタ係数を推定する予測フィルタ推定部と、
上記観測信号と上記予測フィルタ係数を入力として残響を含まない音声信号を推定する残響除去部と、
を具備する残響除去装置。
【請求項２】
請求項１に記載の残響除去装置において、
上記予測フィルタ推定部は、
上記観測信号の共分散行列と共分散ベクトルと、上記予測フィルタモデルを入力として、予測フィルタ係数の予測フィルタモデルに基づく関数値と当該予測フィルタ係数に依存して定まる残響を含まない音声信号の音源モデルに基づく関数値との和で定義される最適化関数を最大化する予測フィルタ係数を推定するものであることを特徴とする残響除去装置。
【請求項３】
請求項１又は２に記載の残響除去装置において、
上記観測信号共分散推定部を所定時間間隔で動作させる更新部も備え、
上記観測信号共分散推定部は、上記モデルパラメータと、逐次的に入力される上記観測信号の時系列とから上記所定時間間隔で上記共分散行列と上記共分散ベクトルを更新し、
上記更新された上記共分散行列と上記共分散ベクトルとに対応して上記予測フィルタ推定部と上記残響除去部とが動作することを特徴とする残響除去装置。
【請求項４】
請求項１乃至３の何れかに記載の残響除去装置において、
上記残響除去部が、周波数領域で動作することを特徴とする残響除去装置。
【請求項５】
音源モデル推定部が、時系列の観測信号を入力として残響を含まない音源モデルのモデルパラメータを推定する音源モデル推定過程と、
観測信号共分散推定部が、上記モデルパラメータと上記観測信号を入力として上記観測信号の共分散行列と共分散ベクトルを推定する観測信号共分散推定過程と、
予測フィルタ推定部が、上記観測信号の共分散行列と共分散ベクトルと、上記観測信号を収音する場所において観測された信号に含まれる残響信号を予測する予測フィルタ係数を、当該予測フィルタ係数の確率密度関数でモデル化した予測フィルタモデルを入力として予測フィルタ係数を推定する予測フィルタ推定過程と、
残響除去部が、上記観測信号と上記予測フィルタ係数を入力として残響を含まない音声信号を推定する残響除去過程と、
を備える残響除去方法。
【請求項６】
請求項５に記載の残響除去方法において、
上記予測フィルタ推定過程は、
上記観測信号の共分散行列と共分散ベクトルと、上記予測フィルタモデルを入力として、予測フィルタ係数の予測フィルタモデルに基づく関数値と当該予測フィルタ係数に依存して定まる残響を含まない音声信号の音源モデルに基づく関数値との和で定義される最適化関数を最大化する予測フィルタ係数を推定する過程であることを特徴とする残響除去方法。
【請求項７】
請求項５又は６に記載の残響除去方法において、
上記観測信号共分散推定過程と、上記予測フィルタ推定過程と、上記残響除去過程とが、所定時間間隔で繰り返し行なわれる更新過程も含むことを特徴とする残響除去方法。
【請求項８】
請求項５乃至７の何れかに記載の残響除去方法において、
上記残響除去過程は、周波数領域で動作することを特徴とする残響除去方法。
【請求項９】
請求項１乃至４の何れかに記載した残響除去装置としてコンピュータを機能させるための装置プログラム。
【請求項１０】
請求項９に記載した何れかの装置プログラムを記録したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音源が生成した音響信号（以降、「音源信号」と称す）を、残響のある部屋においてマイクロホンで収音して得られる信号（以降、「観測信号」と称する）から、残響を取り除いた音響信号を抽出する残響除去装置とその方法と、そのプログラムと記録媒体に関する。
【背景技術】
【０００２】
音源信号が残響のある環境で収音されると、本来の音源信号に残響が重畳した信号として観測される。そのため、本来の音源信号の性質を抽出することが困難になると共に、音源信号の明瞭度が低下する。そこで、明瞭度を向上させる目的で重畳した残響を取り除く残響除去方法及び装置が従来から使われている。
【０００３】
非特許文献１に開示された従来の残響除去装置９００の機能構成例を図１０に示してその動作を簡単に説明する。残響除去装置９００は、音源モデル９０と、予測フィルタ推定部９２と、残響除去部９４とを備える。音源モデル９０は、残響を含まない音源信号の短時間区間の音声波形をガウス分布でモデル化したものである。予測フィルタ推定部９２は、観測信号と音源モデル９０を入力として、観測信号の尤もらしさを表現する最適化関数を最大にする残響信号を予測する予測フィルタ係数を求める。残響除去部９４は、観測信号から予測フィルタ係数で予測された残響信号を除去して音響信号を出力する。
【非特許文献１】Nakatani,T.,Juang,B.H.,Hikichi,T.,Yoshioka,T.,Kinoshita,K.Delcroix,M.,andMiyoshi,M.,”Study on speech dereverberation with autocorrelation codebook,”Proc.IEEE International Conference on Acoustics,Speech,and Signal Processing(ICASSP-2007),vol.I,pp.193-196,April 2007.
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の残響除去方法は、観測信号に含まれる残響信号を予測する予測フィルタ係数を、観測信号のみから推定していた。この推定には、ある程度以上の長さの観測信号を必要とするため、観測信号が短い場合には残響信号を高精度に予測することが難しく、精度の良い残響除去が行えなかった。
【０００５】
この発明は、このような点に鑑みてなされたものであり、観測信号が短い場合においても、比較的精度良く観測信号に含まれる残響信号を推定できる残響除去方法及びその装置と、そのプログラムと記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明による残響除去方法は、音源モデル推定部が、時系列の観測信号を入力として残響を含まない音源モデルのモデルパラメータを推定する音源モデル推定過程と、観測信号共分散推定部が、モデルパラメータと観測信号を入力として観測信号の共分散行列と共分散ベクトルを推定する観測信号共分散推定過程と、予測フィルタ推定部が、観測信号の共分散行列と共分散ベクトルと、上記観測信号を収音する場所において観測される信号に含まれる残響信号を予測する予測フィルタ係数を、当該予測フィルタ係数の確率密度関数でモデル化した予測フィルタモデルを入力として予測フィルタ係数を推定する予測フィルタ係数推定過程と、残響除去部が、観測信号と予測フィルタ係数を入力として残響を含まない音声信号を推定する残響除去過程と、を備える。
【発明の効果】
【０００７】
この発明の残響除去方法は、従来法の観測信号と音源モデルとから予測フィルタ係数を推定する方法に加え、残響信号を推定する予測フィルタ係数に関する確率モデルを用いて予測フィルタ係数を推定する。予測フィルタ係数に関する確率モデルを用いることで確率的により尤もらしい予測フィルタ係数を推定することが可能であり、観測信号が短い場合においても比較的精度良く観測信号に含まれている残響信号を推定できる。
【発明を実施するための最良の形態】
【０００８】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。
【０００９】
〔発明の基本的な考え〕
実施例の説明の前に、この発明の残響除去方法の基本的な考えを説明する。この発明の残響除去方法は、従来法で用いられていた最尤推定を最大事後確率（Maximum a posteriori,以降「ＭＡＰ」と称する）推定に替え、その結果必要となる予測フィルタ係数の確率モデルを考慮するようにしたものである。ＭＡＰ推定とは、観測信号が得られた条件下で、目的となる確率変数（この発明の場合は予測フィルタ係数）の事後確率密度関数を最大にする値を求めることで推定値を得る方法である。なお、この発明は１本以上のマイクロホンで構成することができるが、以降では、記述を簡単にするために２本のマイクロホンの場合を例に説明する。
【００１０】
信号名を以下のように定義する。
【数１】
0004977062.tif 000002
【００１１】
ｓｔ￣は残響除去した目的信号の長さＮの短時間フレームに対応するベクトル。￣はベクトルであることを表わすが、その表記は式及び図中に示すものが正しい。ｘｔ━（ｖ）はｖ本目のマイクロホン信号の短時間フレームに対応するベクトル。ｘｔ￣は全てのマイクロホン信号の短時間フレームをつなげたベクトル。Ｘｔ（ｖ）はｘｔ（ｖ）￣の時系列を並べた行列。Ｘｔはマイクロホン１と２についての時系列の行列を並べた行列。Ｘｔ2：ｔ1はｘｔ￣をｔ２〜ｔ1までの過去に遡って並べた行列である
観測信号を式（１）に示すように多チャネル自己回帰過程でモデル化する。
【００１２】
【数２】
0004977062.tif 000003
【００１３】
式（１）は、左辺に含まれる時刻ｔのｖ番目のマイクロホン信号ｘｔ━（ｖ）が、右辺に含まれる過去の信号系列Ｘｔ−Ｄに予測フィルタ係数ｃ━を乗じて予測した結果、その予測誤差が目的信号ｓｔ━となることを意味している。
【００１４】
ここでＤは、時刻ｔの観測信号ｘｔ（ｖ）￣を予測する際に観測信号に付加する遅延である。Ｄ＞１を導入することで、予測係数の推定誤差に対する残響除去の頑健性が向上することが報告されている（参考文献：K.Kinoshita,T.Nakatani,and M.Miyoshi,”Spectral subtraction steered by multi-step forward linear prediction for single channel speech dereverberation,”Proc.ICASSP-2006,vol.1,pp.817-820,May,2006.）。以降の説明では、ｖ番目のマイクロホン信号を予測対象の信号として扱う。他チャネルの予測も全く同様に行うことができる。式（１）より目的信号は、式（２）で書けることからｃ￣は逆フィルタと等価な情報を持つ値であるといえる。
【００１５】
【数３】
0004977062.tif 000004
【００１６】
次に、最適化関数として推定すべきパラメータを予測フィルタ係数ｃ￣とし、音声モデルパラメータと予測係数からなるパラメータ集合をθとして、式（３）に示すように最適化関数を定義する。
【００１７】
【数４】
0004977062.tif 000005
【００１８】
ここでｐｘ（・），ｐｓ（・），及びｐｃ（・）は、それぞれ観測信号ｘｔ（ｖ）￣、目的信号ｓｔ￣及び予測フィルタ係数ｃ￣に関する確率密度関数を表わす。上記の式の展開において、最適化に無関係な定数であるｌｏｇｐｘ（ＸＴ：1；θ）などは略記した。式（４），（５）は、一般的な確率密度関数の性質に基づいて式（３）を展開することで得られる。式（６），（７）は、式（２）に基づき式（５）を展開するとともに、ｃ￣と無関係な項（ｖ本目のマイクロホン以外の信号を予測する場合の予測フィルタ係数に関連する項）を無視することで得られる。
【００１９】
式（７）の最適化関数は、目的信号の確率密度関数ｐｓ（ｓｔ￣；θ）と、予測フィルタ係数の確率密度関数ｐｃ（ｃ￣；θ）が与えられれば完全に定義することができる。式（７）の第一項は、従来の残響除去方法の最適化関数と等価な関数である。第二項は予測フィルタ係数の確率モデルである。この発明では、第二項を新たに考慮することで充分な長さの観測信号が得られない場合でも比較的精度の高い残響除去を実現することができる。
【実施例１】
【００２０】
図１にこの発明の残響除去方法を用いた残響除去装置１００の機能構成例を実施例１として示す。その動作フローを図２に示す。残響除去装置１００は、予測フィルタモデル記録部１０と、音源モデル推定部１１と、観測信号共分散推定部１２と、予測フィルタ推定部１３と、残響除去部４４とを備える。残響除去装置１００は、従来の残響除去装置９００の音源モデル９０を音源モデル推定部１１に置き換え、予測フィルタモデル記録部１０と、観測信号共分散推定部１２とを追加し、予測フィルタ推定部１３での処理内容を変更したものである。また、この例の残響除去装置１００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。
【００２１】
音源モデル推定部１１は、観測信号の時系列信号を入力として残響を含まない音源モデルのモデルパラメータを推定する（ステップＳ１１）。その方法は、例えば観測信号をプリホワイトニング処理を行なう場合と同様に、観測信号に関する自己回帰係数を求め、それを音声信号の自己回帰係数の近似値として用いる。以降、音源モデル、つまり目的信号のモデルを確率密度関数ｐｓ、モデルパラメータを自己相関行列ｒとして説明する。それぞれを式（８）及び式（９）に示す様に定義する。
【００２２】
【数５】
0004977062.tif 000006
【００２３】
ここでａは、目的信号ｓｔ￣の自己回帰係数α＝[α1  α2  …  αｐ]から式（１０）で定義される上三角テプリッツ行列（Ｎ×Ｎ）である。
【００２４】
【数６】
0004977062.tif 000007
【００２５】
上記自己相関行列ｒと上記した式（８）により、最適化関数を定義する式（７）の第一
項に含まれる被加算項は式（１１）に示すように展開できる。
【００２６】
【数７】
0004977062.tif 000008
【００２７】
ここで、式（１２）とし、式（１１）の展開で最適化に無関係な定数項は省略している。
【００２８】
観測信号共分散推定部１２は、自己相関行列ｒと観測信号ｘｔ（ｖ）￣を入力として観測信号の共分散行列Φと共分散ベクトルφを、式（１３）と（１４）に基づいて推定する（ステップＳ１２）。
【００２９】
【数８】
0004977062.tif 000009
【００３０】
ここで、観測信号の共分散行列Φと共分散ベクトルφを求める理由を説明する。上記した最適化関数は、上記した確率密度関数の定義のもと、期待値最大化法（以降、「ＥＭ」と称する）アルゴリズムを用いて効率的に最大化することができる。予測係数の状態ｉを隠れ変数として、ＥＭアルゴリズムにおけるＱ関数は式（１５）で定義される。
【００３１】
【数９】
0004977062.tif 000010
【００３２】
ここでｐｃ（・）は、観測信号に含まれる残響信号を予測する予測フィルタ係数を確率的
にモデル化した混合ガウス分布であり、式（１６）〜式（１８）で定義される。
【００３３】
【数１０】
0004977062.tif 000011
【００３４】
ここで、ｉは、予測フィルタ係数の状態を表わす整数（1≦ｉ≦Ｋ）であり、ｇｉは混合比を表わす。各状態におけるガウス分布は式（１９）で表わせる。
【００３５】
【数１１】
0004977062.tif 000012
【００３６】
混合ガウス分布は、ある特定の部屋において事前に学習されたものであり、モデルパラ
メータ｛ｇ1，μ1，Σ1，…｝は事前に求められ、予測フィルタモデル記録部１０に記録されている。なお、式（１９）の変形として、全てのｉに対してμｉ＝０としたり、Σｉの非対角要素を０と置くことで計算の効率を上げることができる。その場合のパラメータも一般的な混合ガウス分布のパラメータ学習アルゴリズムを用いて事前に定めることができる。学習方法は一般的な方法で良いので説明は省略する。
【００３７】
ここで式（１５）の右辺は、予測フィルタ係数ｃ￣「ｎ」が与えられたもとでの条件付期待値関数を表わす。予測フィルタ係数ｃ￣「ｎ」に関連のある項だけ残して整理すると、Ｑ関数は式（２０）で表わせる。
【００３８】
【数１２】
0004977062.tif 000013
【００３９】
ただし、
【数１３】
0004977062.tif 000014
【００４０】
ここで式（２１）の第一項は、上記した式（１３）に示す観測信号共分散行列Φである。また、式（２２）の第一項は、上記した式（１４）に示す観測信号共分散ベクトルφである。よって、観測信号の共分散行列Φと共分散ベクトルφの推定値が式（１３），（１４）で与えられているとすると、ＥＭアルゴリズムのＥステップでは、式（２１）と式（２２）の第二項を求めるだけで良い。この第二項は以下の式（２３）〜（２５）で求めることができる。
【００４１】
【数１４】
0004977062.tif 000015
【００４２】
そしてＥＭアルゴリズムのＭステップでは、予測フィルタ係数ｃ￣の更新値を式（２０）を最大にする式（２２）の値（これは予測係数の期待値に相当）として定める。このように、予測フィルタ推定部１３は、観測信号の共分散行列Φと共分散ベクトルφと、予測フィルタモデルのモデルパラメータ｛ｇ1，μ1，Σ1，…｝を入力として予測フィルタ係数ｃ￣を推定する。
【００４３】
予測フィルタ推定部１３は、初期値設定部１３１と、事後確率算出部１３２と、期待値算出部１３３と、条件付期待値関数算出部１３４とを備える。初期値設定部１３１は、例えば参考文献に示されているマルチステップ線形予測などにより予測フィルタ係数の初期値ｃ￣「0」を定める（ステップＳ１３１）。このとき繰り返しのカウンタｎをｎ＝０とする。
【００４４】
事後確率算出部１３２は、上記した式（２３）により予測フィルタ係数ｃ￣「ｎ」が与えられたもとでの各状態ｉの事後確率を求める（ステップＳ１３２）。条件付期待値関数算出部１３３は、上記した式（２４）と式（２５）によって、条件付期待値を算出する（ステップＳ１３３）。期待値算出部１３４は、上記した式（２１）と式（２２）とによって予測フィルタ係数の期待値の更新値を求める（ステップＳ１３４）。更新値が収束していなければカウンタｎをｎ＝ｎ+１（ステップＳ１３６）としてステップＳ１３１に戻る。
【００４５】
残響除去部４４は、更新された予測フィルタ係数ｃ￣「ｎ」を用いて上記した式（２）に基づいて観測信号から推定した残響信号を除去する（ステップＳ４４）。残響除去部４４の動作は従来法と同じである。
【００４６】
以上述べたようにこの発明の残響除去方法によれば、予測フィルタ係数に関する確率モデルを用いることで確率的により尤もらしい予測フィルタ係数を推定することが可能であり、観測信号が短い場合においても比較的精度良く観測信号に含まれている残響信号を推定できる。
【００４７】
〔変形例〕
実施例１では、音源モデルを、音源が定常自己回帰過程に従うと仮定して定義した。こ
れに対し、より精度の高い音源モデルを導入することで、より精度の高い残響除去を実現
することができる。例えば、有限状態機械でモデル化した音源モデルを導入する方法が考
えられる。その方法による残響除去装置３００の機能構成例を図３に、その動作フローを
図４に示す。
【００４８】
残響除去装置３００は、観測信号ｘｔ（ｖ）￣の各短時間フレームｔの観測信号と最も合致する自己相関行列ｒを選択するようにしたものである。そのために、複数の自己相関行列を記録した音源モデル記録部３０を新たに備える。また、音源モデル推定部３１は、観測信号ｘｔ（ｖ）￣を参照して音源モデル記録部３０に記録された複数の自己相関行列ｒから一つを選択するものであり、残響除去部３２が残響を除去した目的信号ｓｔ￣が収束するまで自己相関行列の選択から繰り返し動作させる収束判定部３２１を備える点が、実施例１の残響除去装置１００と異なる。
【００４９】
残響除去装置３００も、残響除去の最適化関数として上記した式（７）を用いる。この
例では式（７）の第一項の音源モデルに関する部分の定義のみに変形を加え、第二項は同じものを用いる。
【００５０】
各時刻ｔの目的信号ｓｔ￣に関する音声モデルのパラメータは、自己相関コードブックのインデックスであり、これをｉｔと表記する。ｉｔは、自己相関コードブックに含まれるコードワードのインデックスｍがとる値を１≦ｍ≦Ｍとすると、そのどれか一つの値をとる。各ｍに対応する自己相関行列をｒｍと書き、ｒｉｔを時刻ｔの自己相関コードブックのインデックスｉｔに対応する自己相関行列とする。さらに、音声時系列の全体のモデルパラメータは、自己相関コードブックのインデックスの時系列全体Ｉ＝｛ｉ1，ｉ2，…，ｉＴ｝とする。
【００５１】
時刻ｔの音声のモデルは、式（２６）で書ける。
【数１５】
0004977062.tif 000016
【００５２】
ただし、残響除去法で推定すべきパラメータはθ＝｛ｃ￣，Ｉ｝とする。以上により、
最適化関数の式（７）は、上記した式（１８）と式（１９）と式（２６）に基づいて定義
することができる。この例では、最適化関数の最大化を予測フィルタ係数ｃ￣と自己相関
コードブックのインデックスの時系列全体Ｉに関して交互に繰り返して行う。
【００５３】
音源モデル推定部３１は、観測信号ｘｔ￣（ｖ）そのものを初期推定値ｓｔ￣[0]とする（ステップＳ３１）。同時に繰り返しカウンタｎ1をｎ1＝０とする。そして、観測信号ｘｔ（ｖ）￣を参照して音源モデル記録部３０に記録された複数の自己相関行列から一つの自己相関行列ｒｉｔを選択して式（２７）によりｉｔを定める。
【００５４】
【数１６】
0004977062.tif 000017
【００５５】
観測信号共分散推定部１２が、観測信号ｘｔ￣（ｖ）と自己相関行列ｒｉｔを入力として観測信号の共分散行列Φと共分散ベクトルφを推定するステップＳ１２から、残響除去部４４が、観測信号から残響を除去して目的信号ｓｔ￣を推定するステップＳ４４までは、実施例１と同じである。この例では、残響除去部３２内の収束判定部３２１で、目標信号ｓｔ￣が収束するまで（ステップＳ３２１の済）繰り返しカウンタｎ１をカウントアップ（ステップＳ３２２）しながら、音源モデル推定部３１の自己相関行列ｒｉｔを変更して予測フィルタ係数ｃ￣を推定する。
【００５６】
以上述べたように、例えば有限状態機械でモデル化した音源モデルを用いることで、よ
り精度の高い音源モデルにすることができ、その結果、精度の高い残響除去が実現できる。実施例１及び変形例で説明した残響除去方法は、事前に全ての信号が取得済みでありバッチ処理できることを前提にした方法である。次に、逐次的に得られる観測信号に対して最新の予測フィルタ係数を逐次推定するこの発明の残響除去法を実施例２として説明する。
【実施例２】
【００５７】
最新の予測フィルタ係数を逐次推定する残響除去装置５００の機能構成例を図５に、そ
の動作フローを図６に示す。残響除去装置５００は、予め定められた所定の時間間隔で予
測フィルタ係数ｃ￣を推定・更新するものである。各更新時において、その時刻より以前
に得られた観測信号の全て或いはその一部に対して上記した最大化アルゴリズムを適用す
ることで予測フィルタ係数ｃ￣を推定すると共に、各時刻に逐次的に得られる観測信号に
対してそれまでに得られた最新の予測フィルタ係数ｃ￣をその時刻の観測信号に適用する
構成である。
【００５８】
残響除去装置５００は、観測信号共分散推定部を所定時間間隔で繰り返し動作させ、予
測フィルタ係数ｃ￣を更新させる更新部５０も備え、観測信号共分散推定部は、最新の共分散行列Φｎ-1と共分散ベクトルφΦｎ-1を記録する共分散記録部５１１を備えた観測信号共分散推定部５１である点が、残響除去装置１００と異なる。
【００５９】
残響除去装置５００の初回の予測フィルタ係数ｃ￣を推定するまでの動作は、残響除去
装置１００と基本的に同じであるが、二回目以降の動作は更新部５０によって所定時間間
隔で繰り返される（ステップＳ５０）点が異なる。また、観測信号共分散推定部５１が、
観測信号の共分散行列Φと共分散ベクトルφを推定した際に、その最新の共分散行列Φと
共分散ベクトルφを、共分散行列Φｎ-1と共分散ベクトルφｎ-1として共分散記録部５１１に記録する点が異なる。また、予測フィルタ推定部１３´の初期値設定部１３１´が予測フィルタ係数の初期値を設定する処理（ステップＳ１３１´）は、初回のみ行われる点が異なる。なお、予測フィルタ係数ｃ￣は所定時間間隔で更新されるが、残響除去は最新の予測フィルタ係数ｃ￣で連続的に行われる。
【００６０】
残響除去装置５００では、残響除去部４４の残響除去処理は、予測フィルタ推定部１３
´の予測フィルタ推定処理とは並列かつ非同期的に行なわれる。これにより、残響除去部
４４は、逐次的に入力されてくる観測信号に対し、それまでに予測フィルタ推定部１３´
が推定した最新の予測フィルタ推定値に基づき（予測フィルタ推定部の次の予測フィルタ
更新処理が終わるのを待たずに）残響除去を逐次的に行うことができる。なお、予測フィ
ルタ推定部１３´が初回の推定値を得るまでの時刻においては、予測フィルタの推定値は
例えば０とする。若しくは、事前に測定した観測信号に基づいて計算された値を用いても
良い。
【００６１】
観測信号共分散推定部５１は、共分散行列Φと共分散ベクトルφの推定を式（２８）と
式（２９）で行う。
【数１７】
0004977062.tif 000018
【００６２】
ここで、Ｔｉは各更新の以前の所定時間間隔に対応する観測信号の時間のインデックスの全てを表わす。α、βは忘却係数であり、０＜α，β＜１の定数とする。
【００６３】
以上のようにすることで、各時刻で得られた最新の予測フィルタ係数による残響除去を
行うことができる。次に、残響除去を周波数領域で行なうようにしたこの発明の実施例３
を説明する。
【実施例３】
【００６４】
残響除去を周波数領域で行なうようにした残響除去装置７００の機能構成例を図７に示
す。残響除去装置７００は、周波数領域で残響を除去する周波数領域残響除去部７０を備
える点が、時間領域で残響除去を行なう残響除去装置１００，５００と異なる。
【００６５】
観測信号のエネルギーから残響信号のエネルギーをスペクトル減算により引き算する残
響除去処理の方が、音源位置の違い等に対して予測フィルタ係数の推定誤差を頑健にする
ことが、例えば上記した参考文献で報告されている。
【００６６】
この発明の残響除去装置においても、観測信号と予測フィルタ係数から残響信号の予測
値ｅｔ￣（ｖ）を式（３０）で求め、観測信号の短時間パワースペクトルから減算するパワー減算技術を用いて残響除去を行うことが可能である。
【数１８】
0004977062.tif 000019
【００６７】
周波数領域残響除去部７０は、観測信号ｘｔ￣（ｖ）と残響信号の予測値ｅｔ￣（ｖ）のそれぞれを、例えば短時間フーリエ変換等の一般的な周波数変換技術を用いてパワースペクトルに変換した後に、残響除去をパワースペクトル同士で行うものであり、従来技術で構成できる。例えば、観測信号ｘｔ￣（ｖ）、残響信号の予測値ｅｔ￣（ｖ）、目的信号ｓｔ￣、それぞれの短時間フーリエ変換をＸｎ，ｍ〜（Ｖ），Ｅｎ，ｍ〜（Ｖ），Ｓｎ，ｍ〜，と書く（ｎ，ｍは、時間フレームと周波数ビンのインデックス）とスペクトル減算は式（３１）〜（３３）で表わせる。
【００６８】
【数１９】
0004977062.tif 000020
【００６９】
ここでεは、１よりも十分に小さな正定数とした。さらに、得られた目的信号の短時間
フーリエ変換Ｓｎ，ｍ〜に短時間逆フーリエ変換を適用し、オーバラップ加算などを行うことで目的信号の時間領域信号を得ることができる。上記したように実施例３によれば、より正確な残響除去が可能になる。
【００７０】
〔シミュレーション結果〕
この発明の残響除去方法の性能を評価した。まず、残響除去の対象になる部屋の予測フィルタの事前確率分布のモデルパラメータの推定条件を説明する。分析対象にした部屋を模式的に図８に示す。分析対象は３.５ｍ×４.５ｍ×２.５ｍの広さで残響時間０.５秒の残響室とした。高さ１.５ｍの室内中央付近の１平方メートルの範囲を３０×３０点で等分割し、各点を音源位置とした。受音点のマイクロホンは２本用意し、マイクロホン間の距離は０.２ｍとした。各音源位置から２本のマイクロホンＭｉｃ．１とＭｉｃ．２へのインパルス応答を鏡像法によって求め、各伝達経路の予測フィルタ係数を多チャネルマルチステップ線形予測によって推定し、これら９００地点分の係数を用いて、ＥＭアルゴリズムにより混合ガウス分布のモデルパラメータ｛ｇ1，μ1，Σ1，…｝を推定した。混合ガウス分布の混合数は４とした。
【００７１】
得られた予測フィルタ係数の事前確率分布を用いて音声の残響除去を行った。シミュレーション条件は以下の通りとした。図８にスピーカｓｐ１とｓｐ２で示した二箇所に、音源位置を設定した。スピーカｓｐ１は学習範囲内中央に位置する。スピーカｓｐ２は学習範囲外に位置する。多チャネルマルチステップ線形予測の次数は２８００、ステップサイスＤ＝４００とした。音源はＡＴＲ音声データベースを用いた。サンプリング周波数は８ｋＨｚ、量子化ビット数は１６とした。残響を含まない音声信号に、鏡像法で作成した残響時間０.５秒に相当するスピーカｓｐ１とｓｐ２の各音源位置から受音点までのインパルス応答を畳み込んで、０.５、１.０、2.０、4.０秒と異なる長さのステレオ観測信号を作成した。これらの異なる長さの観測信号を用いて、この発明の残響除去方法と従来法によるマイクロホンＭｉｃ．１における観測信号の残響除去性能を比較した。
【００７２】
その比較を残響の無い原音声信号と残響除去音声のケプストラム（Cepstrum）歪みによって行った。ケプストラム歪み（ＣＤ）は式（３４）で定義される。
【数２０】
0004977062.tif 000021
【００７３】
ここで、ｃｋ＾、ｃｋはそれぞれ、残響除去音声、原音声信号のケプストラム係数であり、Ｄ0、Ｄ1はケプストラム係数の次元である。このシミュレーションでは０次から１２次までのケプストラム係数を用いてケプストラム歪みを定義した。また、各次元のケプストラム係数は時系列の平均値を減算したものを用いた。
【００７４】
従来法とこの発明の方法による各観測信号長毎のケプストラム歪みの時間平均値と観測信号のケプストラム歪みの時間平均値を図９に示す。図９（ａ）は音源位置がスピーカｓｐ１、図９（ｂ）はスピーカｓｐ２の場合を示す。それぞれの横軸は観測時間長[秒]、縦軸はケプストラム歪みの時間平均値を[ｄＢ]で表わす。
【００７５】
従来法のケプストラム歪みの時間平均値（●でプロット）に対して、観測時間長が２秒以内の範囲においてこの発明の方法（□でプロット）の方が歪みが少ない特性を示す。特に観測時間長が０.５秒の場合に、従来法では観測信号よりも悪化した歪みを示すのに対し、この発明の方法は音源位置の場所によらずに大きく（２.３〜３ｄＢ）改善されたケプストラム歪みの時間平均値を示す。
【００７６】
以上述べたようにこの発明の残響除去方法によれば、予測フィルタ係数を推定するために利用できる観測時間長が短い場合に、従来法よりも音源位置の違いに頑健で良好な残響除去が行えることが確認できた。
【００７７】
なお、この発明の方法及び装置は上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記方法及び装置において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００７８】
また、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【００７９】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００８０】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００８１】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図面の簡単な説明】
【００８２】
【図１】この発明の残響除去方法を用いた残響除去装置１００の機能構成例を示す図。
【図２】残響除去装置１００の動作フローを示す図。
【図３】この発明の残響除去装置３００の機能構成例を示す図。
【図４】残響除去装置３００の動作フローを示す図。
【図５】この発明の残響除去装置５００の機能構成例を示す図。
【図６】残響除去装置５００の動作フローを示す図。
【図７】この発明の残響除去装置７００の機能構成例を示す図。
【図８】シミュレーションに用いた分析対象にした部屋を模式的に示す図。
【図９】シミュレーション結果を示す図であり、（ａ）は音源位置がスピーカｓｐ１の場合、（ｂ）は音源位置がスピーカｓｐ２の場合を示す。
【図１０】非特許文献１に開示された従来の残響除去装置９００の機能構成例を示す図。
【図１】
0004977062.tif 000022
【図２】
0004977062.tif 000023
【図３】
0004977062.tif 000024
【図４】
0004977062.tif 000025
【図５】
0004977062.tif 000026
【図６】
0004977062.tif 000027
【図７】
0004977062.tif 000028
【図８】
0004977062.tif 000029
【図９】
0004977062.tif 000030
【図１０】
0004977062.tif 000031