(57)【特許請求の範囲】
【請求項１】
音声と雑音とを含む入力信号から雑音を除去する雑音除去装置であって、
前記入力信号の音声特徴量を一定時間区間であるフレームごとに抽出して出力する音響信号分析部と、
クリーン音声信号と無音信号の各出力確率を、それぞれ、複数の正規分布を含有する混合正規分布で表現した確率モデルの確率モデルパラメータを記憶するモデルパラメータ記憶部と、
前記音声特徴量と、前記モデルパラメータ記憶部に記憶されたクリーン音声信号と無音信号の各確率モデルパラメータとが入力され、過去のフレームから現在のフレームに向かって並列非線形カルマンフィルタにより現在のフレームの雑音モデルパラメータを逐次推定して出力する前向き推定部と、
前記前向き推定部から出力された雑音モデルパラメータと、前記モデルパラメータ記憶部に記憶されたクリーン音声信号と無音信号の各確率モデルパラメータとが入力され、未来のフレームから現在のフレームに向かって並列カルマンスムーザにより現在フレームの雑音モデルパラメータを逐次後向き推定し、この後向き推定した雑音モデルパラメータに基づき、音声（雑音＋クリーン音声）信号と非音声（雑音＋無音）信号の各出力確率をそれぞれ混合正規分布で表現した確率モデルの確率モデルパラメータを逐次推定し、音声信号と非音声信号それぞれの出力確率を算出して出力する後向き推定部と、
前向き推定部及び後向き推定部における処理の過程で得られた計算結果を記憶するパラメータ記憶部と、
前記音声信号の出力確率及び前記非音声信号の出力確率が入力され、音声状態確率と、非音声状態確率とを算出し、これらを出力する状態確率算出部と、
前記音声信号及び非音声信号の各確率モデルパラメータと、前記クリーン音声信号及び無音信号の各確率モデルパラメータと、前記音声状態確率及び前記非音声状態確率とを用いて雑音を除去するフィルタを生成し、前記入力信号に対して当該フィルタを適用して雑音除去音声信号を生成して出力する雑音除去部と、
を有することを特徴とする雑音除去装置。
【請求項２】
請求項１に記載の雑音除去装置において、
前記前向き推定部は、
前記音響特徴量と、１フレーム前の前向き第２加重平均値とが入力され、過去のフレームから現在のフレームに向けて現フレームの雑音モデルパラメータ予測値を計算し出力する雑音モデルパラメータ予測部と、
前記音響特徴量と、前記雑音モデルパラメータ予測値と、前記クリーン音声信号及び無音信号の各確率モデルパラメータとが入力され、雑音モデルパラメータの更新処理を前記クリーン音声信号及び無音信号の各確率モデルの複数の正規分布ごとに並列に行って、雑音モデルパラメータ更新値を出力する雑音モデルパラメータ更新部と、
前記雑音モデルパラメータ更新値と、前記クリーン音声信号及び無音信号の各確率モデルパラメータとが入力され、前記各フレームを単位とする時刻の雑音環境に適合した音声（雑音＋クリーン音声）確率モデルパラメータと非音声（雑音＋無音）確率モデルパラメータとを生成して出力する前向き確率モデルパラメータ生成部と、
前記音響特徴量と、前記前向き確率モデルパラメータ生成部から出力される前記音声確率モデルパラメータ及び前記非音声確率モデルパラメータと、前記クリーン音声信号及び無音信号の各確率モデルパラメータである前記正規分布ごとの混合重みとが入力され、前記フレームごとに音声、非音声それぞれの前向き出力確率と、この前向き出力確率を前記正規分布ごとに分解した前向き正規化出力確率とを算出して出力する前向き音声／非音声出力確率算出部と、
前記雑音モデルパラメータ更新値と、前記前向き正規化出力確率とが入力され、雑音モデルパラメータの前向き第１加重平均値を算出して出力する前向き第１加重平均算出部と、
前記前向き第１加重平均値と、前記音声及び非音声それぞれの前向き出力確率とが入力され、現フレームの前向き第２加重平均値を算出して出力する前向き第２加重平均算出部と、
を有し、
前記後向き推定部は、
１フレーム後の前記雑音モデルパラメータ予測値と、現フレームの前記雑音モデルパラメータ更新値と、１フレーム後の雑音モデルパラメータ再推定値とが入力され、現フレームの前向き雑音モデルパラメータの再推定処理を前記クリーン音声信号及び無音信号の各確率モデルの複数の正規分布ごとに並列に、未来の時刻から現在の時刻に向けて行って、雑音モデルパラメータ再推定値を出力する雑音モデルパラメータ再推定部と、
前記雑音モデルパラメータ再推定値と、前記クリーン音声信号及び無音信号の各確率モデルパラメータとが入力され、前記フレームを単位とする当該時刻の雑音環境に適合した音声（雑音＋クリーン音声）確率モデルパラメータと非音声（雑音＋無音）確率モデルパラメータとを生成して出力する後向き確率モデルパラメータ生成部と、
前記音響特徴量と、前記後向き確率モデルパラメータ生成部から出力される前記音声確率モデルパラメータ及び前記非音声確率モデルパラメータと、前記クリーン音声信号及び無音信号の各確率モデルパラメータである前記正規分布ごとの混合重みとが入力され、前記フレームごとに音声、非音声それぞれの出力確率と、この出力確率を前記正規分布ごとに分解した後向き正規化出力確率とを算出して出力する後向き音声／非音声出力確率算出部と、
前記雑音モデルパラメータ再推定値と、前記後向き正規化出力確率とが入力され、雑音モデルパラメータの後向き第１加重平均値を算出して出力する後向き第１加重平均算出部と、
前記後向き第１加重平均値と、前記音声、非音声それぞれの出力確率とが入力され、現フレームの後向き第２加重平均値を算出して出力する後向き第２加重平均算出部と、を有し、
前記雑音除去部には、さらに前記正規分布ごとの前向き正規化出力確率及び後向き正規化出力確率の少なくとも一方が入力され、
前記雑音除去部は、
前記音声信号と非音声信号の各確率モデルパラメータである正規分布ごとの平均に対する、前記クリーン音声信号と無音信号の各確率モデルパラメータである正規分布ごとの平均の各相対値を、前記正規分布ごとの前向き正規化出力確率及び後向き正規化出力確率の少なくとも一方を用いて加重平均し、前記雑音を除去するフィルタを生成するものである、
ことを特徴とする雑音除去装置。
【請求項３】
請求項２に記載の雑音除去装置において、
前記前向き第１加重平均算出部は、前記雑音モデルパラメータ更新値の中で最大の前記前向き正規化出力確率を持つ雑音モデルパラメータ更新値を雑音モデルパラメータの前向き第１加重平均値として出力するものであり、
前記前向き第２加重平均算出部は、前記前向き第１加重平均値の中で最大の前記前向き出力確率を持つ前向き第１加重平均値を現フレームの前向き第２加重平均値として出力するものであり、
前記後向き第１加重平均算出部は、前記雑音モデルパラメータ再推定値の中で最大の前記後向き正規化出力確率を持つ雑音モデルパラメータ再推定値を雑音モデルパラメータの後向き第１加重平均値として出力するものであり、
前記後向き第２加重平均算出部は、前記後向き第１加重平均値の中で最大の前記状態遷移確率を持つ後向き第１加重平均値を現フレームの後向き第２加重平均値として出力するものである、
ことを特徴とする雑音除去装置。
【請求項４】
請求項１から３のいずれかに記載の雑音除去装置において、
前記状態確率算出部は、
有限状態機械により表現された音声／非音声の状態遷移モデルにおいて予め設定された状態遷移確率を記憶する状態遷移確率テーブルと、
現フレームの前記音声及び非音声それぞれの出力確率と、前記状態遷移確率と、１フレーム前の前向き確率とが入力され、現フレームの前向き確率を算出して出力する前向き確率算出部と、
１フレーム後の前記音声及び非音声それぞれの出力確率と、前記状態遷移確率と、１フレーム後の後向き確率とが入力され、現フレームの後向き確率を算出して出力する後向き確率算出部と、
前向き確率算出部及び後向き確率算出部における処理の過程で得られた前向き確率及び後向き確率を記憶する確率算出用バッファと、
前記現フレームの前向き確率と前記現フレームの後向き確率とが入力され、前記現フレームの前向き確率と前記現フレームの後向き確率との積によって非音声状態確率及び音声状態確率を算出し、当該非音声状態確率と、当該音声状態確率とを出力する確率算出部と、
を有することを特徴とする雑音除去装置。
【請求項５】
前記状態確率算出部は、さらに前記非音声状態確率に対する前記音声状態確率の比も算出するものであり、
前記状態確率の比が入力され、フレームごとに当該状態確率の比としきい値とを比較して、各フレームが音声状態に属するか非音声状態に属するかを示す判定結果を出力する音声信号区間推定部をさらに有し、
前記雑音除去部は、前記音声信号区間推定部において音声状態に属すると判定されたフレームの前記入力信号について雑音除去音声信号を生成するものである
ことを特徴とする請求項１から請求項４のいずれかに記載の雑音除去装置。
【請求項６】
音声と雑音とを含む入力信号から雑音を除去する雑音除去方法であって、
クリーン音声信号と無音信号の各出力確率を、それぞれ、複数の正規分布を含有する混合正規分布で表現した確率モデルの確率モデルパラメータをモデルパラメータ記憶部に格納しておき、
音響信号分析部が、前記入力信号の音声特徴量を一定時間区間であるフレームごとに抽出して出力する音響信号分析過程と、
前記音声特徴量と、前記モデルパラメータ記憶部に記憶されたクリーン音声信号と無音信号の各確率モデルパラメータとが入力された前向き推定部が、過去のフレームから現在のフレームに向かって並列非線形カルマンフィルタにより現在のフレームの雑音モデルパラメータを逐次推定して出力する前向き推定過程と、
前記雑音モデルパラメータと、前記クリーン音声信号と無音信号の各確率モデルパラメータとが入力された後向き推定部が、未来のフレームから現在のフレームに向かって並列カルマンスムーザにより現在フレームの雑音モデルパラメータを逐次後向き推定し、この後向き推定した雑音モデルパラメータに基づき、音声（雑音＋クリーン音声）信号と非音声（雑音＋無音）信号の各出力確率をそれぞれ混合正規分布で表現した確率モデルの確率モデルパラメータを逐次推定し、音声信号と非音声信号それぞれの出力確率を算出して出力する後向き推定過程と、
前向き推定過程及び後向き推定過程で得られた計算結果をパラメータ記憶部に記憶する過程と、
前記音声信号の出力確率及び前記非音声信号の出力確率が入力された状態確率算出部が、音声状態確率と、非音声状態確率とを算出し、これらを出力する状態確率算出過程と、
前記音声信号及び非音声信号の各確率モデルパラメータと、前記クリーン音声信号及び無音信号の各確率モデルパラメータと、前記音声状態確率及び前記非音声状態確率とを用いて雑音を除去するフィルタを生成し、前記入力信号に対して当該フィルタを適用して雑音除去音声信号を生成して出力する雑音除去過程と、
を実行することを特徴とする雑音除去方法。
【請求項７】
請求項６に記載の雑音除去方法において、
前記前向き推定過程は、
前記音響特徴量と、１フレーム前の前向き第２加重平均値とが入力された雑音モデルパラメータ予測部が、過去のフレームから現在のフレームに向けて現フレームの雑音モデルパラメータ予測値を計算し出力する雑音モデルパラメータ予測過程と、
前記音響特徴量と、前記雑音モデルパラメータ予測値と、前記クリーン音声信号及び無音信号の各確率モデルパラメータとが入力された雑音モデルパラメータ更新部が、雑音モデルパラメータの更新処理を前記クリーン音声信号及び無音信号の各確率モデルの複数の正規分布ごとに並列に行って、雑音モデルパラメータ更新値を出力する雑音モデルパラメータ更新過程と、
前記雑音モデルパラメータ更新値と、前記クリーン音声信号及び無音信号の各確率モデルパラメータとが入力された前向き確率モデルパラメータ生成部が、前記各フレームを単位とする時刻の雑音環境に適合した音声（雑音＋クリーン音声）確率モデルパラメータと非音声（雑音＋無音）確率モデルパラメータとを生成して出力する前向き確率モデルパラメータ生成過程と、
前記音響特徴量と、前記前向き確率モデルパラメータ生成部から出力される前記音声確率モデルパラメータ及び前記非音声確率モデルパラメータと、前記クリーン音声信号及び無音信号の各確率モデルパラメータである前記正規分布ごとの混合重みとが入力された前向き音声／非音声出力確率算出部が、前記フレームごとに音声、非音声それぞれの前向き出力確率と、この前向き出力確率を前記正規分布ごとに分解した前向き正規化出力確率とを算出して出力する前向き音声／非音声出力確率算出過程と、
前記雑音モデルパラメータ更新値と、前記前向き正規化出力確率とが入力された前向き第１加重平均算出部が、雑音モデルパラメータの前向き第１加重平均値を算出して出力する前向き第１加重平均算出過程と、
前記前向き第１加重平均値と、前記音声及び非音声それぞれの前向き出力確率とが入力された前向き第２加重平均算出部が、現フレームの前向き第２加重平均値を算出して出力する前向き第２加重平均算出過程と、
を有し、
前記後向き推定過程は、
１フレーム後の前記雑音モデルパラメータ予測値と、現フレームの前記雑音モデルパラメータ更新値と、１フレーム後の雑音モデルパラメータ再推定値とが入力された雑音モデルパラメータ再推定部が、現フレームの前向き雑音モデルパラメータの再推定処理を前記クリーン音声信号及び無音信号の各確率モデルの複数の正規分布ごとに並列に、未来の時刻から現在の時刻に向けて行って、雑音モデルパラメータ再推定値を出力する雑音モデルパラメータ再推定過程と、
前記雑音モデルパラメータ再推定値と、前記クリーン音声信号及び無音信号の各確率モデルパラメータとが入力された後向き確率モデルパラメータ生成部が、前記フレームを単位とする当該時刻の雑音環境に適合した音声（雑音＋クリーン音声）確率モデルパラメータと非音声（雑音＋無音）確率モデルパラメータとを生成して出力する後向き確率モデルパラメータ生成過程と、
前記音響特徴量と、前記後向き確率モデルパラメータ生成部から出力される前記音声確率モデルパラメータ及び前記非音声確率モデルパラメータと、前記クリーン音声信号及び無音信号の各確率モデルパラメータである前記正規分布ごとの混合重みとが入力された後向き音声／非音声出力確率算出部が、前記フレームごとに音声、非音声それぞれの出力確率と、この出力確率を前記正規分布ごとに分解した後向き正規化出力確率とを算出して出力する後向き音声／非音声出力確率算出過程と、
前記雑音モデルパラメータ再推定値と、前記後向き正規化出力確率とが入力された後向き第１加重平均算出部が、雑音モデルパラメータの後向き第１加重平均値を算出して出力する後向き第１加重平均算出過程と、
前記後向き第１加重平均値と、前記音声、非音声それぞれの出力確率とが入力された後向き第２加重平均算出部が、現フレームの後向き第２加重平均値を算出して出力する後向き第２加重平均算出過程と、
を有し、
前記雑音除去過程は、
さらに前記正規分布ごとの前向き正規化出力確率及び後向き正規化出力確率の少なくとも一方が入力された前記雑音除去部が、
前記音声信号と非音声信号の各確率モデルパラメータである正規分布ごとの平均に対する、前記クリーン音声信号と無音信号の各確率モデルパラメータである正規分布ごとの平均の各相対値を、前記正規分布ごとの前向き正規化出力確率及び後向き正規化出力確率の少なくとも一方を用いて加重平均し、前記雑音を除去するフィルタを生成する過程である、
ことを特徴とする雑音除去方法。
【請求項８】
請求項７に記載の雑音除去方法において、
前記前向き第１加重平均算出過程は、前記雑音モデルパラメータ更新値の中で最大の前記前向き正規化出力確率を持つ雑音モデルパラメータ更新値を雑音モデルパラメータの前向き第１加重平均値として出力する過程であり、
前記前向き第２加重平均算出過程は、前記前向き第１加重平均値の中で最大の前記前向き出力確率を持つ前向き第１加重平均値を現フレームの前向き第２加重平均値として出力する過程であり、
前記後向き第１加重平均算出過程は、前記雑音モデルパラメータ再推定値の中で最大の前記後向き正規化出力確率を持つ雑音モデルパラメータ再推定値を雑音モデルパラメータの後向き第１加重平均値として出力する過程であり、
前記後向き第２加重平均算出過程は、前記後向き第１加重平均値の中で最大の前記状態遷移確率を持つ後向き第１加重平均値を現フレームの後向き第２加重平均値として出力する過程である、
ことを特徴とする雑音除去方法。
【請求項９】
請求項６から８のいずれかに記載の雑音除去方法において、
前記状態確率算出過程は、
有限状態機械により表現された音声／非音声の状態遷移モデルにおいて予め設定された状態遷移確率を状態遷移確率テーブルに格納しておき、
現フレームの前記音声及び非音声それぞれの出力確率と、前記状態遷移確率と、１フレーム前の前向き確率とが入力された前向き確率算出部が、現フレームの前向き確率を算出して出力する前向き確率算出過程と、
１フレーム後の前記音声及び非音声それぞれの出力確率と、前記状態遷移確率と、１フレーム後の後向き確率とが入力された後向き確率算出部が、現フレームの後向き確率を算出して出力する後向き確率算出過程と、
前向き確率算出過程及び後向き確率算出過程で得られた前向き確率及び後向き確率を確率算出用バッファに格納するバッファリング過程と、
前記現フレームの前向き確率と前記現フレームの後向き確率とが入力された確率算出部が、前記現フレームの前向き確率と前記現フレームの後向き確率との積によって非音声状態確率及び音声状態確率を算出し、当該非音声状態確率と、当該音声状態確率とを出力する確率算出過程と、
を実行することを特徴とする雑音除去方法。
【請求項１０】
前記状態確率算出過程は、さらに前記非音声状態確率に対する前記音声状態確率の比も算出する過程であり、
前記状態確率の比が入力された音声信号区間推定部が、フレームごとに当該状態確率の比としきい値とを比較して、各フレームが音声状態に属するか非音声状態に属するかを示す判定結果を出力する音声信号区間推定過程をさらに有し、
前記雑音除去過程は、前記音声信号区間推定過程において音声状態に属すると判定されたフレームの前記入力信号について雑音除去音声信号を生成する過程である
ことを特徴とする請求項６から請求項９のいずれかに記載の雑音除去方法。
【請求項１１】
請求項１から５の何れかに記載した雑音除去装置としてコンピュータを機能させるためのプログラム。
【請求項１２】
請求項１１に記載したプログラムを記録したコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号と雑音信号が含まれる音響信号から、音声信号が存在する区間を推定し、推定された区間の信号から音声信号以外の雑音信号を除去するための雑音除去技術に関する。
【背景技術】
【０００２】
自動音声認識技術を実際の環境で利用する場合においては、処理対象とする音声信号以外の信号、つまり雑音信号が含まれる音響信号から、処理対象とする音声信号が存在する区間を推定し、さらに雑音を取り除く必要がある。自動音声認識の実際の環境での利用は今後の情報化社会の中で大きく期待されており、早急に解決されるべき問題である。
【０００３】
後掲の非特許文献１には、入力となる音響信号の周波数スペクトル、信号の全帯域のエネルギー及び帯域分割後の各帯域のエネルギー、信号波形の零点差数、及びそれらの時間微分などの特徴量を利用した音声信号区間推定方法が開示されている。
【０００４】
後掲の非特許文献２には、入力となる音響信号のケプストラムに含まれる雑音の成分を逐次ＥＭアルゴリズムにより推定し、推定された雑音成分を入力音響信号より差し引くことによって雑音除去を行う方法が開示されている。
【０００５】
後掲の非特許文献３には、入力となる音響信号にWiener filter理論に基づく雑音除去を適用し、雑音除去後の信号の全帯域のエネルギー及び帯域分割後の各帯域のエネルギー、周波数スペクトルの分散値などの特徴量を利用した音声信号区間推定方法が開示されている。
【非特許文献１】Benyassine,A.,Shlomot,E.,and Su,H-Y.“ITU-T recommendation G.729 Annex B: A silence compression scheme for use with G.729 optimized for V.70  digital simultaneous voice and data applications,”IEEE Communications Magazine, pp.64-73, September,1997.
【非特許文献２】Myrvoll, T. A. and Nakamura, S., “Online Cepstral Filtering Using A Sequential EM Approach with Polyak Averaging and Feedback,” Proc. ICASSP ’05, Vol. I, pp. 261-264, Philadelphia, USA, March, 2005.
【非特許文献３】ETSI ES 202 050 v.1.1.4 “Speech processing, Transmission and Quality aspects (STQ), Distributed Speech Recognition; Advanced Front-end feature extraction algorithm; Compression algorithms,”Nov.2005.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
実際の環境で自動音声認識を行うにあたり必要不可欠な技術は、入力音響信号から音声認識の対象とする音声信号が存在する区間を推定する音声信号区間推定技術と、入力音響信号から雑音を取り除き、高品質な音声信号を得る雑音除去技術である。
【０００７】
非特許文献１及び非特許文献２に記載の技術は、それぞれ音声信号区間推定と雑音除去単体の技術であり、一般にこれらの技術を処理フローの上で連結することにより、実際の環境での自働音声認識を行う。しかし、これらの技術間で必要となる情報、パラメータ等の共有はなく、あくまで個別の技術が単純に連結されているのみである。そのため、処理誤りやパラメータ推定誤差等の評価も技術ごとに別個に行わなければならない。そのため、両技術間で必要となる情報、パラメータ等を両方の技術で相互に評価できる場合に比べ、処理誤りやパラメータ推定誤り等を行うことが困難となり、高精度な音声信号区間推定及び雑音除去を行うことができない。
【０００８】
非特許文献３の技術では、音声信号区間推定と雑音除去の二つの技術を内部で連結しており、雑音除去を行った後に音声信号区間推定が行われる。これは、雑音除去によって得られた雑音の影響が軽減された目的音声信号の特徴量を用いることにより、音声信号区間の推定性能を高精度化するのが目的である。しかし、この技術でも単に音声信号区間の推定に雑音除去の結果を利用しているのみであり、両技術間でのパラメータなどの共有は密に行われていない。そのため、非特許文献３の技術でも高精度な音声信号区間推定及び雑音除去を行うことは困難である。
【０００９】
本発明は、このような問題に鑑みてなされたものであり、音声信号区間推定技術と雑音除去技術との間でパラメータ等の情報を密に共有し、音声信号区間推定技術と雑音除去技術とを統合的に扱うことにより、高精度な音声信号区間推定及び雑音除去を行うことを可能にする雑音除去技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明では、まず、クリーン音声信号と無音信号の各出力確率を、それぞれ、複数の正規分布を含有する混合正規分布で表現した確率モデルの確率モデルパラメータをモデルパラメータ記憶部に格納しておく。そして、前記入力信号の音声特徴量を一定時間区間であるフレームごとに抽出して出力する音響信号分析過程と、前記音声特徴量と、前記モデルパラメータ記憶部に記憶されたクリーン音声信号と無音信号の各確率モデルパラメータとが入力され、過去のフレームから現在のフレームに向かって並列非線形カルマンフィルタにより現在のフレームの雑音モデルパラメータを逐次推定して出力する前向き推定過程を実行する。また、前記雑音モデルパラメータと、前記クリーン音声信号と無音信号の各確率モデルパラメータとが入力され、未来のフレームから現在のフレームに向かって並列カルマンスムーザにより現在フレームの雑音モデルパラメータを逐次後向き推定し、この後向き推定した雑音モデルパラメータに基づき、音声（雑音＋クリーン音声）信号と非音声（雑音＋無音）信号の各出力確率をそれぞれ混合正規分布で表現した確率モデルの確率モデルパラメータを逐次推定し、音声信号と非音声信号それぞれの出力確率を算出して出力する後向き推定過程を実行する。そして、前向き推定過程及び後向き推定過程で得られた計算結果をパラメータ記憶部に記憶する。
【００１１】
次に、前記音声信号の出力確率及び前記非音声信号の出力確率が入力され、音声状態確率と、非音声状態確率とを算出し、これらを出力する状態確率算出過程を実行する。
【００１２】
さらに、前記音声信号及び非音声信号の各確率モデルパラメータと、前記クリーン音声信号及び無音信号の各確率モデルパラメータと、前記音声状態確率及び前記非音声状態確率とを用いて雑音を除去するフィルタを生成し、前記入力信号に対して当該フィルタを適用して雑音除去音声信号を生成して出力する雑音除去過程を実行する。
【発明の効果】
【００１３】
本発明では、音声信号区間推定過程を実行するために生成した各パラメータを、雑音除去過程を実行するためのパラメータとして流用できる。その結果、音声信号区間推定技術と雑音除去技術との間でパラメータ等の情報を密に共有し、音声信号区間推定技術と雑音除去技術とを統合的に扱うことにより、高精度な音声信号区間推定及び雑音除去を行うことができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照しつつ、本発明の実施例について説明する。なお、以下の説明に用いる図面では、同一の部分には同一の符号を記してある。それらの名称、機能も同一であり、それらについての説明は繰り返さない。
【００１５】
以下の説明において、テキスト中で使用する記号「＾」「〜」等は、本来直後の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直前に記載する。式中においてはこれらの記号は本来の位置に記述している。以下の説明において、ベクトルについては例えば「ベクトルＡ」のように直前に「ベクトル」を付与して記載する。また、ベクトルの各要素単位で行われる処理は、特に断りが無い限り、ベクトルの全ての要素に対して適用されるものとする。
【００１６】
〔第１実施形態〕
＜構成＞
まず、本形態の雑音除去装置１の構成を説明する。
図１は、第１実施形態の雑音除去装置１の機能構成を示すブロック図である。
図１に示すように、雑音除去装置１は、音響信号分析部１０、モデルパラメータ記憶部２０、前向き推定部３０、後向き推定部４０、推定処理用パラメータ記憶部５０、状態確率比算出部６０、音声信号区間推定部７０、信号除去部８０及び制御部９０を有する。
【００１７】
なお、本形態の雑音除去装置１は、例えば、ＣＰＵ（central processing unit），ＲＡＭ（random-access memory）等からなる公知のコンピュータに所定のプログラムが読み込まれ、ＣＰＵがそのプログラムを実行することによって構築される。また、雑音除去装置１の各処理は制御部９０によって制御され、特に明示しない限り、各処理結果は、逐一レジスタ等の一時記憶メモリ（図示せず）に格納され、その後の処理で読み込まれて利用される。すなわち、以下では特に明示はしないが、ある処理部から他の処理部にデータが送られるとは、ある処理部で生成されたデータが一時記憶メモリに格納され、他の処理部がこの一時記憶メモリからこのデータを読み出すことを意味する。
【００１８】
図２（ａ）は、図１に示したモデルパラメータ記憶部２０の詳細を示す図であり、図２（ｂ）は、推定処理用パラメータ記憶部５０の詳細を示す図である。
図２（ａ）に示すように、本形態のモデルパラメータ記憶部２０は、無音ＧＭＭ記憶部２１、クリーン音声ＧＭＭ記憶部２２、非音声ＧＭＭ記憶部２３及び音声ＧＭＭ記憶部２４を有する。また、図２（ｂ）に示すように、本形態の推定処理用パラメータ記憶部５０は、初期雑音モデル推定用バッファ５１及び雑音モデル推定用バッファ５２を有する。
【００１９】
図３は、図１に示した前向き推定部３０の詳細構成を例示したブロック図である。図３に示すように、本形態の前向き推定部３０は、雑音モデルパラメータ予測部３１、雑音モデルパラメータ更新部３２、前向き確率モデルパラメータ生成部３３、前向き音声／非音声出力確率算出部３４、前向き第１加重平均算出部３５及び前向き第２加重平均算出部３７を有する。
【００２０】
図４は、図１に示した後向き推定部４０の詳細構成を例示したブロック図である。図４に示すように、本形態の後向き推定部４０は、雑音モデルパラメータ再推定部４２、後向き確率モデルパラメータ生成部４３、後向き音声／非音声出力確率算出部４４、後向き第１加重平均算出部４５、及び後向き第２加重平均算出部４７を有する。
【００２１】
図５は、図１に示した状態確率比算出部６０の詳細構成を例示したブロック図である。図５に示すように、状態確率比算出部６０は、状態遷移確率テーブル６１、前向き確率算出部６２、後向き確率算出部６３、確率比算出用バッファ６４及び確率比算出部６５を有する。
【００２２】
図６は、図１に示した音声信号区間推定部７０の詳細構成を例示したブロック図である。図６に示すように、音声信号区間推定部７０は、Ｌ(s)レジスタ７１、閾値ＴＨレジスタ７２及び比較部７３を有する。
【００２３】
図７は、図１に示した信号除去部８０の詳細構成を例示したブロック図である。図７に示すように、信号除去部８０は、周波数応答フィルタ生成部８１、インパルス応答フィルタ変換部８２、入力信号読み出し部８３及びフィルタリング部８４を有する。
【００２４】
＜処理の全体＞
次に、本形態の処理の全体を説明する。
本形態では、前処理で、クリーン音声信号と無音信号の各出力確率を、それぞれ、複数の正規分布を含有する混合正規分布で表現した確率モデルの確率モデルパラメータをモデルパラメータ記憶部に格納しておく。そして、前記入力信号の音声特徴量を一定時間区間であるフレームごとに抽出して出力する音響信号分析過程と、前記音声特徴量と、前記モデルパラメータ記憶部に記憶されたクリーン音声信号と無音信号の各確率モデルパラメータとが入力され、過去のフレームから現在のフレームに向かって並列非線形カルマンフィルタにより現在のフレームの雑音モデルパラメータを逐次推定して出力する前向き推定過程と、前記雑音モデルパラメータと、前記クリーン音声信号と無音信号の各確率モデルパラメータとが入力され、未来のフレームから現在のフレームに向かって並列カルマンスムーザにより現在フレームの雑音モデルパラメータを逐次後向き推定し、この後向き推定した雑音モデルパラメータに基づき、音声（雑音＋クリーン音声）信号と非音声（雑音＋無音）信号の各出力確率をそれぞれ混合正規分布で表現した確率モデルの確率モデルパラメータを逐次推定し、音声信号と非音声信号それぞれの出力確率を算出して出力する後向き推定過程と、前向き推定過程及び後向き推定過程で得られた計算結果をパラメータ記憶部に記憶する過程と、前記音声信号及び非音声信号それぞれの出力確率が入力され、音声状態確率と、非音声状態確率と、当該非音声状態確率に対する当該音声状態確率の比とを算出し、これらを出力する状態確率比算出過程とを実行する。そして、前記状態確率の比が入力され、フレームごとに当該状態確率の比としきい値とを比較して、各フレームが音声状態に属するか非音声状態に属するかを示す判定結果を出力する音声信号区間推定過程を実行する。さらに、前記音声信号及び非音声信号の各確率モデルパラメータである正規分布ごとの平均と、前記クリーン音声信号及び無音信号の各確率モデルパラメータである正規分布ごとの平均と、前記音声状態確率及び前記非音声状態確率とが入力され、前記音声信号と非音声信号の各確率モデルパラメータである正規分布ごとの前記平均に対する、前記クリーン音声信号と無音信号の各確率モデルパラメータである正規分布ごとの前記平均の各相対値を、前記音声状態確率及び前記非音声状態確率とを用いて加重平均し、雑音信号を除去する周波数応答フィルタを生成し、当該周波数応答フィルタをインパルス応答フィルタに変換し、前記入力信号に対して当該インパルス応答フィルタを畳み込んで雑音除去音声信号を生成して出力する雑音除去過程を実行する。
【００２５】
このように本形態では、音声信号区間推定過程のためのパラメータを、雑音除去過程のためのパラメータとして流用する。これにより、音声信号区間推定技術と雑音除去技術とを統合的に扱うことができ、高精度な音声信号区間推定及び雑音除去を行うことができる。さらに、本形態では、前記音声信号と非音声信号の各確率モデルパラメータである正規分布ごとの前記平均に対する、前記クリーン音声信号と無音信号の各確率モデルパラメータである正規分布ごとの前記平均の各相対値を、音声状態確率及び非音声状態確率を用いて加重平均し、雑音信号を除去する周波数応答フィルタを生成している。このように音声状態確率及び非音声状態確率を用いて加重平均することによって周波数応答フィルタの精度が向上し、雑音除去精度が向上する。
【００２６】
なお、本形態では、音声信号（クリーン音声信号及び無音信号）並びに雑音信号を次のように定義する。
【００２７】
雑音が全く存在しない防音室等で録音を行っても、録音された信号には極微小で白色的な雑音が観測される。本形態では、このような環境において観測される信号を無音信号と定義する。
【００２８】
従って、無音信号も雑音の一種であるといえるが、この雑音は録音機材等の電気回路や転送系などの電気的要因により発生する雑音である。一方、自動車の走行音や風の音などは、音波が大気中を伝わって観測される音響的要因により発生する雑音である。本形態では、電気的要因による雑音と音響的要因による雑音とを区別し、後者のみを雑音信号と定義する。
【００２９】
また、無音信号が観測されている環境において発話を行うと、発話音声信号が無音信号に重畳された形で観測される。本形態ではこの重畳された信号をクリーン音声信号と定義する。
【００３０】
そして、雑音信号が存在しない環境では、連続する無音信号の合間にクリーン音声信号が観測される。本形態では、これら無音信号とクリーン音声信号を総称して音声信号と定義する。
【００３１】
＜処理の詳細＞
次に、本形態の処理の詳細を説明する。
［前処理］
モデルパラメータ記憶部２０の無音ＧＭＭ記憶部２１及びクリーン音声ＧＭＭ記憶部２２には、それぞれ、あらかじめ用意された無音信号及びクリーン音声信号の確率モデルのパラメータが格納される。本形態では、確率モデルとして複数の正規分布を含有する混合正規分布モデル（ＧＭＭ：Gaussian Mixture Model）を利用する。なお、混合正規分布モデルに含まれる正規分布の数が多いほど推定精度は向上するが、処理速度は低下する。そのため、混合正規分布モデルに含まれる正規分布の数は、実効的には２〜５１２個の間の値が望ましく、３２個程度が最も望ましい。また、それぞれの正規分布は混合重みｗj,k、平均μSj,k,u、分散σSj,k,uをパラメータとして構成される。ここで、ｊはＧＭＭの種別（ｊ＝０：無音ＧＭＭ、ｊ＝１：クリーン音声ＧＭＭ）であり、ｋは各正規分布の番号である。なお、ＧＭＭの構成方法については公知の技術なので説明を省略する（例えば、中川聖一著、「確率モデルによる音声認識」、電子情報通信学会等参照）。この前処理を前提として以下の処理が実行される。
【００３２】
［音響信号分析部１０の処理］
まず、音響信号分析部１０に、所定のサンプリング周波数（例えば、８０００Ｈｚ）でサンプリングされ、離散信号に変換された音響信号oνが入力される。この音響信号oνは、目的信号である音声信号に雑音信号が重畳した信号となっており、本形態ではこれを入力信号oνと呼ぶ。また、νはサンプリング時刻を示す離散値である。
【００３３】
音響信号分析部１０は、入力信号oνを時間軸方向に一定時間幅で始点を移動させながら、一定時間長の入力信号ot,0，・・・，ot,m，・・・，ot,M-1をフレームとして切り出す。例えば、１６０サンプル点長（サンプリング周波数８０００Ｈｚで時間長２０ｍｓ）の入力信号を８０サンプル点（サンプリング周波数８０００Ｈｚで時間長１０ｍｓ）ずつ始点を移動させながら切り出す。なお、tは各フレームに付されたフレーム番号を示す。フレーム番号tの初期値は０であり、新たにフレームが切り出されるたびに直前のフレーム番号に１を加算した値が新たなフレーム番号として付与される。また、Mはフレーム毎に切り出されたサンプルの数を示し、ot、mはフレーム番号tのフレームが含むm+1番目の入力信号を示す。
【００３４】
そして、音響信号分析部１０は、フレーム毎に入力信号ot、0，・・・，ot、m，・・・，ot、M-1を高速フーリエ変換して周波数領域の信号に変換し、さらに２４次元のメルフィルタバンク分析を適用して２４個のスペクトルパワー係数を生成し、それらの対数をとることによって２４次元の対数メルスペクトルを要素に持つ、ベクトルＯｔ＝{Ｏt、0，・・・，Ｏt、u，・・・，Ｏt、23}を算出し出力する。本形態では、このベクトルＯｔを、フレーム番号ｔにおける音声特徴量として用いる（以下、音声特徴量Ｏｔと呼ぶ）。また、音声特徴量Ｏｔの要素の添字uはベクトルの要素番号であり、メルフィルタバンクのチャネル番号、すなわちメルフィルタバンク分析において周波数領域の信号にメルスケール上で掛け合わされる三角窓の番号に対応する。また、メルフィルタバンク分析の次数とは、フィルタバンクのチャネル数、すなわち上記三角窓の個数を意味する。本形態では、２４次元のメルフィルタバンク分析を行う場合を例示するが、次元数はこれに限定されない。また、メルフィルタバンク分析の内容についは公知の技術なので説明を省略する（例えば、非特許文献３等参照）。
【００３５】
［前向き推定部３０の処理］
図８は、第1実施形態の前向き推定部３０の処理手順を説明するためのフローチャートである。以下、この図と前述の図３とを用い、前向き推定部３０の処理を説明する。
【００３６】
まず、雑音モデルパラメータ予測部３１に、前記音声特徴量Ｏt,uとフレーム番号ｔ−１における前向き第２加重平均値^Ｎt-1,u、^σNt-1、uとが入力され、雑音モデルパラメータ予測部３１が、平均値Ｎt,upredと分散値σNt,upredとからなる雑音モデルパラメータ予測値を生成して出力する。
【００３７】
この具体的処理を、図８の処理手順に従い説明する。なお、図８では１つのフレームに対する処理のみが示されているが、実際は各フレームに対して同様な処理が繰り返される（以降説明する他のフローチャートについても同様）。
【００３８】
まず、制御部９０がフレーム判定処理Ｓ３０１を行い、音響信号分析部１０から出力される音声特徴量Ｏｔのフレーム番号を判定する。このフレーム判定処理Ｓ３０１においてｔ＜１０と判定されたのであれば、制御部９０は、バッファリング処理Ｓ３０２において推定処理用パラメータ記憶部５０の初期雑音モデル推定用バッファ５１に前記音響特徴量Ｏt,uを記憶し、そのフレームの前向き推定部３０の処理を終了する。
【００３９】
また、フレーム判定処理Ｓ３０１においてｔ＝１０と判定されたのであれば、雑音モデルパラメータ予測部３１は、読み出し処理Ｓ３０３において推定処理用パラメータ記憶部５０の初期雑音モデル推定用バッファ５１から音声特徴量Ｏ0,u、・・・、Ｏ9,uを読み出す。そして、雑音モデルパラメータ予測部３１は、初期パラメータ推定処理Ｓ３０４において初期の雑音モデルパラメータＮuinit、σNuinitを以下のように推定する。
【００４０】
【数１】
0004856662.tif 000002
【００４１】
また、フレーム判定処理Ｓ３０１においてｔ＞１０と判定されたのであれば、雑音モデルパラメータ予測部３１は、読み出し処理Ｓ３０５において推定処理用パラメータ記憶部５０の雑音モデル推定用バッファ５２から１フレーム前の前向き第２加重平均値^Ｎt-1,u、^σNt-1、uを読み出す。
【００４２】
なお、Ｓ３０１〜３０５の処理においてｔ＝１０を基準に判定しているが、これは最も望ましい基準値としての例示であり、実効的にはｔ＝１〜２０の範囲で適宜設定してよい。
【００４３】
ｔ≧１０の場合は、次にパラメータ予測処理Ｓ３０６を行う。ｔ＞１０の場合、雑音モデルパラメータ予測部３１は、読み出したフレーム番号ｔ−１における推定結果から現在のフレーム番号の雑音モデルパラメータを以下のランダムウォーク過程により予測する。
【００４４】
【数２】
0004856662.tif 000003
【００４５】
上式において、Ｎt,upredとσNt,upredはフレーム番号ｔにおける雑音モデルパラメータ予測値（平均値Ｎt,upredと分散値σNt,upred）であり、またεは雑音の変化の度合いを表す定数で実効的には０．０００１〜０．００１の間の値に設定するのが望ましく、０．００１程度が最も望ましい。また、ｔ＝１０の場合は以下のように予測する。
【００４６】
【数３】
0004856662.tif 000004
【００４７】
以上のように算出された平均値Ｎt,upredと分散値σNt,upredとからなる雑音モデルパラメータ予測値は、雑音モデルパラメータ更新部３２に送られる。
【００４８】
雑音モデルパラメータ更新部３２には、音響信号分析部１０から送られた前記音声特徴量Ｏt,uと、前記雑音モデルパラメータ予測値Ｎt,upred、σNt,upredと、モデルパラメータ記憶部２０の無音ＧＭＭ記憶部２１及びクリーン音声ＧＭＭ記憶部２２から読み込まれた前記無音信号及びクリーン音声信号それぞれの確率モデルパラメータμSj,k,u、σSj,k,uとが入力される。雑音モデルパラメータ更新部３２は、これらの情報を用い、平均値^Ｎt,j,k,uと分散値^σNt、j、k、uとからなる雑音モデルパラメータ更新値を生成して出力する。
【００４９】
この具体的処理を、図８の処理手順に従い説明する。
パラメータ更新処理Ｓ３０７においては、前記クリーン音声信号、無音信号それぞれの確率モデルパラメータは正規分布ごとに複数存在するため、これら複数のパラメータを使って、かつそれぞれ並行して前記雑音モデルパラメータ予測値の更新処理を行う。すなわち、前記クリーン音声信号、無音信号それぞれの確率モデルに含まれる正規分布の合計数と同数の更新結果を得る。雑音モデルパラメータ更新部３２は、入力された各情報を用い、次式に従って雑音モデルパラメータの更新処理を行う。
【００５０】
【数４】
0004856662.tif 000005
【００５１】
式(11)と式(12)で求められた^Ｎt,j,k,uと^σNt、j、k、uとが雑音モデルパラメータ更新値（平均値^Ｎt,j,k,uと分散値^σNt、j、k、u）である。算出された雑音モデルパラメータ更新値（平均値^Ｎt,j,k,uと分散値^σNt、j、k、u）は、確率モデルパラメータ生成部３３に送られる。また、平均値^Ｎt,j,k,uと分散値^σNt、j、k、uは、前向き第１加重平均算出部３５にも送られる。
【００５２】
前向き確率モデルパラメータ生成部３３には、雑音モデルパラメータ更新部３２から送られた前記雑音モデルパラメータ更新値^Ｎt,j,k,u、^σNt、j、k、uと、モデルパラメータ記憶部２０の無音ＧＭＭ記憶部２１及びクリーン音声ＧＭＭ記憶部２２から読み込まれた前記無音信号及びクリーン音声信号それぞれの確率モデルパラメータμSj,k,u、σSj,k,uとが入力される。雑音モデルパラメータ更新部３２は、これらの情報を用い、平均値μOt,j,k,uと分散値σOt、j、k、uとからなる前向き確率モデルパラメータを生成して出力する。
【００５３】
この具体的処理を、図８の処理手順に従い説明する。
確率モデルパラメータ生成処理Ｓ３０８では、前向き確率モデルパラメータ生成部３３が、入力された各情報を用い、フレーム番号ｔにおける雑音環境に適合した、音声（雑音＋クリーン音声：ｊ＝１）、非音声（雑音＋無音：ｊ＝０）それぞれの確率モデルの平均μOt,j,k,uと分散σOt、j、k、uを次式により生成する。
【００５４】
【数５】
0004856662.tif 000006
【００５５】
以上のように設定された音声、非音声それぞれの確率モデルのパラメータμOt,j,k,u、σOt、j、k、uは、それぞれ、モデルパラメータ記憶部２０の音声ＧＭＭ記憶部２４及び非音声ＧＭＭ記憶部２３に格納されるとともに、前向き音声／非音声出力確率算出部３４に送られる。なお、ここでの混合重みは前記クリーン音声信号、無音信号それぞれの確率モデルパラメータにおける混合重みｗj,kであるものとして以降の処理を行う。
【００５６】
前向き音声／非音声出力確率算出部３４には、音響信号分析部２０から送られた前記音声特徴量Ｏt,uと、前記音声、非音声それぞれの確率モデルパラメータμOt,j,k,u、σOt、j、k、uと、モデルパラメータ記憶部２０の無音ＧＭＭ記憶部２１及びクリーン音声ＧＭＭ記憶部２２から読み込まれた前記クリーン音声信号、無音信号それぞれの確率モデルパラメータにおける混合重みｗj,kとが入力される。前向き音声／非音声出力確率算出部３４は、これらの情報を用い、フレーム番号ｔにおける音声・非音声の前向き出力確率ｂｊ(Ｏｔ）と、この前向き出力確率ｂｊ(Ｏｔ）を前記正規分布ｋごとに分解して正規化した前向き正規化出力確率ｗOFj,kとを生成して出力する。
【００５７】
この具体的処理を、図８の処理手順に従い説明する。
出力確率算出処理Ｓ３０９では、前向き音声／非音声出力確率算出部３４が、前記音声特徴量Ｏt,uをＳ３０８の処理で生成された前記音声、非音声それぞれの確率モデルに入力した際の、前記音声、非音声それぞれの確率モデル全体における音声、非音声の前向き出力確率ｂｊ(Ｏｔ）を次式により求める。
【００５８】
【数６】
0004856662.tif 000007
【００５９】
また、上式のｗj,kｂj,k(Ｏｔ)は、音声、非音声それぞれの確率モデルに含まれる各正規分布ｋの出力確率である。前向き音声／非音声出力確率算出部３４は、ｗj,kｂj,k(Ｏｔ)の合計が１になるよう次式で正規化を行う。
【００６０】
【数７】
0004856662.tif 000008
【００６１】
上式のｗOFt,j,kが、音声、非音声それぞれの確率モデルに含まれる各正規分布ｋの前向き正規化出力確率である。前向き音声／非音声出力確率算出部３４は、生成した音声、非音声の前向き出力確率ｂｊ(Ｏｔ）を前向き第２加重平均算出部３７及び状態確率比算出部６０に送り、前向き正規化出力確率ｗOF t,j,kを前向き第１加重平均算出部３５に送る。また、前向き正規化出力確率ｗOF t,j,kは、推定処理用パラメータ記憶部５０の雑音モデル推定用バッファ５２に格納される。
【００６２】
前向き第１加重平均算出部３５には、前記雑音モデルパラメータ更新値^Ｎt,j,k,u、^σNt、j、k、uと前記前向き正規化出力確率ｗOF t,j,kとが入力され、平均値^Ｎt,j,uと分散値^σNt、j、uとからなる雑音モデルパラメータの前向き第１加重平均値を出力する。
【００６３】
この具体的処理を、図８の処理手順に従い説明する。
第１加重平均処理Ｓ３１０では、前向き第１加重平均算出部３５が、パラメータ更新処理Ｓ３０７で得られた複数の雑音モデルパラメータ更新結果を、出力確率算出処理Ｓ３０９で得られた前向き正規化出力確率ｗOF t,j,kを用いて加重平均することにより、音声、非音声それぞれの確率モデルに対応する雑音パラメータ推定結果である前向き第１加重平均値^Ｎt,j,u、^σNt、j、uを得る。加重平均は次式により行う。
【００６４】
【数８】
0004856662.tif 000009
【００６５】
生成された前向き第１加重平均値^Ｎt,j,u、^σNt、j、uは前向き第２加重平均算出部３７に送られる。
【００６６】
前向き第２加重平均算出部３７には、前記前向き第１加重平均値^Ｎt,j,u、^σNt、j、uと、前記前向き出力確率ｂｊ(Ｏｔ）とが入力され、前向き第２加重平均算出部３７は、平均値^Ｎt,uと分散値^σNt、uとからなるフレーム番号ｔにおける前向き第２加重平均値を生成して出力する。
【００６７】
この具体的処理を、図８の処理手順に従い説明する。
第２加重平均処理Ｓ３１２では、前向き第２加重平均算出部３７が、第１加重平均処理Ｓ３１０で得られた前向き第１加重平均値^Ｎt,j,u、^σNt、j、uを、出力確率算出処理Ｓ３０９で得られた前向き出力確率ｂｊ(Ｏｔ）を用いて加重平均することにより、フレーム番号ｔにおける雑音モデルパラメータ推定結果である前向き第２加重平均値^Ｎt,u、^σNt、uを算出し、次のフレームの雑音パラメータの推定に利用する。加重平均は次式により行う。
【００６８】
【数９】
0004856662.tif 000010
【００６９】
最後にＳ３１３のバッファリング処理で、制御部９０が、フレーム番号tのフレームが含む各入力信号ot、0，・・・，ot、m，・・・，ot、M-1、Ｓ３０１〜３１２の処理により得られた当該フレーム番号ｔにおける音声特徴量Ｏt,u、雑音モデルパラメータ予測値Ｎt,upred、σNt,upred、雑音モデルパラメータ更新値^Ｎt,j,k,u、^σNt、j、k、u、及び前向き第２加重平均値^Ｎt,u、^σNt、uを推定処理用パラメータ記憶部５０の雑音モデル推定用バッファ５２に格納する。
【００７０】
式(3)(4)の予測処理、及び式(7)〜(12)の更新処理は、従来の非線形カルマンフィルタと計算式の構成自体は同様であるが、本形態ではクリーン音声信号、無音信号それぞれのＧＭＭに含まれる複数の正規分布ごとに複数のフィルタを構成し、これらを利用することにより得られる複数の推定結果を加重平均する（並列非線形カルマンフィルタ）。このような処理を行うことによって、より正確な雑音モデルのパラメータ推定が実現される。
【００７１】
［後向き推定部４０の処理］
図９は、第1実施形態の後向き推定部４０の処理手順を説明するためのフローチャートである。以下、この図と前述の図４とを用い、後向き推定部４０の処理を説明する。
【００７２】
まず、雑音モデルパラメータ再推定部４２に、推定処理用パラメータ記憶部５０の雑音モデル推定用バッファ５２に記憶されたフレーム番号ｓにおける雑音モデルパラメータ予測値Ｎs,upred、σNs,upred、フレーム番号ｓ−１における雑音モデルパラメータ更新値^Ｎs-1,j,k,u、^σNs-1、j、k、u及びフレーム番号ｓにおける雑音モデルパラメータ再推定値〜Ｎs,j,k,u、〜σNs、j、k、uとが入力され、雑音モデルパラメータ再推定部４２は、平均値〜Ｎs-1,j,k,uと分散値〜σNs-1、j、k、uとからなるフレーム番号ｓ−１における雑音モデルパラメータ再推定値を生成して出力する。
【００７３】
この具体的処理を、図９の処理手順に従い説明する。
まず、制御部９０がフレーム判定処理Ｓ４０１を行い、音響信号分析部１０から出力される音声特徴量Ｏｔのフレーム番号を判定する。このフレーム判定処理Ｓ４０１においてｔ＜１０と判定されたのであれば、制御部９０は、変数設定処理Ｓ４０２において変数ｔｂを０に設定し、そのフレームの後向き推定部４０の処理を終了する。
【００７４】
また、ｔ≧１０と判定されたのであれば、制御部９０は、変数判定処理Ｓ４０３においてｔｂが後向き推定に要するフレーム数Ｂ未満であれば変数書替処理Ｓ４０４にてｔｂの値を１加算して処理を終了し、ｔｂの値がＢ以上であれば変数設定処理Ｓ４０５において後向き推定用カウンタ値ｂｗにＢを設定する。Ｂは大きいほど推定精度向上に寄与する反面、処理速度を損なうため、実効的には１〜１０の間の値に設定するのが望ましく、１０程度が最も望ましい。
【００７５】
次に、雑音モデルパラメータ再推定部４２が、読み出し処理Ｓ４０６において、推定処理用パラメータ記憶部５０の雑音モデル推定用バッファ５２から前向き推定部３０において算出されたフレーム番号ｓ＝ｔ−Ｂ＋ｂｗにおける雑音モデルパラメータ予測値Ｎs,upred、σNs,upred、フレーム番号ｓ−１における音響特徴量Ｏs-1,u、フレーム番号ｓ−１における雑音モデルパラメータ更新値^Ｎs-1,j,k,u、^σNs-1、j、k、u、及び後向き推定部４０において算出されたフレーム番号ｓ＝ｔ−Ｂ＋ｂｗにおける雑音モデルパラメータ再推定値〜Ｎs,j,k,u、〜σNs、j、k、uを読み出す。なお、ｂｗ＝Ｂ、すなわちフレーム番号ｓ＝ｔの場合は、雑音モデルパラメータ再推定部４２は、^Ｎt,j,k,u、^σNt、j、k、u、^Ｎt,u、^σNt、uを雑音モデル推定用バッファ５２から読み出し、〜Ｎs,j,k,u＝^Ｎt,j,k,u、〜σNs、j、k、u＝^σNt、j、k、u、〜Ｎs,u＝^Ｎt,u、〜σNs、u＝^σNt、uとする。
【００７６】
そして、雑音モデルパラメータ再推定部４２は、パラメータ平滑処理Ｓ４０７において、後向き推定を用いて次式によるパラメータの再推定（平滑化）を行う。
【００７７】
【数１０】
0004856662.tif 000011
【００７８】
式(27)と式(28)で求められた〜Ｎs-1,j,k,uと〜σNs-1、j、k、uとが雑音モデルパラメータ再推定値である。なお、〜Ｎs-1,j,k,uと〜σNs-1、j、k、uは次回の平滑処理のために推定処理用パラメータ記憶部５０の雑音モデル推定用バッファ５２に記憶するとともに、後向き確率モデルパラメータ生成部４３に送られる。
【００７９】
後向き確率モデルパラメータ生成部４３には、前記雑音モデルパラメータ再推定値〜Ｎs-1,j,k,u、〜σNs-1、j、k、uと、モデルパラメータ記憶部２０の無音ＧＭＭ記憶部２１及びクリーン音声ＧＭＭ記憶部２２から読み込まれた前記無音信号及びクリーン音声信号それぞれの確率モデルパラメータμSj,k,u、σSj,k,uとが入力される。後向き確率モデルパラメータ生成部４３は、これらの情報を用い、平均値μOs-1,j,k,uと分散値σOs-1、j、k、uとからなる後向き確率モデルパラメータを算出して出力する。
【００８０】
この具体的処理を、図９の処理手順に従い説明する。
確率モデルパラメータ生成処理Ｓ４０８では、後向き確率モデルパラメータ生成部４３が、フレーム番号ｓ−１における雑音環境に適合した、音声（雑音＋クリーン音声：ｊ＝１）、非音声（雑音＋無音：ｊ＝０）それぞれの確率モデルパラメータμOs-1,j,k,u、σOs-1、j、k、uを次式により生成する。
【００８１】
【数１１】
0004856662.tif 000012
【００８２】
以上のように設定された音声、非音声それぞれの確率モデルのパラメータμOs-1,j,k,u、σOs-1、j、k、uは、それぞれ、モデルパラメータ記憶部２０の音声ＧＭＭ記憶部２４及び非音声ＧＭＭ記憶部２３に格納されるとともに、後向き音声／非音声出力確率算出部４４に送られる。なお、ここでの混合重みについても前記クリーン音声信号、無音信号それぞれの確率モデルパラメータにおける混合重みｗj,kであるものとして以降の処理を行う。
【００８３】
後向き音声／非音声出力確率算出部４４には、音響信号分析部２０から送られた前記音声特徴量Ｏs-1,uと、前記音声、非音声それぞれの確率モデルパラメータμOs-1,j,k,u、σOs-1、j、k、uと、モデルパラメータ記憶部２０の無音ＧＭＭ記憶部２１及びクリーン音声ＧＭＭ記憶部２２から読み込まれた前記クリーン音声信号、無音信号それぞれの確率モデルパラメータにおける混合重みｗj,kとが入力される。後向き音声／非音声出力確率算出部４４は、これらの情報を用い、フレーム番号ｓ−１における音声・非音声の出力確率ｂｊ(Ｏs-1）と、この出力確率ｂｊ(Ｏs-1）を前記正規分布ｋごとに分解して正規化した後向き正規化出力確率ｗOBs-1,j,kとを出力する。
【００８４】
この具体的処理を、図９の処理手順に従い説明する。
出力確率算出処理Ｓ４０９では、後向き音声／非音声出力確率算出部４４が、前記音声特徴量Ｏs-1,uをＳ４０８の処理で生成された前記音声、非音声それぞれの確率モデルに入力した際の、前記音声、非音声それぞれの確率モデル全体における音声、非音声の出力確率ｂｊ(Ｏs-1）を次式により求める。
【００８５】
【数１２】
0004856662.tif 000013
【００８６】
また、上式のｗj,kｂj,k(Ｏs-1)は、音声、非音声それぞれの確率モデルに含まれる各正規分布ｋの出力確率である。後向き音声／非音声出力確率算出部４４は、ｗj,kｂj,k(Ｏs-1)の合計が１になるよう次式で正規化を行う。
【００８７】
【数１３】
0004856662.tif 000014
【００８８】
上式のｗOBs-1,j,kが、音声、非音声それぞれの確率モデルに含まれる各正規分布ｋの後向き正規化出力確率である。後向き音声／非音声出力確率算出部４４は、生成した音声、非音声の前向き出力確率ｂj,k(Ｏs-1)を後向き第２加重平均算出部４７及び状態確率比算出部６０に送り、後向き正規化出力確率ｗOBs-1,j,kを後向き第１加重平均算出部４５に送る。さらに、後向き音声／非音声出力確率算出部４４は、後向き正規化出力確率ｗOBs-1,j,kを推定処理用パラメータ記憶部５０の雑音モデル推定用バッファ５２に格納する。
【００８９】
後向き第１加重平均算出部４５には、前記雑音モデルパラメータ再推定値〜Ｎs-1,j,k,u、〜σNs-1、j、k、uと、前記後向き正規化出力確率ｗOBs-1,j,kとが入力され、後向き第１加重平均算出部４５は、平均値〜Ｎs-1,j,uと分散値〜σNs-1、j、uとからなる雑音モデルパラメータの後向き第１加重平均値を出力する。
【００９０】
この具体的処理を、図９の処理手順に従い説明する。
第１加重平均処理Ｓ４１０では、後向き第１加重平均算出部４５が、パラメータ平滑処理Ｓ４０７で得られた複数の雑音モデルパラメータ更新結果を出力確率算出処理Ｓ４０９で得られた後向き正規化出力確率ｗOBs-1,j,kを用いて加重平均することにより、音声、非音声それぞれの確率モデルに対応する雑音パラメータ推定結果である後向き第１加重平均値〜Ｎs-1,j,u、〜σNs-1、j、uを得る。加重平均は次式により行う。
【００９１】
【数１４】
0004856662.tif 000015
【００９２】
生成された後向き第１加重平均値〜Ｎs-1,j,u、〜σNs-1、j、uは後向き第２加重平均算出部４７に送られる。  
【００９３】
後向き第２加重平均算出部４７には、前記後向き第１加重平均値〜Ｎs-1,j,u、〜σNs-1、j、uと前記出力確率ｂｊ(Ｏs-1）とが入力され、平均値〜Ｎs-1,uと分散値〜σNs-1、uとからなるフレーム番号ｓ−１における後向き第２加重平均値を出力する。
【００９４】
この具体的処理を、図９の処理手順に従い説明する。
第２加重平均処理Ｓ４１２では、後向き第２加重平均算出部４７が、第１加重平均処理Ｓ４１０で得られた後向き第１加重平均値〜Ｎs-1,j,u、〜σNs-1、j、uを、出力確率算出処理Ｓ４０９で得られた出力確率ｂｊ(Ｏs-1）、を用いて加重平均することにより、フレーム番号ｓ−１における雑音モデルパラメータ推定結果である後向き第２加重平均値〜Ｎs-1,u、〜σNs-1、uを算出し、次のフレーム番号の雑音パラメータの推定に利用する。加重平均は次式により行う。
【００９５】
【数１５】
0004856662.tif 000016
【００９６】
生成された後向き第２加重平均値〜Ｎs-1,u、〜σNs-1、u推定処理用パラメータ記憶部５０の雑音モデル推定用バッファ５２に格納される。
【００９７】
そして、制御部９０が、変数書替処理Ｓ４１３において、ｂｗの値を１減算（すなわちフレーム番号ｓの値を１減算）し、変数判定処理Ｓ４１４において、ｂｗ＞０であれば処理をＳ４０６に戻し、そうでなければ処理を終了する。
【００９８】
前向き推定部３０の各処理で得られた結果のうち、出力確率算出処理Ｓ３０９で得られた出力確率ｂｊ(Ｏｔ）と、後向き推定部４０の各処理で得られた結果のうち、出力確率算出処理Ｓ４０９で得られた出力確率ｂｊ(Ｏs-1）が、状態確率比算出部６０における処理に使用される。つまり、出力確率ｂｊ(Ｏｔ）,..., ｂｊ(Ｏt-B）が状態確率比算出部６０への入力パラメータとなる。
【００９９】
式 (26)〜(28)の平滑処理は、従来のカルマンスムーザと計算式の構成自体は同様であるが、本形態ではクリーン音声信号、無音信号それぞれのＧＭＭに含まれる複数の正規分布ごとに複数のフィルタを構成し、これらを利用することにより得られる複数の推定結果を加重平均する（並列カルマンスムーザ）。このような処理を行うことによって、より正確な雑音モデルのパラメータ推定が実現される。
【０１００】
パラメータ記憶部５０の雑音モデル推定用バッファ５２は、前向き推定部３０と後向き推定部４０における処理の過程で得られた計算結果を記憶する。
【０１０１】
［状態確率比算出部６０の処理］
状態遷移確率テーブル６１は、有限状態機械により表現された音声／非音声の状態遷移モデルにおいて適宜設定した状態遷移確率ａi,jを記憶する。
【０１０２】
図１２は、音声状態／非音声状態の状態遷移モデルを示す概念図であり、非音声状態Ｈ０と音声状態Ｈ１と各状態への状態遷移確率ａi,jとを含む（ｉは状態遷移元の状態番号、ｊは状態遷移先の状態番号で、状態番号０は非音声状態を、状態番号１は音声状態を示す）。ａi,jは音声状態確率及び非音声状態確率を求める上での基準となる値で、定数を設定しても入力信号の特徴に応じて適応的に決定しても構わないが、本形態においては定数を設定し、これを状態遷移確率テーブル６１に記憶して音声状態確率及び非音声状態確率の計算に使用する。設定するａi,jはａi,0＋ａi,1＝１を満たす値で、ａ0,0及びａ1,1を0.5〜0.9の範囲で、ａ0,1及びａ1,0を0.5〜0.1の範囲で設定するのが望ましく、ａ0,0＝0.8、ａ0,1＝0.2、ａ1,0＝0.1、ａ1,1＝0.9程度が最も望ましい。
【０１０３】
前向き確率算出部６２は、前記出力確率ｂｊ(Ｏs）と、状態遷移確率ａi,jと、フレーム番号ｓ−１の前向き確率αs-1、jとが入力され、フレーム番号ｓの前向き確率αs、jを出力する。
【０１０４】
図１０は、状態確率比算出部６０の処理手順を説明するためのフローチャートである。
この具体的処理を、図１０の処理手順に従い説明する。
音声状態確率及び非音声状態確率の算出は、まず前向き確率αs、jを求め、続いて後向き確率βs、jを求めて、それらの積をとることによって求める。そして、フレーム番号ｓの後向き確率βs、jは、前記後向き推定部４０における計算と同様にＢフレーム未来のフレーム番号ｓ＋Ｂから遡って算出する。
【０１０５】
そこで、まず、制御部９０が、変数判定処理Ｓ６０１において、音響信号分析部１０から出力される音声特徴量Ｏｔのフレーム番号を判定する。ここで、ｔ＜１０＋Ｂ、すなわちｓ＜１０と判定された場合は、前向き確率算出部６２が、初期値設定処理Ｓ６０２において前向き確率αs、jを以下のように設定し、それらをバッファリング処理Ｓ６０３において確率比算出用バッファ６４に記憶して処理を終了する。
【０１０６】
αs,0＝１        (42)
αs,1＝０        (43)
ｔ＜１０＋Ｂでない場合、すなわちｓ≧１０の場合は、前向き確率算出部６２が、読み出し処理Ｓ６０４において、確率比算出用バッファ６４からフレーム番号ｓ−１の前向き確率αs-1、jを読み出す。
【０１０７】
次に、前向き確率算出部６２は、前向き確率算出処理Ｓ６０５において状態遷移確率テーブル６１から音声状態確率ａi,jを読み出し、これとフレーム番号ｓの前記出力確率ｂｊ(Ｏs）と、フレーム番号ｓ−１の前記前向き確率αs-1、jとから次式によりフレーム番号ｓの前向き確率αs、jを算出し、これらをバッファリング処理６０６において確率比算出用バッファ６４に記憶する。
【０１０８】
【数１６】
0004856662.tif 000017
【０１０９】
後向き確率算出部６３は、フレーム番号ｓ＋１の前記出力確率ｂｊ(Ｏs+1）と、状態遷移確率ａi,jと、フレーム番号ｓ＋１の後向き確率βs+1、iとが入力され、フレーム番号ｓの後向き確率βs、iを出力する。
【０１１０】
この具体的処理を、図１０の処理手順に従い説明する。
まず、変数設定処理Ｓ６０７において、制御部９０が、後向き確率算出用のカウンタｂｗの値をＢに設定する。
【０１１１】
次に、後向き確率算出部６３が、後向き確率算出処理Ｓ６０８において状態遷移確率テーブル６１から音声状態確率ａi,jを読み出し、これとフレーム番号ｓ＋ｂｗの前記出力確率ｂｊ(Ｏs+bw）とフレーム番号ｓ＋ｂｗの前記後向き確率βbw、jとからフレーム番号ｓ＋ｂｗ−１の後向き確率βs+bw-1、iを次式により算出する。なお、ｂｗ＝Ｂの場合は初期値βs+B,i＝１を与える。
【０１１２】
【数１７】
0004856662.tif 000018
【０１１３】
そして、制御部９０が、変数書替処理Ｓ６０９においてｂｗの値を１減算し、変数判定処理Ｓ６１０においてｂｗ＞０であれば処理をＳ６０７に戻し、そうでなければこの時点でフレーム番号ｓにおける後向き確率βs,iが得られるので、これをバッファリング処理Ｓ６１１において確率比算出用バッファ６４に記憶し、確率比算出処理Ｓ６１２に移行する。
【０１１４】
確率比算出用バッファ６４は、前向き確率算出部６２で算出された前向き確率αs、jと、後向き確率算出部６３で算出されたと後向き確率βs,iを記憶する。
【０１１５】
確率比算出部６５には、前記前向き確率αs、jと前記後向き確率βs,iとが入力され、確率比算出部６５は、図１０の確率比算出処理Ｓ６１２において、非音声状態の確率に対する音声状態の確率の比Ｌ(s)を次式により算出する。
【０１１６】
【数１８】
0004856662.tif 000019
【０１１７】
つまり、状態確率比算出部６０は、該当フレーム番号ｔよりもＢフレーム過去のフレーム番号ｓ＝ｔ−Ｂにおける前向き確率αs,j、後向き確率βs,i、及び非音声状態の確率に対する音声状態の確率の比Ｌ(s)を算出することになる。このように算出された音声状態の確率の比Ｌ(s)は、音声信号区間推定部７０に送られる。また、その生成過程で得られた音声状態／非音声状態確率γｓ,ｊは、推定処理用パラメータ記憶部５０の雑音モデル推定用バッファ５２に格納される。
【０１１８】
なお、式(46)は以下に示す過程を経て導かれる。
まず、フレーム番号ｓにおける信号の状態をｑｓ＝Ｈｊと定義すると、非音声状態確率ｐ（ｑｓ＝Ｈ０｜Ｏ0:s）及び音声状態確率ｐ（ｑｓ＝Ｈ１｜Ｏ0:s）はベイズの定理により次式により得られる。
【０１１９】
【数１９】
0004856662.tif 000020
【０１２０】
上式において、Ｏ0:s＝{Ｏ0，・・・，Ｏs}であり、雑音信号Ｎ0:s＝{Ｎ0，・・・，Ｎs}の時間変動を考慮すると、上式は次式のように拡張される。
【０１２１】
【数２０】
0004856662.tif 000021
【０１２２】
上式は、過去のフレーム番号の状態を考慮した再帰式（１次マルコフ過程）により、次式のように展開される。
【０１２３】
【数２１】
0004856662.tif 000022
【０１２４】
上式において、ｐ(ｑｓ＝Ｈｊ|ｑs-1＝Ｈｉ)＝ａi,j、ｐ(Ｏｓ|ｑｓ＝Ｈｊ,Ｎｓ)＝ｂｊ(Ｏｓ)、ｐ(Ｎｓ|Ｎs-1)＝１に相当し、またｐ(Ｏｓ,ｑｓ＝Ｈｊ,Ｎｓ)は時間軸方向に算出される前向き確率αs、jに相当する。すなわち上式は、次式の再帰式により得られる。
【０１２５】
【数２２】
0004856662.tif 000023
【０１２６】
次に、時刻ｓより未来の時刻、すなわち時刻ｓ＋１，・・・，ｔ＝ｓ＋Ｂにおける状態の影響を考慮すると、非音声状態確率ｐ（ｑｓ＝Ｈ０｜Ｏ0:t）及び音声状態確率ｐ（ｑｓ＝Ｈ１｜Ｏ0:t）は以下のようになる。
【０１２７】
【数２３】
0004856662.tif 000024
【０１２８】
上式の確率ｐ(Ｏs+1:t,Ｎs+1:t|ｑｓ,Ｎｓ)は、フレーム番号ｓより未来のフレーム番号の状態を考慮した再帰式（１次マルコフ過程）により、次式のように展開される。
【０１２９】
【数２４】
0004856662.tif 000025
【０１３０】
上式において、ｐ(ｑS+1＝Ｈｊ|ｑs＝Ｈｉ)＝ａi,j、ｐ(ＯS+1|ｑS+1＝Ｈｊ,ＮS+1) ＝ｂｊ(ＯS+1)、ｐ(Ｎｓ＋１|Ｎs)＝１に相当し、またｐ(ＯS+1:t,ＮS+1:t|ｑｓ＝Ｈｉ,Ｎｓ)は時間軸方向に算出される後向き確率βs、ｉに相当する。すなわち上式は、次式の再帰式により得られる。
【０１３１】
【数２５】
0004856662.tif 000026
【０１３２】
よって、式(51)の確率ｐ(Ｏ０:ｓ,ｑｓ＝Ｈｊ,Ｎ０:ｓ)・ｐ(Ｏs+1:t,Ｎs+1:t|ｑｓ＝Ｈｉ,Ｎｓ) は、次式のような前向き確率αｓ,ｊと後向き確率βｓ,ｊの積で得られる。
γｓ,ｊ＝αｓ,ｊ・βｓ,ｊ      (54)
ここで、音声状態確率と非音声状態の確率の比Ｌ(s)は次式により得られる。
【０１３３】
【数２６】
0004856662.tif 000027
【０１３４】
また、雑音信号Ｎ0:s＝{Ｎ0，・・・，Ｎs}の時間変動を考慮すると、上式は次式のように拡張される。
【０１３５】
【数２７】
0004856662.tif 000028
【０１３６】
次に、フレーム番号ｓより未来のフレーム番号、すなわちフレーム番号ｓ＋１，・・・，ｔ＝ｓ＋Ｂにおける状態の影響を考慮すると、確率比Ｌ(s)は次式のように表現される。
【０１３７】
【数２８】
0004856662.tif 000029
【０１３８】
ここで、式(54)を用いて式(57)を変形すると以下のようになり、式(46)が導かれる。
【０１３９】
【数２９】
0004856662.tif 000030
【０１４０】
［音声信号区間推定部７０の処理］
音声信号区間推定部７０に、状態確率比算出部６０から出力さ音声状態の確率の比Ｌ(s)が入力され、音声信号区間推定部７０は、フレーム番号ｓのフレームが音声状態に属するか非音声状態に属するかを判定する。
【０１４１】
Ｌ(s)レジスタ７１（図６）は、状態確率比算出部６０において算出された前記非音声状態の確率に対する音声状態の確率の比Ｌ(s）を入力し記憶する。
【０１４２】
閾値ＴＨレジスタ７２は、比較部７３において前記確率比Ｌ(s)が音声状態に属するか非音声状態に属するかを判断する閾値ＴＨを記憶する。なお、閾値ＴＨの値は、事前に固定された値に決定しておいても、入力信号の特徴に応じて適応的に決定してもよい。固定値を設定する場合は、一般的には１０程度の値に設定するのが最も望ましいが、用途に応じ0.5〜10,000の範囲で適宜設定して構わない。
【０１４３】
比較部７３は、Ｌ(s)レジスタ７１から前記確率比Ｌ(s)を読み出すとともに、閾値レジスタ７２から閾値ＴＨを読み出し、フレーム番号ｓのフレームが音声状態に属するか非音声状態に属するかを判定し、判定結果ＶＡＤ(ｓ)を出力する。
【０１４４】
具体的には、例えばＬ(s)の値が閾値ＴＨ以上であれば、フレーム番号ｓのフレームが音声状態に属すると判断してＶＡＤ(ｓ)＝１を出力し、閾値ＴＨ未満であれば、フレーム番号ｓのフレームが非音声状態に属すると判断してＶＡＤ(ｓ)＝０を出力する。出力された判定結果は、信号除去部８０に送られる。
【０１４５】
[信号除去部８０の処理]
図１１（ａ）は、信号除去部８０が行うフィルタ生成処理を説明するためのフローチャートであり、図１１（ｂ）は、フィルタリング処理を説明するためのフローチャートである。
【０１４６】
信号除去部８０（図７）には、前記音声信号及び非音声信号の各確率モデルパラメータである正規分布ごとの平均μＳｊ,ｋ,ｕと、前記クリーン音声信号及び無音信号の各確率モデルパラメータである正規分布ごとの平均μＯｓ,ｊ,ｋ,ｕと、音声、非音声それぞれの確率モデルに含まれる各正規分布ｋの後向き正規化出力確率ｗＯＢｓ,ｊ,ｋと、前記音声状態確率及び前記非音声状態確率γｓ,ｊとが入力される。信号除去部８０は、前記音声信号と非音声信号の各確率モデルパラメータである正規分布ごとの前記平均μＯｓ,ｊ,ｋ,ｕに対する、前記クリーン音声信号と無音信号の各確率モデルパラメータである正規分布ごとの前記平均μＳｊ,ｋ,ｕの各相対値(μＳｊ,ｋ,ｕ−μＯｓ,ｊ,ｋ,ｕ)を、正規分布ごとの後向き正規化出力確率ｗＯＢｓ,ｊ,ｋと、前記音声状態確率及び前記非音声状態確率γｓ,ｊとを用いて加重平均し、雑音信号を除去する周波数応答フィルタを生成し、当該周波数応答フィルタをインパルス応答フィルタに変換し、前記入力信号に対して当該インパルス応答フィルタを畳み込んで雑音除去音声信号を生成して出力する。
【０１４７】
この具体的処理を、図１１（ａ）の処理手順に従い説明する。
信号除去部８０は、現在のフレーム番号ｔのフレームよりもＢフレーム遡ったフレームｓ＝ｔ−Ｂに視点を移して処理を行う。まず、制御部９０がフレーム判定処理Ｓ７０１を行い、音響信号分析部１０から出力される音声特徴量Ｏｔ＋Ｂのフレーム番号を判定する。このフレーム判定処理Ｓ７０１においてｔ＜１０＋Ｂ、すなわちｓ＜１０であると判定されたのであれば、制御部９０は、そのフレームの信号除去部８０の処理を終了する。
【０１４８】
また、フレーム判定処理Ｓ３０１においてｔ＜１０＋Ｂでないと判定されたのであれば、周波数応答フィルタ生成部８１が、雑音モデル推定用バッファ読出処理７０２において、推定処理用パラメータ記憶部５０の雑音モデル推定用バッファ５２から、正規分布ごとの後向き正規化出力確率ｗＯＢｓ,ｊ,ｋと、音声状態／非音声状態確率γｓ,ｊとを読み込む。さらに、周波数応答フィルタ生成部８１が、ＧＭＭパラメータ読み出し処理７０３において、モデルパラメータ記憶部２０の無音ＧＭＭ記憶部２１及びクリーン音声ＧＭＭ記憶部２２から無音信号及びクリーン音声信号の確率モデルのパラメータ（平均μSj,k,u）を読み出し、非音声ＧＭＭ記憶部２３及び音声ＧＭＭ記憶部２４から非音声信号及び音声信号の確率モデルのパラメータ（平均μOs,j,k,u）を読み込む。
【０１４９】
次に、周波数応答フィルタ生成部８１が、周波数応答フィルタ生成処理Ｓ７０４により、雑音除去を行う周波数応答フィルタＦＩＬＴＥＲｓ，ｕを次式により算出する。
【０１５０】
【数３０】
0004856662.tif 000031
【０１５１】
式中の(μＳｊ,ｋ,ｕ−μＯｓ,ｊ,ｋ,ｕ)は、音声状態もしくは非音声状態の確率モデルの何れかの正規分布のパラメータ（平均）を用いて算出される雑音除去フィルタの対数周波数応答である。なお、これが対数周波数応答となるのは、本形態では音声特徴量として対数メルスペクトルを要素に持つベクトルを用いているからである。これを音声状態及び非音声状態の確率モデルの各正規分布に割り当てられた後向き正規化出力確率ｗＯＢｓ,ｊ,ｋと、音声状態／非音声状態確率γｓ,ｊとを用いて加重平均し、指数変換することにより、雑音除去を行う周波数応答フィルタＦＩＬＴＥＲｓ,ｕが得られる。このように生成された周波数応答フィルタＦＩＬＴＥＲｓ,ｕは、インパルス応答フィルタ変換部８２に送られる。
【０１５２】
インパルス応答フィルタ変換部８２は、インパルス応答変換処理Ｓ７０５において、周波数応答フィルタＦＩＬＴＥＲｓ,ｕを時間領域に変換してインパルス応答フィルタｆｉｌｔｅｒｓ,τに変換する。ただし、本形態では、音声特徴量として周波数について非線形なメルスケール上で生成された対数メルスペクトルを要素に持つベクトルを用いている。そこで、次式のようにメル周波数の重み付けがなされた逆離散コサイン変換（IDCT: Inverse Discrete Cosine Transform）によって、メルスケール上の周波数応答フィルタＦＩＬＴＥＲｓ,ｕを時間領域のインパルス応答フィルタｆｉｌｔｅｒｓ,τに変換する。
【０１５３】
【数３１】
0004856662.tif 000032
【０１５４】
ここで、τは離散時間であり、ｍｅｌＩＤＥＣＴｕ,τはメル周波数の重み付けがなされた逆離散コサイン変換係数であり、次式で表現される（非特許文献３参照）。
【０１５５】
【数３２】
0004856662.tif 000033
【０１５６】
ここで、ｆｓａｍｐは入力信号のサンプリング周波数である。また、ｆｃｅｎｔｒ（ｕ）は、音響信号分析部１０でのメルフィルタバンク分析におけるチャネル番号ｕのバンドの中心周波数を意味し、次式によって表現される。
【０１５７】
【数３３】
0004856662.tif 000034
【０１５８】
なお、ＮＳＰＥＣ＝（ＮＦＦＴ／２）＋１であり、ＮＦＦＴは音響信号分析部１０での高速フーリエ変換の次元数であり、Ｗ(u,i)は音響信号分析部１０でのメルフィルタバンク分析におけるチャネル番号ｕの三角窓関数であり、ｉは周波数ビンである。
【０１５９】
以上のように生成されたインパルス応答フィルタｆｉｌｔｅｒｓ,τは、フィルタリング部８４に送られる。
【０１６０】
フィルタリング部８４は、入力信号ｏｓ，τ  に対して当インパルス応答フィルタｆｉｌｔｅｒｓ,τを畳み込んで雑音除去音声信号ｓｓ，τを生成して出力する。
【０１６１】
この具体的処理を、図１１（ｂ）の処理手順に従い説明する。
入力信号読み出し部８３（図７）には、音声信号区間推定部７０から出力された判定結果ＶＡＤ(ｓ)が入力される。入力信号読み出し部８３は、音声区間判定処理Ｓ８０１を行い、判定結果ＶＡＤ(ｓ)が０であるか１であるかを判定する。ここで、ＶＡＤ(ｓ)＝０、すなわち、判定結果ＶＡＤ(ｓ)がフレーム番号ｓのフレームが非音声状態に属するとの判定結果を示す場合、入力信号読み出し部８３は、このフレームについての信号除去部８０の処理を終了させる。
【０１６２】
一方、ＶＡＤ(ｓ)＝１、すなわち、判定結果ＶＡＤ(ｓ)がフレーム番号ｓのフレームが音声状態に属するとの判定結果を示す場合、入力信号読み出し部８３は、雑音モデル推定用バッファ読出処理Ｓ８０２において、推定処理用パラメータ記憶部５０の雑音モデル推定用バッファ５２から、フレーム番号ｓのフレームが含む各入力信号os、mを読み込み、それらをフィルタリング部８４に送る。
【０１６３】
フィルタリング部８４は、フィルタリング処理Ｓ８０３において、各入力信号os、mに対して、インパルス応答フィルタｆｉｌｔｅｒｓ,τを所定のフィルタタップ数Ｌで以下のように畳み込み、雑音除去音声信号ss、mを生成して出力する。
【０１６４】
【数３４】
0004856662.tif 000035
【０１６５】
ここで得られた雑音除去音声信号ss、mが本形態の雑音除去装置１の出力となる。
【０１６６】
〔第２実施形態〕
本発明の第２実施形態は、第１実施形態における前向き第１加重平均算出部３５、前向き第２加重平均算出部３７、後向き第１加重平均算出部４５、及び後向き第２加重平均算出部４７における計算方法が異なるもので、装置構成は第１実施形態と同様である。
【０１６７】
従って、機能構成例については第１実施形態における上記それぞれの部位の番号が異なるのみであるため、図を分けずに前向き推定部に係る図３及び後向き推定部に係る図４に第２実施形態における部位番号をカッコ書きで記すにとどめる。
【０１６８】
前向き第１加重平均算出部１３５は、前記雑音モデルパラメータ更新値^Ｎt,j,k,u、^σNt、j、k、uと前記前向き正規化出力確率ｗOFt,j,kとが入力され、平均値^Ｎt,j,uと分散値^σNt、j、uとからなる雑音モデルパラメータの前向き第１加重平均値を出力する。
【０１６９】
この実施形態では、前記正規分布ｋごとに算出される前記前向き正規化出力確率ｗOFt,j,kの中で最も確率の高いｗOFt,j,kに該当する正規分布ｋの前記雑音モデルパラメータ更新値^Ｎt,j,k,u、^σNt、j、k、uを、前向き第１加重平均値^Ｎt,j,u、^σNt、j、uとして出力する。
【０１７０】
このように処理することで、加重平均の計算をせずに済むため、処理の高速化を図ることができる。ただし、前向き正規化出力確率が各正規分布について確率差が小さい場合には特定の正規分布において突出して確率が高い場合と比べて他の正規分布を無視することによる影響が大きくなるため、この実施形態の利用に際しては特定の正規分布における確率がその他の正規分布に比べて十分に高いことが望ましい。
【０１７１】
前向き第２加重平均算出部１３７は、前記前向き第１加重平均値^Ｎt,j,u、^σNt、j、uと前記前向き出力確率ｂｊ(Ｏｔ）とが入力され、平均値^Ｎt,uと分散値^σNt、uとからなるフレーム番号ｔにおける前向き第２加重平均値を出力する。
【０１７２】
この実施形態では、前記音声及び非音声について算出される前記前向き出力確率ｂｊ(Ｏｔ）のうち、確率の高い音声（ｊ＝１）又は非音声（ｊ＝０）に対応する前向き第１加重平均値^Ｎt,j,u、^σNt、j、uを、前向き第２加重平均値^Ｎt,j,u、^σNt、j、uとして出力する。
【０１７３】
このように処理することで、加重平均の計算をせずに済むため、処理の高速化を図ることができる。ただし、両者の確率差が小さい場合には一方を無視することによる影響が大きくなるため、この実施形態の利用に際しては双方の確率差が十分に大きいことが望ましい。
【０１７４】
以上、前向き第１加重平均算出部１３５及び後向き第１加重平均算出部１３７について記したが、後向き第１加重平均算出部１４５及び後向き第２加重平均算出部１４７についても前向き第１加重平均算出部１３５及び前向き第２加重平均算出部１３７と同様な処理を行うことができる。
【０１７５】
〔変更例等〕
上記各実施の形態において、パラメータ予測処理Ｓ３０６において、ランダムウォーク過程により１フレーム前の推定結果より現在の時刻のパラメータを予測しているが、自己回帰法（線形予測法）などを用いて予測してもよい。この場合、自己回帰係数の次数に応じて最終的な雑音モデルパラメータ推定性能が向上することが期待される。
【０１７６】
また、上記実施の形態において、音声信号区間推定部７０における閾値判定後に、図６に破線で示すように音声信号区間及び非音声信号区間の継続長を調査して音声信号区間推定結果を自動訂正する突発異常検出補正部７４を接続してもよい。又は、同じく図６に破線で示すように、音声状態／非音声状態の判定結果と入力信号ｏνとを掛け合わせた信号を出力するようにし、突発異常検出補正部７４と同様に作用させてもよい。音声信号区間推定部７０をこのように構成することにより、突発的な識別誤りを訂正することができるため、音声信号区間推定の性能が向上することが期待される。
【０１７７】
また、周波数応答フィルタ生成処理Ｓ７０４において、後向き正規化出力確率ｗＯＢｓ,ｊ,ｋの代わりに前向き正規化出力確率ｗOF t,j,kを用いて周波数応答フィルタＦＩＬＴＥＲｓ，ｕを生成してもよい。
【０１７８】
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
【０１７９】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよいが、具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【０１８０】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１８１】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【０１８２】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【０１８３】
〔実験結果〕
実施形態の手法の効果を示すために、音声信号と雑音信号が混在する入力信号を第１実施形態の雑音除去装置１に入力し、雑音除去を行った実施例を示す。以下、実験方法及び結果について説明する。
【０１８４】
本実験では、音声区間検出（VAD: Voice Activity Detection）の評価用に設計されたデータベースCENSREC-1-C（北岡教英，山田武志，柘植覚，宮島千代美，西浦敬信，中山雅人，傳田遊亀，藤本雅清，山本一公 ，滝口哲也，黒岩眞吾，武田一哉，中村哲，“CENSREC-1-C：雑音下音声区間検出評価基盤の構築，”情報処理学会研究報告，SLP-63-1, pp.1-6, Oct.2006.）を用いて提案手法の評価を行った。
【０１８５】
CENSREC-1-Cは、人工的に作成したシミュレーションデータと、実環境で収録した実データの２種類のデータを含んでいる。本実験では、実環境における音声品質劣化の影響（雑音及び、発声変形の影響等）を調査するため、実データを用いて評価を行った。
【０１８６】
CENSREC-1-Cの実データの収録は、学生食堂(Restaurant)と高速道路付近(Street)の２種類の環境で行われており、SNRはそれぞれ、High SNR（騒音レベル60dB(A)前後）と、Low SNR（騒音レベル70dB(A)前後）である。音声データは、１名の話者が１〜１２桁の連続数字を８〜１０回、約２秒間隔で発話した音声を１ファイルとして収録しており、各環境において話者１名あたり４ファイルを収録している。発話者は１０名（男女各５名）である（ただし評価対象は男性１名を除く９名分のデータ）。それぞれの信号は、サンプリング周波数は８，０００Ｈｚ、量子化ビット数１６ビットで離散サンプリングされた。この音響信号に対し、１フレームの時間長を２５ｍｓ（２００サンプル点）とし、１０ｍｓ（８０サンプル点）ごとにフレームの始点を移動させて、音響信号分析部１０の処理を行った。
【０１８７】
また、無音信号及びクリーン音声信号の確率モデルには、それぞれ、２４次元の対数メルスペクトルを音響特徴量とする混合分布数３２の混合正規分布モデルを用い、それぞれ無音信号及びクリーン音声信号を用いて学習した。
【０１８８】
また、パラメータ予測処理Ｓ３０６においてεのパラメータ値には０．００１を設定し、変数判定処理Ｓ４０３において、後向き推定に要するフレーム数βには５を設定した。状態遷移確率テーブル６１において、状態遷移確率ａｉ，ｊとしてａ０,０＝０.８，ａ０,１＝０.２，ａ１,１＝０.１，ａ１,０＝０.９を設定した。また、音声信号区間推定部７０において、関値ＴＨの値に１０を設定した。
【０１８９】
図１３（ａ）（ｂ）は、それぞれ、音声信号区間検出のみを行った場合の音声信号波形、本形態の手法によって雑音除去を行った場合の音声信号波形である。これらの結果から、本形態の手法により効果的に雑音除去が行われていることが明らかとなった。
【０１９０】
また、図１３（ｃ）（ｄ）（ｅ）は、音声認識による評価結果であり、それぞれCENSREC-1-Cデータベースに規定されたベースライン、音声信号区間検出のみを行った場合、本形態の手法よる結果である。これらの結果から、本形態の手法により、雑音が存在する環境下で高い音声認識性能を得られることが明らかとなった。
【図面の簡単な説明】
【０１９１】
【図１】図１は第１実施形態の雑音除去装置の機能構成を示すブロック図である。
【図２】図２（ａ）は、図１に示したモデルパラメータ記憶部２０の詳細を示す図であり、図２（ｂ）は、推定処理用パラメータ記憶部５０の詳細を示す図である。
【図３】図３は、図１に示した前向き推定部の詳細構成を例示したブロック図である。
【図４】図４は、図１に示した後向き推定部の詳細構成を例示したブロック図である。
【図５】図５は、図１に示した状態確率比算出部の詳細構成を例示したブロック図である。
【図６】図６は、図１に示した音声信号区間推定部の詳細構成を例示したブロック図である。
【図７】図７は、図１に示した信号除去部の詳細構成を例示したブロック図である。
【図８】図８は、第1実施形態の前向き推定部３０の処理手順を説明するためのフローチャートである。
【図９】図９は、第1実施形態の後向き推定部の処理手順を説明するためのフローチャートである。
【図１０】図１０は、状態確率比算出部の処理手順を説明するためのフローチャートである。
【図１１】図１１（ａ）は、信号除去部８０が行うフィルタ生成処理を説明するためのフローチャートであり、図１１（ｂ）は、フィルタリング処理を説明するためのフローチャートである。
【図１２】図１２は、音声状態／非音声状態の状態遷移モデルを示す概念図である。
【図１３】図１３（ａ）（ｂ）は、それぞれ、音声信号区間検出のみを行った場合の音声信号波形、本形態の手法によって雑音除去を行った場合の音声信号波形である。また、図１３（ｃ）（ｄ）（ｅ）は、音声認識による評価結果である。
【図１】
0004856662.tif 000036
【図２】
0004856662.tif 000037
【図３】
0004856662.tif 000038
【図４】
0004856662.tif 000039
【図５】
0004856662.tif 000040
【図６】
0004856662.tif 000041
【図７】
0004856662.tif 000042
【図８】
0004856662.tif 000043
【図９】
0004856662.tif 000044
【図１０】
0004856662.tif 000045
【図１１】
0004856662.tif 000046
【図１２】
0004856662.tif 000047
【図１３】
0004856662.tif 000048