【手続補正書】
【提出日】平成23年9月26日(2011.9.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声と雑音とを含む入力信号から雑音を除去する雑音除去装置であって、
前記入力信号の音声特徴量を一定時間区間であるフレームごとに抽出して出力する音響信号分析部と、
クリーン音声信号と無音信号の各出力確率を、それぞれ、複数の正規分布を含有する混合正規分布で表現した確率モデルの確率モデルパラメータを記憶するモデルパラメータ記憶部と、
前記音声特徴量と、前記モデルパラメータ記憶部に記憶されたクリーン音声信号と無音信号の各確率モデルパラメータとが入力され、過去のフレームから現在のフレームに向かって並列非線形カルマンフィルタにより現在のフレームの雑音モデルパラメータを逐次推定して出力する前向き推定部と、
前記前向き推定部から出力された雑音モデルパラメータと、前記モデルパラメータ記憶部に記憶されたクリーン音声信号と無音信号の各確率モデルパラメータとが入力され、未来のフレームから現在のフレームに向かって並列カルマンスムーザにより現在フレームの雑音モデルパラメータを逐次後向き推定し、この後向き推定した雑音モデルパラメータに基づき、音声（雑音＋クリーン音声）信号と非音声（雑音＋無音）信号の各出力確率をそれぞれ混合正規分布で表現した確率モデルの確率モデルパラメータを逐次推定し、音声信号と非音声信号それぞれの出力確率を算出して出力する後向き推定部と、
前向き推定部及び後向き推定部における処理の過程で得られた計算結果を記憶するパラメータ記憶部と、
前記音声信号の出力確率及び前記非音声信号の出力確率が入力され、音声状態確率と、非音声状態確率とを算出し、これらを出力する状態確率算出部と、
前記音声信号及び非音声信号の各確率モデルパラメータと、前記クリーン音声信号及び無音信号の各確率モデルパラメータと、前記音声状態確率及び前記非音声状態確率とを用いて雑音を除去するフィルタを生成し、前記入力信号に対して当該フィルタを適用して雑音除去音声信号を生成して出力する雑音除去部と、
を有することを特徴とする雑音除去装置。
【請求項２】
請求項１に記載の雑音除去装置において、
前記前向き推定部は、
前記音響特徴量と、１フレーム前の前向き第２加重平均値とが入力され、過去のフレームから現在のフレームに向けて現フレームの雑音モデルパラメータ予測値を計算し出力する雑音モデルパラメータ予測部と、
前記音響特徴量と、前記雑音モデルパラメータ予測値と、前記クリーン音声信号及び無音信号の各確率モデルパラメータとが入力され、雑音モデルパラメータの更新処理を前記クリーン音声信号及び無音信号の各確率モデルの複数の正規分布ごとに並列に行って、雑音モデルパラメータ更新値を出力する雑音モデルパラメータ更新部と、
前記雑音モデルパラメータ更新値と、前記クリーン音声信号及び無音信号の各確率モデルパラメータとが入力され、前記各フレームを単位とする時刻の雑音環境に適合した音声（雑音＋クリーン音声）確率モデルパラメータと非音声（雑音＋無音）確率モデルパラメータとを生成して出力する前向き確率モデルパラメータ生成部と、
前記音響特徴量と、前記前向き確率モデルパラメータ生成部から出力される前記音声確率モデルパラメータ及び前記非音声確率モデルパラメータと、前記クリーン音声信号及び無音信号の各確率モデルパラメータである前記正規分布ごとの混合重みとが入力され、前記フレームごとに音声、非音声それぞれの前向き出力確率と、この前向き出力確率を前記正規分布ごとに分解した前向き正規化出力確率とを算出して出力する前向き音声／非音声出力確率算出部と、
前記雑音モデルパラメータ更新値と、前記前向き正規化出力確率とが入力され、雑音モデルパラメータの前向き第１加重平均値を算出して出力する前向き第１加重平均算出部と、
前記前向き第１加重平均値と、前記音声及び非音声それぞれの前向き出力確率とが入力され、現フレームの前向き第２加重平均値を算出して出力する前向き第２加重平均算出部と、
を有し、
前記後向き推定部は、
１フレーム後の前記雑音モデルパラメータ予測値と、現フレームの前記雑音モデルパラメータ更新値と、１フレーム後の雑音モデルパラメータ再推定値とが入力され、現フレームの前向き雑音モデルパラメータの再推定処理を前記クリーン音声信号及び無音信号の各確率モデルの複数の正規分布ごとに並列に、未来の時刻から現在の時刻に向けて行って、雑音モデルパラメータ再推定値を出力する雑音モデルパラメータ再推定部と、
前記雑音モデルパラメータ再推定値と、前記クリーン音声信号及び無音信号の各確率モデルパラメータとが入力され、前記フレームを単位とする当該時刻の雑音環境に適合した音声（雑音＋クリーン音声）確率モデルパラメータと非音声（雑音＋無音）確率モデルパラメータとを生成して出力する後向き確率モデルパラメータ生成部と、
前記音響特徴量と、前記後向き確率モデルパラメータ生成部から出力される前記音声確率モデルパラメータ及び前記非音声確率モデルパラメータと、前記クリーン音声信号及び無音信号の各確率モデルパラメータである前記正規分布ごとの混合重みとが入力され、前記フレームごとに音声、非音声それぞれの出力確率と、この出力確率を前記正規分布ごとに分解した後向き正規化出力確率とを算出して出力する後向き音声／非音声出力確率算出部と、
前記雑音モデルパラメータ再推定値と、前記後向き正規化出力確率とが入力され、雑音モデルパラメータの後向き第１加重平均値を算出して出力する後向き第１加重平均算出部と、
前記後向き第１加重平均値と、前記音声、非音声それぞれの出力確率とが入力され、現フレームの後向き第２加重平均値を算出して出力する後向き第２加重平均算出部と、を有し、
前記雑音除去部には、さらに前記正規分布ごとの前向き正規化出力確率及び後向き正規化出力確率の少なくとも一方が入力され、
前記雑音除去部は、
前記音声信号と非音声信号の各確率モデルパラメータである正規分布ごとの平均に対する、前記クリーン音声信号と無音信号の各確率モデルパラメータである正規分布ごとの平均の各相対値を、前記正規分布ごとの前向き正規化出力確率及び後向き正規化出力確率の少なくとも一方を用いて加重平均し、前記雑音を除去するフィルタを生成するものである、
ことを特徴とする雑音除去装置。
【請求項３】
請求項２に記載の雑音除去装置において、
前記前向き第１加重平均算出部は、前記雑音モデルパラメータ更新値の中で最大の前記前向き正規化出力確率を持つ雑音モデルパラメータ更新値を雑音モデルパラメータの前向き第１加重平均値として出力するものであり、
前記前向き第２加重平均算出部は、前記前向き第１加重平均値の中で最大の前記前向き出力確率を持つ前向き第１加重平均値を現フレームの前向き第２加重平均値として出力するものであり、
前記後向き第１加重平均算出部は、前記雑音モデルパラメータ再推定値の中で最大の前記後向き正規化出力確率を持つ雑音モデルパラメータ再推定値を雑音モデルパラメータの後向き第１加重平均値として出力するものであり、
前記後向き第２加重平均算出部は、前記後向き第１加重平均値の中で最大の前記状態遷移確率を持つ後向き第１加重平均値を現フレームの後向き第２加重平均値として出力するものである、
ことを特徴とする雑音除去装置。
【請求項４】
請求項１から３のいずれかに記載の雑音除去装置において、
前記状態確率算出部は、
有限状態機械により表現された音声／非音声の状態遷移モデルにおいて予め設定された状態遷移確率を記憶する状態遷移確率テーブルと、
現フレームの前記音声及び非音声それぞれの出力確率と、前記状態遷移確率と、１フレーム前の前向き確率とが入力され、現フレームの前向き確率を算出して出力する前向き確率算出部と、
１フレーム後の前記音声及び非音声それぞれの出力確率と、前記状態遷移確率と、１フレーム後の後向き確率とが入力され、現フレームの後向き確率を算出して出力する後向き確率算出部と、
前向き確率算出部及び後向き確率算出部における処理の過程で得られた前向き確率及び後向き確率を記憶する確率算出用バッファと、
前記現フレームの前向き確率と前記現フレームの後向き確率とが入力され、前記現フレームの前向き確率と前記現フレームの後向き確率との積によって非音声状態確率及び音声状態確率を算出し、当該非音声状態確率と、当該音声状態確率とを出力する確率算出部と、
を有することを特徴とする雑音除去装置。
【請求項５】
前記状態確率算出部は、さらに前記非音声状態確率に対する前記音声状態確率の比も算出するものであり、
前記状態確率の比が入力され、フレームごとに当該状態確率の比としきい値とを比較して、各フレームが音声状態に属するか非音声状態に属するかを示す判定結果を出力する音声信号区間推定部をさらに有し、
前記雑音除去部は、前記音声信号区間推定部において音声状態に属すると判定されたフレームの前記入力信号について雑音除去音声信号を生成するものである
ことを特徴とする請求項１から請求項４のいずれかに記載の雑音除去装置。
【請求項６】
音声と雑音とを含む入力信号から雑音を除去する雑音除去方法であって、
クリーン音声信号と無音信号の各出力確率を、それぞれ、複数の正規分布を含有する混合正規分布で表現した確率モデルの確率モデルパラメータをモデルパラメータ記憶部に格納しておき、
音響信号分析部が、前記入力信号の音声特徴量を一定時間区間であるフレームごとに抽出して出力する音響信号分析過程と、
前記音声特徴量と、前記モデルパラメータ記憶部に記憶されたクリーン音声信号と無音信号の各確率モデルパラメータとが入力された前向き推定部が、過去のフレームから現在のフレームに向かって並列非線形カルマンフィルタにより現在のフレームの雑音モデルパラメータを逐次推定して出力する前向き推定過程と、
前記雑音モデルパラメータと、前記クリーン音声信号と無音信号の各確率モデルパラメータとが入力された後向き推定部が、未来のフレームから現在のフレームに向かって並列カルマンスムーザにより現在フレームの雑音モデルパラメータを逐次後向き推定し、この後向き推定した雑音モデルパラメータに基づき、音声（雑音＋クリーン音声）信号と非音声（雑音＋無音）信号の各出力確率をそれぞれ混合正規分布で表現した確率モデルの確率モデルパラメータを逐次推定し、音声信号と非音声信号それぞれの出力確率を算出して出力する後向き推定過程と、
前向き推定過程及び後向き推定過程で得られた計算結果をパラメータ記憶部に記憶する過程と、
前記音声信号の出力確率及び前記非音声信号の出力確率が入力された状態確率算出部が、音声状態確率と、非音声状態確率とを算出し、これらを出力する状態確率算出過程と、
前記音声信号及び非音声信号の各確率モデルパラメータと、前記クリーン音声信号及び無音信号の各確率モデルパラメータと、前記音声状態確率及び前記非音声状態確率とを用いて雑音を除去するフィルタを生成し、前記入力信号に対して当該フィルタを適用して雑音除去音声信号を生成して出力する雑音除去過程と、
を実行することを特徴とする雑音除去方法。
【請求項７】
請求項６に記載の雑音除去方法において、
前記前向き推定過程は、
前記音響特徴量と、１フレーム前の前向き第２加重平均値とが入力された雑音モデルパラメータ予測部が、過去のフレームから現在のフレームに向けて現フレームの雑音モデルパラメータ予測値を計算し出力する雑音モデルパラメータ予測過程と、
前記音響特徴量と、前記雑音モデルパラメータ予測値と、前記クリーン音声信号及び無音信号の各確率モデルパラメータとが入力された雑音モデルパラメータ更新部が、雑音モデルパラメータの更新処理を前記クリーン音声信号及び無音信号の各確率モデルの複数の正規分布ごとに並列に行って、雑音モデルパラメータ更新値を出力する雑音モデルパラメータ更新過程と、
前記雑音モデルパラメータ更新値と、前記クリーン音声信号及び無音信号の各確率モデルパラメータとが入力された前向き確率モデルパラメータ生成部が、前記各フレームを単位とする時刻の雑音環境に適合した音声（雑音＋クリーン音声）確率モデルパラメータと非音声（雑音＋無音）確率モデルパラメータとを生成して出力する前向き確率モデルパラメータ生成過程と、
前記音響特徴量と、前記前向き確率モデルパラメータ生成部から出力される前記音声確率モデルパラメータ及び前記非音声確率モデルパラメータと、前記クリーン音声信号及び無音信号の各確率モデルパラメータである前記正規分布ごとの混合重みとが入力された前向き音声／非音声出力確率算出部が、前記フレームごとに音声、非音声それぞれの前向き出力確率と、この前向き出力確率を前記正規分布ごとに分解した前向き正規化出力確率とを算出して出力する前向き音声／非音声出力確率算出過程と、
前記雑音モデルパラメータ更新値と、前記前向き正規化出力確率とが入力された前向き第１加重平均算出部が、雑音モデルパラメータの前向き第１加重平均値を算出して出力する前向き第１加重平均算出過程と、
前記前向き第１加重平均値と、前記音声及び非音声それぞれの前向き出力確率とが入力された前向き第２加重平均算出部が、現フレームの前向き第２加重平均値を算出して出力する前向き第２加重平均算出過程と、
を有し、
前記後向き推定過程は、
１フレーム後の前記雑音モデルパラメータ予測値と、現フレームの前記雑音モデルパラメータ更新値と、１フレーム後の雑音モデルパラメータ再推定値とが入力された雑音モデルパラメータ再推定部が、現フレームの前向き雑音モデルパラメータの再推定処理を前記クリーン音声信号及び無音信号の各確率モデルの複数の正規分布ごとに並列に、未来の時刻から現在の時刻に向けて行って、雑音モデルパラメータ再推定値を出力する雑音モデルパラメータ再推定過程と、
前記雑音モデルパラメータ再推定値と、前記クリーン音声信号及び無音信号の各確率モデルパラメータとが入力された後向き確率モデルパラメータ生成部が、前記フレームを単位とする当該時刻の雑音環境に適合した音声（雑音＋クリーン音声）確率モデルパラメータと非音声（雑音＋無音）確率モデルパラメータとを生成して出力する後向き確率モデルパラメータ生成過程と、
前記音響特徴量と、前記後向き確率モデルパラメータ生成部から出力される前記音声確率モデルパラメータ及び前記非音声確率モデルパラメータと、前記クリーン音声信号及び無音信号の各確率モデルパラメータである前記正規分布ごとの混合重みとが入力された後向き音声／非音声出力確率算出部が、前記フレームごとに音声、非音声それぞれの出力確率と、この出力確率を前記正規分布ごとに分解した後向き正規化出力確率とを算出して出力する後向き音声／非音声出力確率算出過程と、
前記雑音モデルパラメータ再推定値と、前記後向き正規化出力確率とが入力された後向き第１加重平均算出部が、雑音モデルパラメータの後向き第１加重平均値を算出して出力する後向き第１加重平均算出過程と、
前記後向き第１加重平均値と、前記音声、非音声それぞれの出力確率とが入力された後向き第２加重平均算出部が、現フレームの後向き第２加重平均値を算出して出力する後向き第２加重平均算出過程と、
を有し、
前記雑音除去過程は、
さらに前記正規分布ごとの前向き正規化出力確率及び後向き正規化出力確率の少なくとも一方が入力された前記雑音除去部が、
前記音声信号と非音声信号の各確率モデルパラメータである正規分布ごとの平均に対する、前記クリーン音声信号と無音信号の各確率モデルパラメータである正規分布ごとの平均の各相対値を、前記正規分布ごとの前向き正規化出力確率及び後向き正規化出力確率の少なくとも一方を用いて加重平均し、前記雑音を除去するフィルタを生成する過程である、
ことを特徴とする雑音除去方法。
【請求項８】
請求項７に記載の雑音除去方法において、
前記前向き第１加重平均算出過程は、前記雑音モデルパラメータ更新値の中で最大の前記前向き正規化出力確率を持つ雑音モデルパラメータ更新値を雑音モデルパラメータの前向き第１加重平均値として出力する過程であり、
前記前向き第２加重平均算出過程は、前記前向き第１加重平均値の中で最大の前記前向き出力確率を持つ前向き第１加重平均値を現フレームの前向き第２加重平均値として出力する過程であり、
前記後向き第１加重平均算出過程は、前記雑音モデルパラメータ再推定値の中で最大の前記後向き正規化出力確率を持つ雑音モデルパラメータ再推定値を雑音モデルパラメータの後向き第１加重平均値として出力する過程であり、
前記後向き第２加重平均算出過程は、前記後向き第１加重平均値の中で最大の前記状態遷移確率を持つ後向き第１加重平均値を現フレームの後向き第２加重平均値として出力する過程である、
ことを特徴とする雑音除去方法。
【請求項９】
請求項６から８のいずれかに記載の雑音除去方法において、
前記状態確率算出過程は、
有限状態機械により表現された音声／非音声の状態遷移モデルにおいて予め設定された状態遷移確率を状態遷移確率テーブルに格納しておき、
現フレームの前記音声及び非音声それぞれの出力確率と、前記状態遷移確率と、１フレーム前の前向き確率とが入力された前向き確率算出部が、現フレームの前向き確率を算出して出力する前向き確率算出過程と、
１フレーム後の前記音声及び非音声それぞれの出力確率と、前記状態遷移確率と、１フレーム後の後向き確率とが入力された後向き確率算出部が、現フレームの後向き確率を算出して出力する後向き確率算出過程と、
前向き確率算出過程及び後向き確率算出過程で得られた前向き確率及び後向き確率を確率算出用バッファに格納するバッファリング過程と、
前記現フレームの前向き確率と前記現フレームの後向き確率とが入力された確率算出部が、前記現フレームの前向き確率と前記現フレームの後向き確率との積によって非音声状態確率及び音声状態確率を算出し、当該非音声状態確率と、当該音声状態確率とを出力する確率算出過程と、
を実行することを特徴とする雑音除去方法。
【請求項１０】
前記状態確率算出過程は、さらに前記非音声状態確率に対する前記音声状態確率の比も算出する過程であり、
前記状態確率の比が入力された音声信号区間推定部が、フレームごとに当該状態確率の比としきい値とを比較して、各フレームが音声状態に属するか非音声状態に属するかを示す判定結果を出力する音声信号区間推定過程をさらに有し、
前記雑音除去過程は、前記音声信号区間推定過程において音声状態に属すると判定されたフレームの前記入力信号について雑音除去音声信号を生成する過程である
ことを特徴とする請求項６から請求項９のいずれかに記載の雑音除去方法。
【請求項１１】
請求項１から５の何れかに記載した雑音除去装置としてコンピュータを機能させるためのプログラム。
【請求項１２】
請求項１１に記載したプログラムを記録したコンピュータが読み取り可能な記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
次に、前記音声信号の出力確率及び前記非音声信号の出力確率が入力され、音声状態確率と、非音声状態確率とを算出し、これらを出力する状態確率算出過程を実行する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
さらに、前記音声信号及び非音声信号の各確率モデルパラメータと、前記クリーン音声信号及び無音信号の各確率モデルパラメータと、前記音声状態確率及び前記非音声状態確率とを用いて雑音を除去するフィルタを生成し、前記入力信号に対して当該フィルタを適用して雑音除去音声信号を生成して出力する雑音除去過程を実行する。