(57)【要約】  雑音と残響とを十分に抑圧する。目的の音源から発せられた音響信号を集音して得られた観測信号の複数の周波数帯域のそれぞれに対応する周波数別観測信号に、各時刻において現在の信号と所定の遅延を持つ長さ０以上の過去の信号列との重み付き和を計算する畳み込みビームフォーマを適用して得られる推定信号が、所定の確率モデルに基づく推定信号の音声らしさを表す確率を大きくするように、畳み込みビームフォーマを得、得られた畳み込みビームフォーマを周波数別観測信号に適用して目的信号を得る。
2020121590.tif 000002
【特許請求の範囲】
【請求項１】
目的の音源から発せられた音響信号を集音して得られた観測信号の複数の周波数帯域のそれぞれに対応する周波数別観測信号に、各時刻において現在の信号と所定の遅延を持つ長さ０以上の過去の信号列との重み付き和を計算する畳み込みビームフォーマを適用して得られる推定信号が、所定の確率モデルに基づく前記推定信号の音声らしさを表す確率を大きくするように、前記畳み込みビームフォーマを得る推定部と、
前記推定部で得られた前記畳み込みビームフォーマを前記周波数別観測信号に適用して目的信号を得る抑圧部と、
を有する信号処理装置。
【請求項２】
請求項１の信号処理装置であって、
前記推定部は、前記確率モデルに基づく前記推定信号の音声らしさを表す確率を最大化する前記畳み込みビームフォーマを得る、信号処理装置。
【請求項３】
請求項１または２の信号処理装置であって、
前記推定部は、前記目的信号を、前記目的の音源から発せられてマイクロホンで集音される音に対応する信号のうち直接音と初期反射音に対応する信号として、前記周波数別観測信号に前記畳み込みビームフォーマを適用した結果前記目的信号が歪まないという拘束条件のもとで、所定の時間区間に属する各時刻での前記推定信号のパワーを、前記目的信号のパワーの逆数または前記目的信号の推定パワーの逆数で重み付けして得られる値の総和を最小化する前記畳み込みビームフォーマを得る、信号処理装置。
【請求項４】
請求項３の信号処理装置であって、
前記畳み込みビームフォーマは、前記周波数別観測信号から残響を抑圧する残響抑圧フィルタと、前記周波数別観測信号に前記残響抑圧フィルタを適用して得られる信号から雑音を抑圧する瞬時ビームフォーマとを合成して得られるビームフォーマと等価であり、
前記瞬時ビームフォーマは、各時刻において、現在の時刻の信号の重み付き和を計算するものであり、
前記拘束条件は、前記音源から前記音響信号の集音位置までの直接音および初期反射音に関する伝達関数を要素とするステアリングベクトルまたは前記ステアリングベクトルの推定ベクトルである推定ステアリングベクトルに前記瞬時ビームフォーマを適用して得られる値が定数であるという条件である、信号処理装置。
【請求項５】
請求項４の信号処理装置であって、
前記推定部は、
前記周波数別観測信号と前記目的信号のパワーまたは推定パワーとに基づき、重み付き時空間共分散行列を得る行列推定部と、
前記重み付き時空間共分散行列と前記ステアリングベクトルまたは前記推定ステアリングベクトルとに基づき、前記畳み込みビームフォーマを得る畳み込みビームフォーマ推定部と、を含む、信号処理装置。
【請求項６】
請求項４または請求項５の信号処理装置であって、
前記周波数別観測信号から残響成分を抑圧した周波数別残響抑圧信号を得る残響抑圧部と、
前記周波数別残響抑圧信号から前記推定ステアリングベクトルを得て出力するステアリングベクトル推定部と、
をさらに有する信号処理装置。
【請求項７】
請求項６の信号処理装置であって、
前記周波数別残響抑圧信号は時系列信号であり、
第１時間区間に属する前記周波数別残響抑圧信号、および前記第１時間区間よりも過去の第２時間区間に属する前記周波数別残響抑圧信号の空間共分散行列に基づく、前記第１時間区間に属する前記周波数別残響抑圧信号の空間共分散行列を得る観測信号共分散行列更新部と、
前記周波数別残響抑圧信号の雑音共分散行列の逆行列、前記第１時間区間に属する前記周波数別残響抑圧信号の空間共分散行列、および前記第２時間区間の主成分ベクトルに基づき、前記周波数別残響抑圧信号の雑音共分散行列の逆行列と、前記第１時間区間に属する前記周波数別残響抑圧信号の空間共分散行列と、の積に対する前記第１時間区間の主成分ベクトルを得る主成分ベクトル更新部と、
をさらに有し、
前記ステアリングベクトル推定部は、前記周波数別残響抑圧信号の雑音共分散行列と前記第１時間区間の主成分ベクトルとに基づき、前記第１時間区間の前記推定ステアリングベクトルを得て出力する、信号処理装置。
【請求項８】
請求項４の信号処理装置であって、
前記周波数別観測信号は時系列信号であり、
第１時間区間に属する前記周波数別観測信号、および前記第１時間区間よりも過去の第２時間区間に属する前記周波数別観測信号の空間共分散行列に基づく、前記第１時間区間に属する前記周波数別観測信号の空間共分散行列を得る観測信号共分散行列更新部と、
前記周波数別観測信号の雑音共分散行列の逆行列、前記第１時間区間に属する前記周波数別観測信号の空間共分散行列、および前記第２時間区間の主成分ベクトルに基づき、前記周波数別観測信号の雑音共分散行列の逆行列と、前記第１時間区間に属する前記周波数別観測信号の空間共分散行列と、の積に対する前記第１時間区間の主成分ベクトルを得る主成分ベクトル更新部と、
前記第１時間区間の主成分ベクトルと前記周波数別観測信号の雑音共分散行列とに基づき、前記第１時間区間の前記推定ステアリングベクトルを得て出力するステアリングベクトル推定部と、
を有する信号処理装置。
【請求項９】
請求項７または８の信号処理装置であって、
前記推定部は、
前記周波数別観測信号、および前記目的信号のパワーまたは推定パワー、ならびに前記第１時間区間よりも過去の第２時間区間の時空間共分散行列の逆行列に基づき、前記第１時間区間の時空間共分散行列の逆行列を推定する行列推定部と、
前記第１時間区間の前記時空間共分散行列の逆行列および前記推定ステアリングベクトルに基づき、前記第１時間区間の前記畳み込みビームフォーマを得る畳み込みビームフォーマ推定部と、を含む、信号処理装置。
【請求項１０】
請求項４、６から８の何れかの信号処理装置であって、
前記推定部は、
前記瞬時ビームフォーマを、前記ステアリングベクトルの定数倍または前記推定ステアリングベクトルの定数倍と、前記ステアリングベクトルまたは前記推定ステアリングベクトルの直交補空間に対応するブロック行列と変形瞬時ビームフォーマとの積と、の和で表記したときに、前記第１時間区間の周波数別観測信号に前記ブロック行列を乗じた結果得られる信号を要素に持つことを特徴とする、前記ステアリングベクトルまたは前記推定ステアリングベクトル、前記周波数別観測信号、および前記目的信号のパワーまたは推定パワー基づく、重み付き変形時空間共分散行列を得る行列推定部と、
前記ステアリングベクトルまたは前記推定ステアリングベクトル、前記重み付き変形時空間共分散行列、および前記周波数別観測信号に基づく、前記畳み込みビームフォーマを得る畳み込みビームフォーマ推定部と、を含む、
信号処理装置。
【請求項１１】
請求項７または８の信号処理装置であって、
前記瞬時ビームフォーマは、前記推定ステアリングベクトルの定数倍と、前記推定ステアリングベクトルの直交補空間に対応するブロック行列と変形瞬時ビームフォーマとの積と、の和と等価であり、
前記推定部は、
前記第１時間区間の前記推定ステアリングベクトル、および前記第１時間区間に属する前記周波数別観測信号に基づく、前記第１時間区間の初期ビームフォーマ出力を得る初期ビームフォーマ適用部と、
前記第１時間区間の初期ビームフォーマ出力、前記第１時間区間の前記推定ステアリングベクトル、および前記周波数別観測信号、ならびに前記第１時間区間よりも過去の第２時間区間の前記畳み込みビームフォーマに基づく、前記第１時間区間の前記目的信号を得る前記抑圧部と、
前記第２時間区間の重み付き変形時空間共分散行列の逆行列、ならびに前記第１時間区間の前記推定ステアリングベクトル、前記周波数別観測信号、および前記目的信号のパワーまたは推定パワーに基づく、前記第１時間区間の適応ゲインを得る適応ゲイン推定部と、
前記第１時間区間の適応ゲイン、前記第１時間区間の前記推定ステアリングベクトル、および前記周波数別観測信号、ならびに前記第２時間区間の重み付き変形時空間共分散行列の逆行列に基づく、前記第１時間区間の重み付き変形時空間共分散行列の逆行列を得る行列推定部と、
前記第１時間区間の適応ゲイン、前記第１時間区間の前記目的信号、および前記第２時間区間の前記畳み込みビームフォーマに基づく、前記第１時間区間の畳み込みビームフォーマを得る前記畳み込みビームフォーマ推定部と、
を含む、信号処理装置。
【請求項１２】
請求項１から１１の何れかの信号処理装置であって、
前記観測信号は、雑音および残響が存在する環境下で前記音源から発せられた前記音響信号を集音して得られた信号である、信号処理装置。
【請求項１３】
請求項１から１２の何れかの信号処理装置であって、
前記畳み込みビームフォーマは、各時刻において現在の信号の重み付け値を計算するビームフォーマである、信号処理装置。
【請求項１４】
目的の音源から発せられた音響信号を集音して得られた観測信号の複数の周波数帯域のそれぞれに対応する周波数別観測信号に、各時刻において現在の信号と所定の遅延を持つ長さ０以上の過去の信号列との重み付き和を計算する畳み込みビームフォーマを適用して得られる推定信号が、所定の確率モデルに基づく前記推定信号の音声らしさを表す確率を大きくするように、前記畳み込みビームフォーマを得る推定ステップと、
前記推定部で得られた前記畳み込みビームフォーマを前記周波数別観測信号に適用して目的信号を得る抑圧ステップと、
を有する信号処理方法。
【請求項１５】
請求項１から１３の何れかの信号処理装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号の信号処理技術に関する。
【背景技術】
【０００２】
非特許文献１，２には、周波数領域の観測信号から雑音や残響を抑圧する方法が開示されている。この方法では、周波数領域の観測信号と音源方向を表すステアリングベクトルまたはその推定ベクトルとを受け取り、音源からマイクロホンに到来する音を歪ませないとの拘束条件のもと、周波数領域の観測信号のパワーを最小化する瞬時ビームフォーマを推定し、これを周波数領域の観測信号に適用することで、残響や雑音を抑圧する（従来法１）。【０００３】
特許文献１および非特許文献３には、周波数領域の観測信号から残響を抑圧する方法が開示されている。この方法では、周波数領域の観測信号と目的音の各時刻のパワーまたはその推定値とを受け取り、予測誤差の重み付きパワー最小化基準に基づき、目的音の残響を抑圧する残響抑圧フィルタを推定し、残響抑圧フィルタを周波数領域の観測信号に適用することで、周波数領域の観測信号の残響を抑圧する（従来法２）。【０００４】
非特許文献４には、従来法２と従来法１をカスケード接続することで雑音や残響を抑圧する方法が開示されている。この方法では、前段で周波数領域の観測信号と目的音の各時刻のパワーとを受け取り、従来法２を用いて残響を抑圧した後に、後段でステアリングベクトルを受け取り、従来法１を用いて残響や雑音をさらに抑圧する（従来法３）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５２２７３９３号公報
【非特許文献】
【０００６】
【非特許文献１】T Higuchi, N Ito, T Yoshioka, T Nakatani, "Robust MVDR beamforming using time-frequency masks for online/offline ASR in noise," Proc. ICASSP 2016, 2016.
【非特許文献２】J Heymann, L Drude, R Haeb-Umbach, "Neural network based spectral mask estimation for acoustic beamforming," Proc.ICASSP 2016, 2016
【非特許文献３】T Nakatani, T Yoshioka, K Kinoshita, M Miyoshi, "BH Juang, Speech dereverberation based on variance-normalized delayed linear prediction," IEEE Trans. ASLP, 18 (7), 1717-1731, 2010.
【非特許文献４】Takuya Yoshioka, Nobutaka Ito, Marc Delcroix, Atsunori Ogawa, Keisuke Kinoshita, Masakiyo Fujimoto, Chengzhu Yu, Wojciech J Fabian, Miquel Espi, Takuya Higuchi, Shoko Araki, Tomohiro Nakatani, "The NTT CHiME-3 system: Advances in speech enhancement and recognition for mobile multi-microphone devices," Proc. IEEE ASRU 2015, 436-443, 2015.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来法では雑音と残響とを十分に抑圧することができない場合がある。従来法１は、もともと雑音を抑圧するために開発された方法であり、必ずしも十分に残響を抑圧できるとは限らない。従来法２では、雑音を抑圧することができない。従来法３は、従来法１や従来法２を単体で用いるときよりも多くの雑音や残響を抑圧できる。しかし、従来法３では、前段の従来法２と後段の従来法１とを、それぞれ独立した系とみてそれぞれの系で最適化を行う。そのため、前段で従来法２を適用した際に、雑音の影響により、必ずしも十分な残響抑圧ができるとは限らない。また後段で従来法１を適用した際に、残存する残響の影響により、必ずしも十分な雑音残響抑圧ができるとは限らない。【０００８】
本発明はこのような点に鑑みてなされたものであり、雑音と残響とを十分に抑圧することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明では、音源から発せられた音響信号を集音して得られた観測信号の複数の周波数帯域のそれぞれに対応する周波数別観測信号に、各時刻において現在の信号と所定の遅延を持つ長さ０以上の過去の信号列との重み付き和を計算する畳み込みビームフォーマを適用して得られる推定信号が、所定の確率モデルに基づく推定信号の音声らしさを表す確率を大きくするように、畳み込みビームフォーマを得、得られた畳み込みビームフォーマを周波数別観測信号に適用して目的信号を得る。
【発明の効果】
【００１０】
本発明では、確率モデルに基づく推定信号の音声らしさを表す確率が大きくなるように畳み込みビームフォーマを得るため、雑音抑圧と残響抑圧とを１つの系として最適化でき、雑音と残響とを十分に抑圧できる。
【図面の簡単な説明】
【００１１】
【図１】図１Ａは第１実施形態の信号処理装置の機能構成を例示したブロック図である。図１Ｂは第１実施形態の信号処理方法を例示するためのフロー図である。
【図２】図２Ａは第２実施形態の信号処理装置の機能構成を例示したブロック図である。図２Ｂは第２実施形態の信号処理方法を例示するためのフロー図である。
【図３】図３は第３実施形態の信号処理装置の機能構成を例示したブロック図である。
【図４】図４は図３のパラメータ推定部の機能構成を例示したブロック図である。
【図５】図５は第３実施形態のパラメータ推定方法を例示するためのフロー図である。
【図６】図６は第４〜７実施形態の信号処理装置の機能構成を例示したブロック図である。
【図７】図７は図６のパラメータ推定部の機能構成を例示したブロック図である。
【図８】図８は図７のステアリングベクトル推定部の機能構成を例示したブロック図である。
【図９】図９は第８実施形態の信号処理装置の機能構成を例示したブロック図である。
【図１０】図１０は第９実施形態の信号処理装置の機能構成を例示したブロック図である。
【図１１】図１１Ａから図１１Ｃは実施形態の信号処理装置の使用例を説明するためのブロック図である。
【図１２】図１２は第１実施形態の実験結果を例示した表である。
【図１３】図１３は第１実施形態の実験結果を例示した表である。
【図１４】図１４は第４実施形態の実験結果を例示した表である。
【図１５】図１５Ａから図１５Ｃは第７実施形態の実験結果を例示した表である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態を説明する。
［記号の定義］
まず、実施形態で使用する記号を定義する。
Ｍ：Ｍはマイクロホン数を表す正整数である。例えば、Ｍ≧２である。
ｍ：ｍはマイクロホン番号を表す正整数であり、１≦ｍ≦Ｍを満たす。マイクロホン番号は丸括弧付きの右上添え字で表す。すなわち、マイクロホン番号ｍのマイクロホンで収音された信号に基づく値やベクトルは、右上添え字「（ｍ）」を持つ記号で表現される（例えば、ｘｆ，ｔ（ｍ））。
Ｎ：Ｎは信号の時間フレームの総数を表す正整数である。例えば、Ｎ≧２である。
ｔ，τ：ｔ，τは時間フレーム番号を表す正整数であり、ｔは１≦ｔ≦Ｎを満たす。時間フレーム番号は右下添え字で表す。すなわち、時間フレーム番号ｔの時間フレームに対応する値やベクトルは、右下添え字「ｔ」を持つ記号で表現される（例えば、ｘｆ，ｔ（ｍ））。同様に、時間フレーム番号τの時間フレームに対応する値やベクトルは、右下添え字「τ」を持つ記号で表現される。
Ｐ：Ｐは周波数帯域（離散周波数）の総数を表す正整数である。例えば、Ｐ≧２である。
ｆ：ｆは周波数帯域番号を表す正整数であり、１≦ｆ≦Ｐを満たす。周波数帯域番号は右下添え字で表す。すなわち、周波数帯域番号ｆの周波数帯域に対応する値やベクトルは、右下添え字「ｆ」を持つ記号で表現される（例えば、ｘｆ，ｔ（ｍ））。
Ｔ：Ｔは行列やベクトルの非共役転置を表す。α０Ｔはα０を非共役転置して得られる行列やベクトルを表す。
Ｈ：Ｈは行列やベクトルの共役転置を表す。α０Ｈはα０を共役転置して得られる行列やベクトルを表す。
｜α０｜：｜α０｜はα０の絶対値を表す。
||α０||：||α０||はα０のノルムを表す。
｜α０｜γ：｜α０｜γはα０の重み付き絶対値γ｜α０｜を表す。
||α０||γ：||α０||γはα０の重み付きノルムγ||α０||を表す。
【００１３】
本明細書で「目的信号」は目的の音源から発せられてマイクロホンで集音された音に対応する信号（例えば周波数別観測信号）のうち、直接音と初期反射音に対応する信号のことを指す。初期反射音とは、目的の音源から発せられた音に由来する残響のうち、直接音から遅れて数１０ミリ秒以内にマイクロホンに到達する成分のことを指す。一般的に、初期反射音は音の明瞭性を向上させる働きを持つとされており、本実施形態では、初期反射音に対応する信号も目的信号に含められる。一方、マイクロホンで集音される音に対応する信号には、上記の目的信号以外に、目的の音源から発せられた音に由来する後部残響（残響から初期反射音を除いた成分）や目的の音源以外に由来する雑音が含まれている。信号処理方法では、例えばマイクロホンで収録された音に対応する周波数別観測信号から、後部残響と雑音を抑圧して目的信号を推定する。本明細書では特に断りがない限り、「残響」とは「後部残響」のことを指しているものとする。
【００１４】
［原理］
次に原理を説明する。
＜前提となる手法１＞
実施形態の手法の前提となる手法１を説明する。手法１では周波数領域のＭ次元観測信号（周波数別観測信号）
【数１】
2020121590.tif 000003
から雑音と残響とを抑圧する。周波数別観測信号ｘｆ，ｔは、例えば、単数または複数の音源から発せられた音響信号をＭ個のマイクロホンで収音して得られたＭ個の観測信号を周波数領域に変換して得られたものである。観測信号は、雑音および残響が存在する環境下で音源から発せられた音響信号を集音して得られたものである。ｘｆ，ｔ（ｍ）はマイクロホン番号ｍのマイクロホンで収音して得られた観測信号を周波数領域に変換して得られるものである。ｘｆ，ｔ（ｍ）は、周波数帯域番号ｆの周波数帯域および時間フレーム番号ｔの時間フレームに対応する。すなわち、周波数別観測信号ｘｆ，ｔは時系列信号である。
【００１５】
手法１では、「周波数別観測信号ｘｆ，ｔに、各時刻において、現在の時刻の信号の重み付き和を計算する瞬時ビームフォーマ（例えば、最小パワー無歪応答ビームフォーマ）ｗｆ，０を適用した結果、目的信号が歪まない」という拘束条件のもとで、各周波数帯域に対し、以下のコスト関数Ｃ１（ｗｆ，０）を最小化する瞬時ビームフォーマｗｆ，０を求める。
【数２】
2020121590.tif 000004
【数３】
2020121590.tif 000005
なお、ｗｆ，０の右下添え字「０」は時間フレーム番号を表すものではなく、ｗｆ，０は時間フレームに依存しない。拘束条件は、例えば、ｗｆ，０Ｈνｆ，０が定数（例えば１）となる条件である。ここで
【数４】
2020121590.tif 000006
は音源から各マイクロホン（音響信号の集音位置）までの直接音および初期反射音に関する伝達関数νｆ，０（ｍ）を要素とするステアリングベクトルまたはその推定ベクトル（推定ステアリングベクトル）である。すなわち、νｆ，０は、音源位置から各マイクロホンまでのインパルス応答の内、直接音と初期反射音（直接音から数十ミリ秒以内（例えば、３０ミリ秒以内）に遅れて到達する残響）の部分に対応する伝達関数νｆ，０（ｍ）を要素とするＭ次元（マイクロホン数の次元）のベクトルで表される。ステアリングベクトルのゲインの推定が困難な場合には、いずれか一つのマイクロホン番号ｍ０∈｛１，…，Ｍ｝のマイクロホンのゲインが定数ｇ（ｇ≠０）となるように各要素の伝達関数を正規化した正規化ベクトルをνｆ，０としてもよい。すなわち、以下のように正規化されたものをνｆ，０としてもよい。
【数５】
2020121590.tif 000007
【００１６】
以上のように得られた瞬時ビームフォーマｗｆ，０を、以下のように各周波数帯域の周波数別観測信号ｘｆ，ｔに適用することで、周波数別観測信号ｘｆ，ｔから雑音と残響とを抑圧した目的信号ｙｆ，ｔが得られる。
【数６】
2020121590.tif 000008
【００１７】
＜前提となる手法２＞
実施形態の手法の前提となる手法２を説明する。手法２では周波数別観測信号ｘｆ，ｔから残響を抑圧する。手法２では、各周波数帯域で、以下のコスト関数Ｃ２（Ｆｆ）を最小化する残響抑圧フィルタＦｆ，τをτ＝ｄ，ｄ＋１，…，ｄ＋Ｌ−１に対して求める。
【数７】
2020121590.tif 000009
ただし、残響抑圧フィルタＦｆ，τは周波数別観測信号ｘｆ，ｔから残響を抑圧するＭ×Ｍ次行列フィルタである。ｄは予測遅延を表す正整数であり、Ｌはフィルタ長を表す正整数である。σｆ，ｔ２は目的信号のパワーであり、
【数８】
2020121590.tif 000010
である。周波数別観測信号ｘに対する||ｘ||γは、周波数別観測信号ｘの重み付きノルム||ｘ||γ＝γ（ｘＨｘ）である。
【００１８】
以上のように得られた残響抑圧フィルタＦｆ，ｔを、以下のように各周波数帯域の周波数別観測信号ｘｆ，ｔに適用することで、周波数別観測信号ｘｆ，ｔから残響を抑圧した目的信号ｚｆ，ｔが得られる。
【数９】
2020121590.tif 000011
ただし、目的信号ｚｆ，ｔは以下のようなＭ次元縦ベクトルである。
【数１０】
2020121590.tif 000012
【００１９】
＜実施形態の手法＞
実施形態の手法を説明する。手法１，２を統合した手法によって周波数別観測信号ｘｆ，ｔから雑音と残響とを抑圧して得られる目的信号ｙｆ，ｔは、以下のようにモデル化することができる。
【数１１】
2020121590.tif 000013
ただし、τ≠０に対してｗｆ，τ＝−Ｆｆ，τｗｆ，０であり、ｗｆ，τは雑音抑圧と残響抑圧とを同時に行うフィルタに相当する。ｗ−ｆは畳み込みビームフォーマであり、各時刻において現在の信号と所定の遅延を持つ過去の信号列との重み付き和を計算するものである。なお、「ｗ−ｆ」の「−」は本来以下のように「ｗ」の真上に表記すべきであるが、記載表記の制約上「ｗ」の右上に表記する場合がある。
【数１２】
2020121590.tif 000014
畳み込みビームフォーマｗ−ｆは、各時刻において現在の信号と所定の遅延を持つ過去の信号列との重み付き和を計算するものである。畳み込みビームフォーマｗ−ｆは、例えば以下のように表される。
【数１３】
2020121590.tif 000015
ただし、以下を満たす。
【数１４】
2020121590.tif 000016
また、ｘ−ｆ，ｔは以下のように表される。
【数１５】
2020121590.tif 000017
【数１６】
2020121590.tif 000018
【００２０】
なお、本明細書を通じて、式（９）から式（１１Ａ）において Ｌ＝０とする場合も、本発明の畳み込みビームフォーマに含めるものとする。つまり、畳み込みビームフォーマで重み付き和を計算する過去の信号列の長さが０の場合も、畳み込みビームフォーマの一実現例として扱う。この時、式（９）においてΣの項は０となるため、式（９）は以下の式（９Ａ）のようになり、式（１０Ａ）および式（１１Ａ）のそれぞれの右辺は、それぞれ最初の要素一つだけからなるベクトル（すなわちスカラー）になるため、式（１０ＡＡ）および式（１１ＡＡ）のようになる。
【数１７】
2020121590.tif 000019
【数１８】
2020121590.tif 000020
【数１９】
2020121590.tif 000021
なお、式（９Ａ）の畳み込みビームフォーマｗ−ｆは、各時刻において現在の信号と所定の遅延を持つ長さ０の信号列との重み付き和を計算するものであり、各時刻において現在の信号の重み付け値を計算するビームフォーマである。さらに、以下に述べるように、Ｌ＝０の場合であっても、本発明による信号処理装置は、音声らしさを表す確率に基づき畳み込みビームフォーマを求め、周波数別観測信号に適用して、目的信号を得ることができる。
【００２１】
ここで、式（９）のｙｆ，ｔが音声の確率密度関数ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ−ｆ）（確率モデル）に従うのが望ましいと仮定し、信号処理装置は、音声の確率密度関数に基づくｙｆ，ｔの確率ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ−ｆ）（つまり、ｙｆ，ｔの音声らしさを表す確率）を大きくするように畳み込みビームフォーマｗ−ｆを求める。好ましくは、ｙｆ，ｔの音声らしさを表す確率を最大化する畳み込みビームフォーマｗ−ｆを求める。例えば、信号処理装置は、ｌｏｇ ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ−ｆ）を大きくするように畳み込みビームフォーマｗ−ｆを求め、好ましくはｌｏｇ ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ−ｆ）を最大化する畳み込みビームフォーマｗ−ｆを求める。
【００２２】
音声の確率密度関数としては、例えば、平均が０、分散が目的信号のパワーσｆ，ｔ２に一致する複素正規分布を例示できる。「目的信号」は目的の音源から発せられてマイクロホンで集音された音に対応する信号のうち、直接音と初期反射音に対応する信号のことである。また信号処理装置は、例えば、「周波数別観測信号ｘｆ，ｔに畳み込みビームフォーマｗ−ｆを適用した結果、目的信号が歪まない」という拘束条件のもとで、畳み込みビームフォーマｗ−ｆを求める。この拘束条件は、例えば、ｗｆ，０Ｈνｆ，０が定数（例えば１）となる条件である。信号処理装置は、例えば、この拘束条件のもと、各周波数帯域に対し、以下のように定まるｌｏｇ ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ−ｆ）を最大化するｗ−ｆを求める。
【数２０】
2020121590.tif 000022
ただし、「ｃｏｎｓｔ．」は定数を表す。
【００２３】
式（１２）のｌｏｇ ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ−ｆ）から定数項（ｃｏｎｓｔ．）を除き、正負符号を反転させた以下の関数をコスト関数Ｃ３（ｗ−ｆ）とする。
【数２１】
2020121590.tif 000023
ただし、Ｒは、以下のように求められる重み付き時空間共分散行列である。
【数２２】
2020121590.tif 000024
信号処理装置は、例えば、上述の拘束条件（例えば、ｗｆ，０Ｈνｆ，０が定数）のもと、式（１３）のコスト関数Ｃ３（ｗ−ｆ）を最小化するｗ−ｆを求めてもよい。
【００２４】
上記の拘束条件（例えば、ｗｆ，０Ｈνｆ，０＝１）のもと、コスト関数Ｃ３（ｗ−ｆ）を最小化するｗ−ｆの解析解は以下のようになる。
【数２３】
2020121590.tif 000025
ただし、ν−ｆはステアリングベクトルνｆ，０の要素νｆ，０（ｍ）を以下のように配置したベクトルである。
【数２４】
2020121590.tif 000026
ただし、ν―ｆ（ｍ）はνｆ，０（ｍ）とＬ個の０とを要素とするＬ＋１次元縦ベクトルである。
【００２５】
信号処理装置は、求めた畳み込みビームフォーマｗ−ｆを周波数別観測信号ｘｆ，ｔに以下のように適用して目的信号ｙｆ，ｔを得る。
【数２５】
2020121590.tif 000027
【００２６】
［第１実施形態］
次に、第１実施形態を説明する。
図１Ａに例示するように、本実施形態の信号処理装置１は推定部１１と抑圧部１２とを有する。
【００２７】
＜ステップＳ１１＞
図１Ｂに例示するように、推定部１１には、周波数別観測信号ｘｆ，ｔが入力される（式（１））。推定部１１は、各周波数帯域において、周波数別観測信号ｘｆ，ｔに、各時刻において現在の信号と所定の遅延を持つ過去の信号列との重み付き和を計算する畳み込みビームフォーマｗ−ｆを適用して得られる推定信号が、所定の確率モデルに基づく推定信号の音声らしさを表す確率を大きくするように、畳み込みビームフォーマｗ−ｆを得て出力する。例えば、推定部１１は、確率密度関数ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ−ｆ）に基づくｙｆ，ｔの音声らしさを表す確率が大きくなるように（例えば、ｌｏｇ ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ−ｆ）を大きくするように）畳み込みビームフォーマｗ−ｆを求める。好ましくは、推定部１１は、この確率を最大化する（例えば、ｌｏｇ ｐ（｛ｙｆ，ｔ｝ｔ＝１：Ｎ；ｗ−ｆ）を最大化する）畳み込みビームフォーマｗ−ｆを求める。
【００２８】
＜ステップＳ１２＞
抑圧部１２には、周波数別観測信号ｘｆ，ｔとステップＳ１１で得られた畳み込みビームフォーマｗ−ｆとが入力される。抑圧部１２は、各周波数帯域において、畳み込みビームフォーマｗ−ｆを周波数別観測信号ｘｆ，ｔに適用して目的信号ｙｆ，ｔ（推定信号）を得て出力する。例えば、抑圧部１２は、式（１６）に例示したように、ｗ−ｆをｘ−ｆ，ｔに適用して目的信号ｙｆ，ｔを得て出力する。
【００２９】
＜本実施形態の特徴＞
本実施形態では、周波数別観測信号ｘｆ，ｔに、各時刻において現在の信号と所定の遅延を持つ過去の信号列との重み付き和を計算する畳み込みビームフォーマｗ−ｆを適用して得られる推定信号が、所定の確率モデルに基づく推定信号の音声らしさを表す確率を大きくするように、畳み込みビームフォーマｗ−ｆを求めた。これは雑音抑圧と残響抑圧とを１つの系として最適化することに相当する。そのため、本実施形態では、従来よりも雑音と残響とを十分に抑圧することができる。
【００３０】
［第２実施形態］
次に、第２実施形態を説明する。以下、これまで説明した処理部およびステップについては同じ参照番号を引用して説明を簡略化する。
図２Ａに例示するように、本実施形態の信号処理装置２は推定部２１と抑圧部１２とを有する。推定部２１は行列推定部２１１と畳み込みビームフォーマ推定部２１２とを有する。
【００３１】
本実施形態の推定部２１は、「周波数別観測信号ｘｆ，ｔに畳み込みビームフォーマｗ−ｆを適用した結果、目的信号が歪まない」という拘束条件のもとで、所定の時間区間に属する各時刻での推定信号のパワーを、目的信号のパワーσｆ，ｔ２の逆数または当該目的信号の推定パワーσｆ，ｔ２の逆数で重み付けして得られる値の総和（例えば、式（１３）のコスト関数Ｃ３（ｗ−ｆ））、を最小化する畳み込みビームフォーマｗ−ｆを得て出力する。式（９）に例示したように、畳み込みビームフォーマｗ−ｆは、周波数別観測信号ｘｆ，ｔから残響を抑圧する残響抑圧フィルタＦｆ，ｔと、周波数別観測信号ｘｆ，ｔに残響抑圧フィルタＦｆ，ｔを適用して得られる信号から雑音を抑圧する瞬時ビームフォーマｗｆ，０を合成して得られるビームフォーマと等価である。また拘束条件は、例えば「音源から音響信号の集音位置までの直接音および初期反射音に関する伝達関数を要素とするステアリングベクトルまたはステアリングベクトルの推定ベクトルである推定ステアリングベクトルに瞬時ビームフォーマを適用して得られる値が定数である（ｗｆ，０Ｈνｆ，０が定数）」という条件である。以下、処理を詳細に説明する。
【００３２】
＜ステップＳ２１１＞
図２Ｂに例示するように、行列推定部２１１には、周波数別観測信号ｘｆ，ｔおよび目的信号のパワーまたは推定パワーσｆ，ｔ２が入力される。行列推定部２１１は、各周波数帯域について、周波数別観測信号ｘｆ，ｔと目的信号のパワーまたは推定パワーσｆ，ｔ２とに基づき、重み付き時空間共分散行列Ｒｆを得て出力する。例えば、行列推定部２１１は、式（１４）に従って重み付き時空間共分散行列Ｒｆを得て出力する。
【００３３】
＜ステップＳ２１２＞
畳み込みビームフォーマ推定部２１２には、ステアリングベクトルまたは推定ステアリングベクトルνｆ，０（式（４）または（５））とステップＳ２１１で得られた重み付き時空間共分散行列Ｒｆとが入力される。畳み込みビームフォーマ推定部２１２は、重み付き時空間共分散行列Ｒｆとステアリングベクトルまたは推定ステアリングベクトルνｆ，０とに基づき、畳み込みビームフォーマｗ−ｆを得て出力する。例えば、畳み込みビームフォーマ推定部２１２は、式（１５）に従って畳み込みビームフォーマｗ−ｆを得て出力する。
【００３４】
＜ステップＳ１２＞
第１実施形態と同一であるため説明を省略する。
【００３５】
＜本実施形態の特徴＞
本実施形態では、重み付き時空間共分散行列Ｒｆを得、重み付き時空間共分散行列Ｒｆとステアリングベクトルまたは推定ステアリングベクトルνｆ，０とに基づき、畳み込みビームフォーマｗ−ｆを得た。これは雑音抑圧と残響抑圧とを１つの系として最適化することに相当する。そのため、本実施形態では、従来よりも雑音と残響とを十分に抑圧することができる。
【００３６】
［第３実施形態］
次に、第３実施形態を説明する。本実施形態では、σｆ，ｔ２およびνｆ，０の生成方法を例示する。
図３に例示するように、本実施形態の信号処理装置３は推定部２１と抑圧部１２とパラメータ推定部３３とを有する。推定部２１は行列推定部２１１と畳み込みビームフォーマ推定部２１２とを有する。また図４に例示するように、パラメータ推定部３３は、初期設定部３３０と、パワー推定部３３１と、残響抑圧フィルタ推定部３３２と、残響抑圧フィルタ適用部３３３と、ステアリングベクトル推定部３３４と、瞬時ビームフォーマ推定部３３５と、瞬時ビームフォーマ適用部３３６と、制御部３３７とを有する。
【００３７】
以下では第２実施形態との相違点であるパラメータ推定部３３の処理のみを説明する。その他の処理部の処理は第１，２実施形態で説明した通りである。
＜ステップＳ３３０＞
初期設定部３３０には周波数別観測信号ｘｆ，ｔが入力される。初期設定部３３０は、周波数別観測信号ｘｆ，ｔを用い、目的信号の推定パワーσｆ，ｔ２の暫定値である暫定パワーσｆ，ｔ２を生成して出力する。例えば、初期設定部３３０は、以下に従って暫定パワーσｆ，ｔ２を生成して出力する。
【数２６】
2020121590.tif 000028
なお、Ｍ＝１の場合にはσｆ，ｔ２＝｜ｘｆ，ｔ｜２＝ｘｆ，ｔＨｘｆ，ｔである。
【００３８】
＜ステップＳ３３２＞
残響抑圧フィルタ推定部３３２には、周波数別観測信号ｘｆ，ｔと最新の暫定パワーσｆ，ｔ２とが入力される。残響抑圧フィルタ推定部３３２は、各周波数帯域において、式（７）のコスト関数Ｃ２（Ｆｆ）を最小化する残響抑圧フィルタＦｆ，ｔをｔ＝ｄ，ｄ＋１，…，ｄ＋Ｌ−１に対して求めて出力する。
【００３９】
＜ステップＳ３３３＞
残響抑圧フィルタ適用部３３３には、周波数別観測信号ｘｆ，ｔとステップＳ３３２で得られた最新の残響抑圧フィルタＦｆ，ｔとが入力される。残響抑圧フィルタ適用部３３３は、各周波数帯域において、周波数別観測信号ｘｆ，ｔに残響抑圧フィルタＦｆ，ｔを適用して推定信号ｙ’ｆ，ｔを得て出力する。例えば、残響抑圧フィルタ適用部３３３は、式（８）に従って得たｚｆ，ｔをｙ’ｆ，ｔとして出力する。
【００４０】
＜ステップＳ３３４＞
ステアリングベクトル推定部３３４には、ステップＳ３３３で得られた最新の推定信号ｙ’ｆ，ｔが入力される。ステアリングベクトル推定部３３４は、各周波数帯域において、推定信号ｙ’ｆ，ｔを用い、推定ステアリングベクトルの暫定ベクトルである暫定ステアリングベクトルνｆ，０を得て出力する。例えば、ステアリングベクトル推定部３３４は、非特許文献１，２に記載されたステアリングベクトルの推定方法に従って、推定信号ｙ’ｆ，ｔに対する暫定ステアリングベクトルνｆ，０を得て出力する。例えば、ステアリングベクトル推定部３３４は、非特許文献２のｙｆ，ｔとしてｙ’ｆ，ｔを用いて推定されたステアリングベクトルを暫定ステアリングベクトルνｆ，０として出力する。また前述のように、いずれか一つのマイクロホン番号ｍ０∈｛１，…，Ｍ｝のマイクロホンのゲインが定数ｇとなるように各要素の伝達関数を正規化した正規化ベクトルをνｆ，０としてもよい（式（５））。
【００４１】
＜ステップＳ３３５＞
瞬時ビームフォーマ推定部３３５には、ステップＳ３３３で得られた最新の推定信号ｙ’ｆ，ｔと、ステップＳ３３４で得られた最新の暫定ステアリングベクトルνｆ，０とが入力される。瞬時ビームフォーマ推定部３３５は、各周波数帯域において、「ｗｆ，０Ｈνｆ，０が定数となる」との拘束条件のもとで、式（２）においてｘｆ，ｔ＝ｙ’ｆ，ｔした以下の式（１８）のＣ１（ｗｆ，０）を最小化する瞬時ビームフォーマｗｆ，０を得て出力する。
【数２７】
2020121590.tif 000029
【００４２】
＜ステップＳ３３６＞
瞬時ビームフォーマ適用部３３６には、ステップＳ３３３で得られた最新の推定信号ｙ’ｆ，ｔと、ステップＳ３３５で得られた最新の瞬時ビームフォーマｗｆ，０とが入力される。瞬時ビームフォーマ適用部３３６は、各周波数帯域において、瞬時ビームフォーマｗｆ，０を推定信号ｙ’ｆ，ｔに適用して推定信号ｙ”ｆ，ｔを得て出力する。例えば、瞬時ビームフォーマ適用部３３６は、以下のように推定信号ｙ”ｆ，ｔを得て出力する。
【数２８】
2020121590.tif 000030
【００４３】
＜ステップＳ３３１＞
パワー推定部３３１には、ステップＳ３３６で得られた最新の推定信号ｙ”ｆ，ｔが入力される。パワー推定部３３１は、各周波数帯域において、推定信号ｙ”ｆ，ｔのパワーを暫定パワーσｆ，ｔ２として出力する。例えば、パワー推定部３３１は、以下に従って暫定パワーσｆ，ｔ２を生成して出力する。
σｆ，ｔ２＝｜ｙ”ｆ，ｔ｜２＝ｙ”ｆ，ｔＨｙ”ｆ，ｔ          （２０）
【００４４】
＜ステップＳ３３７ａ＞
制御部３３７は終了条件を満たした否かを判定する。終了条件に限定はないが、例えば、ステップＳ３３１−Ｓ３３６の処理の繰り返し回数が所定値を超えたこと、ステップＳ３３１−Ｓ３３６の処理を１回行った前後でのσｆ，ｔ２またはνｆ，０の変化量が所定値以下であることなどである。終了条件を満たしていない場合には、ステップＳ３３２の処理に戻る。一方、終了条件を満たした場合にはステップＳ３３７ｂに進む。
【００４５】
＜ステップＳ３３７ｂ＞
ステップＳ３３７ｂでは、パワー推定部３３１がステップＳ３３１で得た最新のσｆ，ｔ２を目的信号の推定パワーとして出力し、ステアリングベクトル推定部３３４がステップＳ３３４で得た最新のνｆ，０を推定ステアリングベクトルとして出力する。図３に例示するように、推定パワーσｆ，ｔ２は行列推定部２１１に入力され、推定ステアリングベクトルνｆ，０が畳み込みビームフォーマ推定部２１２に入力される。
【００４６】
［第４実施形態］
上述のようにステアリングベクトルは周波数別観測信号ｘｆ，ｔに基づいて推定されるが、周波数別観測信号ｘｆ，ｔの残響を抑圧してから（好ましくは、残響を除去してから）ステアリングベクトルの推定を行うとその推定精度が向上する。すなわち、周波数別観測信号ｘｆ，ｔから残響成分を抑圧した周波数別残響抑圧信号を得、当該周波数別残響抑圧信号から推定ステアリングベクトルを得ることで推定ステアリングベクトルの精度を向上させることができる。
【００４７】
図６に例示するように、本実施形態の信号処理装置４は推定部２１と抑圧部１２とパラメータ推定部４３とを有する。推定部２１は行列推定部２１１と畳み込みビームフォーマ推定部２１２とを有する。図７に例示するように、パラメータ推定部４３は残響抑圧部４３１とステアリングベクトル推定部４３２とを有する。
【００４８】
第４実施形態の第１から３実施形態からの相違点は、推定ステアリングベクトルを生成する前に周波数別観測信号ｘｆ，ｔから残響成分を抑圧する点である。以下では、推定ステアリングベクトルの生成方法のみを説明する。
【００４９】
＜残響抑圧部４３１の処理（ステップＳ４３１）＞
パラメータ推定部４３（図７）の残響抑圧部４３１には周波数別観測信号ｘｆ，ｔが入力される。残響抑圧部４３１は、周波数別観測信号ｘｆ，ｔから残響成分を抑圧した（好ましくは、周波数別観測信号ｘｆ，ｔから残響成分を除去した）周波数別残響抑圧信号ｕｆ，ｔを得て出力する。周波数別観測信号ｘｆ，ｔから残響成分を抑圧（除去）する方法に限定はない。公知の残響抑圧（除去）方法を利用することができる。例えば、残響抑圧部４３１は、参考文献１に記載された方法を用い、周波数別観測信号ｘｆ，ｔから残響成分を抑圧した周波数別残響抑圧信号ｕｆ，ｔを得て出力する。
参考文献１：Takuya Yoshioka and Tomohiro Nakatani, "Generalization of Multi-Channel Linear Prediction Methods for Blind MIMO Impulse Response Shortening," IEEE Transactions on Audio, Speech, and Language Processing (Volume: 20, Issue: 10 , Dec. 2012)
【００５０】
＜ステアリングベクトル推定部４３２の処理（ステップＳ４３２）＞
残響抑圧部４３１で得られた周波数別残響抑圧信号ｕｆ，ｔはステアリングベクトル推定部４３２に入力される。ステアリングベクトル推定部４３２は、周波数別残響抑圧信号ｕｆ，ｔを入力としてステアリングベクトルの推定ベクトルである推定ステアリングベクトルを生成して出力する。周波数別の時系列信号を入力として推定ステアリングベクトルを得るためのステアリングベクトル推定処理方法は周知である。ステアリングベクトル推定部４３２は、任意のステアリングベクトル推定処理の入力として周波数別残響抑圧信号ｕｆ，ｔを用い、推定ステアリングベクトルνｆ，０を得て出力する。ステアリングベクトル推定処理方法に限定はなく、例えば、上述した非特許文献１，２に記載された方法を用いてもよいし、参考文献２，３等を用いてもよい。
参考文献２：N. Ito, S. Araki, M. Delcroix, and T. Nakatani, “Probabilistic spatial dictionary based online adaptive beamforming for meeting recognition in noisy and reverberant environments,” Proc IEEE ICASSP, pp. 681-685, 2017.
参考文献３：S. Markovich-Golan and S. Gannot, “Performance analysis of the covarience subtraction method for relative transfer function estimation and comparison to the covariance whitening method,” Proc. IEEE ICASSP, pp. 544-548, 2015.
【００５１】
ステアリングベクトル推定部４３２で得られた推定ステアリングベクトルνｆ，０は、畳み込みビームフォーマ推定部２１２に入力される。畳み込みビームフォーマ推定部２１２は、この推定ステアリングベクトルνｆ，０とステップＳ２１１で得られた重み付き時空間共分散行列Ｒｆとを用い、第２実施形態で説明したステップＳ２１２の処理を行う。その他は、第１，２実施形態で説明した通りである。
【００５２】
［第５実施形態］
第５実施形態ではステアリングベクトルの推定を逐次処理で実行する方法を説明する。これによって、例えば、オンラインで逐次的に入力された周波数別観測信号ｘｆ，ｔから各時間フレーム番号ｔの推定ステアリングベクトルを計算することができる。
【００５３】
図６に例示するように、本実施形態の信号処理装置５は推定部２１と抑圧部１２とパラメータ推定部５３とを有する。推定部２１は行列推定部２１１と畳み込みビームフォーマ推定部２１２とを有する。図７に例示するように、パラメータ推定部５３はステアリングベクトル推定部５３２を有する。図８に例示するように、ステアリングベクトル推定部５３２は、観測信号共分散行列更新部５３２ａと主成分ベクトル更新部５３２ｂとステアリングベクトル更新部５３２ｃ（ステアリングベクトル推定部）と雑音共分散逆行列更新部５３２ｄと雑音共分散行列更新部５３２ｅとを有する。第５実施形態の第１から３実施形態からの相違点は、推定ステアリングベクトルの生成を逐次処理で行う点のみである。以下では推定ステアリングベクトルの生成方法のみを説明する。以下の処理は、ｔ＝１から昇順で各時間フレーム番号ｔについて実行される。
【００５４】
＜ステアリングベクトル推定部５３２の処理（ステップＳ５３２）＞
ステアリングベクトル推定部５３２（図７，図８）には、周波数別の時系列信号である周波数別観測信号ｘｆ，ｔが入力される。
【００５５】
≪観測信号共分散行列更新部５３２ａの処理（ステップＳ５３２ａ）≫
観測信号共分散行列更新部５３２ａ（図８）は、周波数別観測信号ｘｆ，ｔを入力とし、周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）、および周波数別観測信号ｘｆ，ｔ−１の空間共分散行列Ψｘ，ｆ，ｔ−１（第１時間区間よりも過去の第２時間区間に属する周波数別観測信号の空間共分散行列）に基づく、周波数別観測信号ｘｆ，ｔの空間共分散行列Ψｘ，ｆ，ｔ（第１時間区間に属する周波数別観測信号の空間共分散行列）を得て出力する。例えば、観測信号共分散行列更新部５３２ａは、周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）の共分散行列ｘｆ，ｔｘｆ，ｔＨと空間共分散行列Ψｘ，ｆ，ｔ−１（第１時間区間よりも過去の第２時間区間に属する周波数別観測信号の空間共分散行列）との線形和を、周波数別観測信号ｘｆ，ｔの空間共分散行列Ψｘ，ｆ，ｔ（第１時間区間に属する周波数別観測信号の空間共分散行列）として得て出力する。例えば、観測信号共分散行列更新部５３２ａは、以下の式（２１）に従って空間共分散行列Ψｘ，ｆ，ｔを得て出力する。
【数２９】
2020121590.tif 000031
ここで、βは忘却係数であり、例えば０＜β＜１の範囲に属する実数である。空間共分散行列Ψｘ，ｆ，ｔ−１の初期行列Ψｘ，ｆ，０はどのようなものでもよい。例えば、Ｍ×Ｍ次元の単位行列を空間共分散行列Ψｘ，ｆ，ｔ−１の初期行列Ψｘ，ｆ，０とすることができる。
【００５６】
＜雑音共分散逆行列更新部５３２ｄの処理（ステップＳ５３２ｄ）＞
雑音共分散逆行列更新部５３２ｄには、周波数別観測信号ｘｆ，ｔおよびマスク情報γｆ，ｔ（ｎ）が入力される。マスク情報γｆ，ｔ（ｎ）は、時間フレーム番号ｔおよび周波数帯域番号ｆに対応する時間周波数点において、周波数別観測信号ｘｆ，ｔに含まれる雑音成分の割合を表す情報である。言い換えると、マスク情報γｆ，ｔ（ｎ）は、時間フレーム番号ｔおよび周波数帯域番号ｆに対応する時間周波数点で、周波数別観測信号ｘｆ，ｔに含まれる雑音成分の占有確率を表す。マスク情報γｆ，ｔ（ｎ）の推定方法に限定はない。マスク情報γｆ，ｔ（ｎ）の推定方法は周知であり、例えば、complex Gaussian mixture model (CGMM)を用いる推定方法（例えば、参考文献４）、ニューラルネットワークを用いる推定方法（例えば、参考文献５）、およびそれらを結合した推定方法（例えば、参考文献６、参考文献７）などが知られている。
参考文献４：T. Higuchi, N. Ito, T. Yoshioka, and T. Nakatani, "Robust MVDR beamforming using time-frequency masks for online/offline ASR in noise," Proc. IEEE ICASSP-2016, pp. 5210-5214, 2016．
参考文献５：J. Heymann, L. Drude, and R. Haeb-Umbach, "Neural network based spectral mask estimation for acoustic beamforming," Proc. IEEE ICASSP-2016, pp. 196-200, 2016.
参考文献６：T. Nakatani, N. Ito,  T. Higuchi, S. Araki, and K. Kinoshita, "Integrating DNN-based and spatial clustering-based mask estimation for robust MVDR beamforming," Proc. IEEE ICASSP-2017, pp. 286-290, 2017.
参考文献７：Y. Matsui, T. Nakatani, M. Delcroix, K. Kinoshita, S. Araki, and S. Makino, "Online integration of DNN-based and spatial clustering-based mask estimation for robust MVDR beamforming," Proc. IWAENC, pp. 71-75, 2018.
マスク情報γｆ，ｔ（ｎ）は、事前に推定されて図示していない記憶装置に格納されたものであってもよいし、逐次的に推定されるものであってもよい。なお、「γｆ，ｔ（ｎ）」の右上添字の「（ｎ）」は本来右下添字の「ｆ，ｔ」の真上に記載すべきであるが、記載表記の制約上、「ｆ，ｔ」の右上に記載してある。
【００５７】
雑音共分散逆行列更新部５３２ｄは、周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）、マスク情報γｆ，ｔ（ｎ）（第１時間区間に属するマスク情報）、および雑音共分散逆行列Ψ−１ｎ，ｆ，ｔ−１（第１時間区間よりも過去の第２時間区間に属する周波数別観測信号の雑音共分散逆行列）に基づき、雑音共分散逆行列Ψ−１ｎ，ｆ，ｔ（第１時間区間に属する周波数別観測信号の雑音共分散逆行列）を得て出力する。例えば、雑音共分散逆行列更新部５３２ｄは、Woodburyの公式を用い、以下の式（２２）に従って雑音共分散逆行列Ψ−１ｎ，ｆ，ｔを得て出力する。
【数３０】
2020121590.tif 000032
ここで、αは忘却係数であり、例えば０＜α＜１の範囲に属する実数である。雑音共分散逆行列Ψ−１ｎ，ｆ，ｔ−１の初期行列Ψ−１ｎ，ｆ，０はどのようなものでもよい。例えば、Ｍ×Ｍ次元の単位行列を雑音共分散逆行列Ψ−１ｎ，ｆ，ｔ−１の初期行列Ψ−１ｎ，ｆ，０とすることができる。なお、「Ψ−１ｎ，ｆ，ｔ」の右上添字の「−１」は本来右下添字の「ｎ，ｆ，ｔ」の真上に記載すべきであるが、記載表記の制約上、「ｎ，ｆ，ｔ」の左上に記載してある。
【００５８】
＜主成分ベクトル更新部５３２ｂの処理（ステップＳ５３２ｂ）＞
主成分ベクトル更新部５３２ｂには、観測信号共分散行列更新部５３２ａで得られた空間共分散行列Ψｘ，ｆ，ｔ、および雑音共分散逆行列更新部５３２ｄで得られた雑音共分散逆行列Ψ−１ｎ，ｆ，ｔが入力される。主成分ベクトル更新部５３２ｂは、雑音共分散逆行列Ψ−１ｎ，ｆ，ｔ（周波数別観測信号の雑音共分散行列の逆行列）、空間共分散行列Ψｘ，ｆ，ｔ（第１時間区間に属する周波数別観測信号の空間共分散行列）、および主成分ベクトルｖ〜ｆ，ｔ−１（第２時間区間の主成分ベクトル）に基づき、パワー法によってΨ−１ｎ，ｆ，ｔΨｘ，ｆ，ｔ（周波数別観測信号の雑音共分散行列の逆行列と、第１時間区間に属する周波数別観測信号の空間共分散行列と、の積）に対する主成分ベクトルｖ〜ｆ，ｔ（第１時間区間の主成分ベクトル）を得て出力する。例えば、主成分ベクトル更新部５３２ｂは、Ψ−１ｎ，ｆ，ｔΨｘ，ｆ，ｔｖ〜ｆ，ｔ−１に基づく主成分ベクトルｖ〜ｆ，ｔを得て出力する。例えば、主成分ベクトル更新部５３２ｂは、以下の式（２３）（２４）に従って主成分ベクトルｖ〜ｆ，ｔを得て出力する。なお、「ｖ〜ｆ，ｔ」の右上添字の「〜」は本来右下添字の「ｖ」の真上に記載すべきであるが、記載表記の制約上、「ｖ」の右上に記載している。
【数３１】
2020121590.tif 000033
【数３２】
2020121590.tif 000034
ここでｖ〜ｆ，ｔｒｅｆは、式（２３）で得られるベクトルｖ〜’ｆ，ｔのＭ個の要素のうち、基準とする所定のマイクロホン（参照マイクロホンｒｅｆ）に対応する要素を表す。すなわち、式（２３）（２４）の例では、主成分ベクトル更新部５３２ｂは、ｖ〜’ｆ，ｔ＝Ψ−１ｎ，ｆ，ｔΨｘ，ｆ，ｔｖ〜ｆ，ｔ−１の各要素をｖ〜ｆ，ｔｒｅｆで正規化したものを主成分ベクトルｖ〜ｆ，ｔとしている。なお、「ｖ〜’ｆ，ｔ」の右上添字の「〜」は本来右下添字の「ｖ」の真上に記載すべきであるが、記載表記の制約上、「ｖ」の右上に記載している。
【００５９】
＜雑音共分散行列更新部５３２ｅ（ステップＳ５３２ｅ）＞
雑音共分散行列更新部５３２ｅは、周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）、およびマスク情報γｆ，ｔ（ｎ）（第１時間区間に属するマスク情報）を入力とし、周波数別観測信号ｘｆ，ｔ、マスク情報γｆ，ｔ（ｎ）、および雑音共分散行列Ψｎ，ｆ，ｔ−１（第１時間区間よりも過去の第２時間区間に属する周波数別観測信号の雑音共分散行列）に基づく、周波数別観測信号ｘｆ，ｔの雑音共分散行列Ψｎ，ｆ，ｔ（第１時間区間に属する周波数別観測信号の雑音共分散行列）を得て出力する。例えば、雑音共分散行列更新部５３２ｅは、周波数別観測信号ｘｆ，ｔの共分散行列ｘｆ，ｔｘｆ，ｔＨとマスク情報γｆ，ｔ（ｎ）との積γｆ，ｔ（ｎ）ｘｆ，ｔｘｆ，ｔＨと雑音共分散行列Ψｎ，ｆ，ｔ−１（第１時間区間よりも過去の第２時間区間に属する周波数別観測信号の雑音共分散行列）との線形和を、周波数別観測信号ｘｆ，ｔの雑音共分散行列Ψｎ，ｆ，ｔとして得て出力する。例えば、雑音共分散行列更新部５３２ｅは、以下の式（２５）に従って雑音共分散行列Ψｎ，ｆ，ｔを得て出力する。
【数３３】
2020121590.tif 000035
ここでαは忘却係数であり、例えば０＜α＜１の範囲に属する実数である。
【００６０】
＜ステアリングベクトル更新部５３２ｃ（ステップＳ５３２ｃ）＞
ステアリングベクトル更新部５３２ｃは、主成分ベクトル更新部５３２ｂで得られた主成分ベクトルｖ〜ｆ，ｔ（第１時間区間の主成分ベクトル）、および雑音共分散行列更新部５３２ｅで得られた雑音共分散行列Ψｎ，ｆ，ｔ（周波数別観測信号の雑音共分散行列）を入力とし、これらに基づき、推定ステアリングベクトルνｆ，ｔ（第１時間区間の推定ステアリングベクトル）を得て出力する。例えば、ステアリングベクトル更新部５３２ｃは、Ψｎ，ｆ，ｔｖ〜ｆ，ｔに基づく推定ステアリングベクトルνｆ，ｔを得て出力する。例えば、ステアリングベクトル更新部５３２ｃは、以下の式（２６）（２７）に従って推定ステアリングベクトルνｆ，ｔを得て出力する。
【数３４】
2020121590.tif 000036
【数３５】
2020121590.tif 000037
ここでｖｆ，ｔｒｅｆは、式（２６）で得られるベクトルｖ’ｆ，ｔのＭ個の要素のうち、参照マイクロホンｒｅｆに対応する要素を表す。すなわち、式（２６）（２７）の例では、ステアリングベクトル更新部５３２ｃは、ｖ’ｆ，ｔ＝Ψｎ，ｆ，ｔｖ〜ｆ，ｔの各要素をｖｆ，ｔｒｅｆで正規化したものを推定ステアリングベクトルνｆ，ｔとしている。
【００６１】
ステアリングベクトル推定部５３２で得られた推定ステアリングベクトルνｆ，ｔは、畳み込みビームフォーマ推定部２１２に入力される。畳み込みビームフォーマ推定部２１２は、この推定ステアリングベクトルνｆ，ｔをνｆ，０として扱い、推定ステアリングベクトルνｆ，ｔとステップＳ２１１で得られた重み付き時空間共分散行列Ｒｆとを用い、第２実施形態で説明したステップＳ２１２の処理を行う。その他は、第１，２実施形態で説明した通りである。また行列推定部２１１に入力されるσｆ，ｔ２としては、例えば式（１７）のように生成された暫定パワーが用いられてもよいし、第３実施形態で説明したように生成された推定パワーσｆ，ｔ２が用いられてもよい。
【００６２】
［第５実施形態の変形例１］
第５実施形態のステップＳ５３２ｄでは、雑音共分散逆行列更新部５３２ｄが周波数別観測信号ｘｆ，ｔおよびマスク情報γｆ，ｔ（ｎ）を用いて、時間フレーム番号ｔに対応する各時点において雑音共分散逆行列Ψ−１ｎ，ｆ，ｔを適応更新した。しかしながら、雑音共分散逆行列更新部５３２ｄが、マスク情報γｆ，ｔ（ｎ）を用いることなく、雑音成分のみ存在するか雑音成分が支配的な時間区間の周波数別観測信号ｘｆ，ｔを用いて雑音共分散逆行列Ψ−１ｎ，ｆ，ｔを得て出力してもよい。例えば、雑音共分散逆行列更新部５３２ｄが、雑音成分のみ存在するか雑音成分が支配的な時間区間の周波数別観測信号ｘｆ，ｔに対するｘｆ，ｔｘｆ，ｔＨの時間平均の逆行列を雑音共分散逆行列Ψ−１ｎ，ｆ，ｔとして出力してもよい。このように得られた雑音共分散逆行列Ψ−１ｎ，ｆ，ｔは、各時間フレーム番号ｔのフレームにおいて継続的に使用される。
【００６３】
第５実施形態のステップＳ５３２ｅで、雑音共分散行列更新部５３２ｅが、マスク情報γｆ，ｔ（ｎ）を用いることなく、雑音成分のみ存在するか雑音成分が支配的な時間区間の周波数別観測信号ｘｆ，ｔを用いて周波数別観測信号ｘｆ，ｔの雑音共分散行列Ψｎ，ｆ，ｔを得て出力してもよい。例えば、雑音共分散行列更新部５３２ｅが、雑音成分のみ存在するか雑音成分が支配的な時間区間の周波数別観測信号ｘｆ，ｔに対するｘｆ，ｔｘｆ，ｔＨの時間平均を雑音共分散行列Ψｎ，ｆ，ｔとして出力してもよい。このように得られた雑音共分散行列Ψｎ，ｆ，ｔは、各時間フレーム番号ｔのフレームにおいて継続的に使用される。
【００６４】
［第５実施形態の変形例２］
第５実施形態およびその変形例では、第１時間区間が時間フレーム番号ｔのフレームであり、第２時間区間が時間フレーム番号ｔ−１のフレームである場合を例にとったが、これは本発明を限定するものではない。時間フレーム番号ｔ以外の時間フレーム番号のフレームを第１時間区間としてもよい。時間フレーム番号ｔ−１以外の第１時間区間よりも過去の時間フレームを第２時間区間としてもよい。
【００６５】
［第６実施形態］
第５実施形態では、ステアリングベクトル推定部５３２が周波数別観測信号ｘｆ，ｔを入力とし、逐次処理で推定ステアリングベクトルνｆ，ｔを得て出力する。しかしながら、第４実施形態で説明したように、周波数別観測信号ｘｆ，ｔの残響を抑圧してからステアリングベクトルの推定を行うとその推定精度が向上する。第６実施形態では、周波数別観測信号ｘｆ，ｔの残響を抑圧してから、ステアリングベクトル推定部が第５実施形態で説明したように逐次処理で推定ステアリングベクトルνｆ，ｔを得て出力する例を説明する。
【００６６】
図６に例示するように、本実施形態の信号処理装置６は推定部２１と抑圧部１２とパラメータ推定部６３とを有する。図７に例示するように、パラメータ推定部６３は残響抑圧部４３１とステアリングベクトル推定部６３２とを有する。第６実施形態の第５実施形態からの相違点は、推定ステアリングベクトルを生成する前に周波数別観測信号ｘｆ，ｔから残響成分を抑圧する点である。以下では、推定ステアリングベクトルの生成方法のみを説明する。
【００６７】
＜残響抑圧部４３１の処理（ステップＳ４３１）＞
残響抑圧部４３１（図７）は、第４実施形態で説明したように、周波数別観測信号ｘｆ，ｔから残響成分を抑圧した（好ましくは、周波数別観測信号ｘｆ，ｔから残響成分を除去した）周波数別残響抑圧信号ｕｆ，ｔを得て出力する。
【００６８】
＜ステアリングベクトル推定部６３２の処理（ステップＳ６３２）＞
周波数別残響抑圧信号ｕｆ，ｔはステアリングベクトル推定部６３２に入力される。ステアリングベクトル推定部６３２の処理は、周波数別観測信号ｘｆ，ｔに代えて周波数別残響抑圧信号ｕｆ，ｔがステアリングベクトル推定部６３２に入力され、ステアリングベクトル推定部６３２が周波数別観測信号ｘｆ，ｔに代えて周波数別残響抑圧信号ｕｆ，ｔを使用することを除き、第５実施形態のステアリングベクトル推定部５３２の処理と同じである。すなわち、ステアリングベクトル推定部６３２の処理は、ステアリングベクトル推定部５３２の処理における周波数別観測信号ｘｆ，ｔを周波数別残響抑圧信号ｕｆ，ｔに置換したものである。その他は第５実施形態およびその変形例と同じである。つまり、ステアリングベクトル推定部６３２には、周波数別の時系列信号である周波数別残響抑圧信号ｕｆ，ｔが入力される。観測信号共分散行列更新部５３２ａは、第１時間区間に属する周波数別残響抑圧信号ｕｆ，ｔ、および第１時間区間よりも過去の第２時間区間に属する周波数別残響抑圧信号ｕｆ，ｔ−１の空間共分散行列Ψｘ，ｆ，ｔ−１に基づく、第１時間区間に属する周波数別残響抑圧信号ｕｆ，ｔの空間共分散行列Ψｘ，ｆ，ｔを得て出力する。主成分ベクトル更新部５３２ｂは、周波数別残響抑圧信号ｕｆ，ｔの雑音共分散行列の逆行列Ψ−１ｎ，ｆ，ｔ、第１時間区間に属する周波数別残響抑圧信号の空間共分散行列Ψｘ，ｆ，ｔ、および第２時間区間の主成分ベクトルｖ〜ｆ，ｔ−１に基づき、周波数別残響抑圧信号の雑音共分散行列の逆行列Ψ−１ｎ，ｆ，ｔと、第１時間区間に属する周波数別残響抑圧信号の空間共分散行列Ψｘ，ｆ，ｔと、の積Ψ−１ｎ，ｆ，ｔΨｘ，ｆ，ｔに対する第１時間区間の主成分ベクトルｖ〜ｆ，ｔを得て出力する。ステアリングベクトル更新部５３２ｃは、周波数別残響抑圧信号ｕｆ，ｔの雑音共分散行列と第１時間区間の主成分ベクトルｖ〜ｆ，ｔとに基づき、第１時間区間の推定ステアリングベクトルνｆ，ｔを得て出力する。
【００６９】
［第７実施形態］
第７実施形態では、畳み込みビームフォーマの推定を逐次処理で実行する方法を説明する。これによって、例えば、オンラインで逐次的に入力された周波数別観測信号ｘｆ，ｔから各時間フレーム番号ｔの畳み込みビームフォーマを推定し、目的信号ｙｆ，ｔを得ることができる。
【００７０】
図６に例示するように、本実施形態の信号処理装置７は、推定部７１と抑圧部７２とパラメータ推定部５３とを有する。推定部７１は行列推定部７１１と畳み込みビームフォーマ推定部７１２とを有する。以下の処理は、ｔ＝１から昇順で各時間フレーム番号ｔについて実行される。
【００７１】
＜パラメータ推定部５３の処理（ステップＳ５３）＞
パラメータ推定部５３（図６，図７）には周波数別観測信号ｘｆ，ｔが入力される。パラメータ推定部５３のステアリングベクトル推定部５３２（図８）は、第５実施形態で説明したように、周波数別観測信号ｘｆ，ｔを入力として逐次処理で推定ステアリングベクトルνｆ，ｔを得て出力する（ステップＳ５３２）。推定ステアリングベクトルνｆ，ｔを以下のＭ次元ベクトルで表記する。
【数３６】
2020121590.tif 000038
ただし、νｆ，ｔ（ｍ）は推定ステアリングベクトルνｆ，ｔのＭ個の要素のうち、マイクロホン番号ｍのマイクロホンに対応する要素を表す。ステアリングベクトル推定部５３２で得られた推定ステアリングベクトルνｆ，ｔは、畳み込みビームフォーマ推定部７１２に入力される。
【００７２】
＜行列推定部７１１の処理（ステップＳ７１１）＞
行列推定部７１１（図６）には、周波数別観測信号ｘｆ，ｔおよび目的信号のパワーまたは推定パワーσｆ，ｔ２が入力される。行列推定部７１１に入力されるσｆ，ｔ２としては、例えば式（１７）のように生成された暫定パワーが用いられてもよいし、第３実施形態で説明したように生成された推定パワーσｆ，ｔ２が用いられてもよい。行列推定部７１１は、周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）、および目的信号のパワーまたは推定パワーσｆ，ｔ２（第１時間区間に属する周波数別観測信号のパワーまたは推定パワー）、ならびに時空間共分散行列の逆行列
【数３７】
2020121590.tif 000039
（第１時間区間よりも過去の第２時間区間の時空間共分散行列の逆行列）に基づき、時空間共分散行列の逆行列
【数３８】
2020121590.tif 000040
（第１時間区間の時空間共分散行列の逆行列）を推定して出力する。時空間共分散行列の例は
【数３９】
2020121590.tif 000041
である。この場合、行列推定部７１１は、例えば、以下の式（２８）（２９）に従って時空間共分散行列の逆行列
【数４０】
2020121590.tif 000042
を生成して出力する。
【数４１】
2020121590.tif 000043
【数４２】
2020121590.tif 000044
ここで、式（２８）のｋｆ，ｔは（Ｌ＋１）Ｍ次元ベクトルであり、式（２９）の逆行列は（Ｌ＋１）Ｍ×（Ｌ＋１）Ｍの行列である。αは忘却係数であり、例えば０＜α＜１の範囲に属する実数である。また時空間共分散行列の逆行列
【数４３】
2020121590.tif 000045
の初期行列はどのようなものでもよく、この初期行列の例は（Ｌ＋１）Ｍ次元の単位行列
【数４４】
2020121590.tif 000046
である。
【００７３】
＜ビームフォーマ推定部７１２の処理（ステップＳ７１２）＞
行列推定部７１１で得られた
【数４５】
2020121590.tif 000047
（第１時間区間の時空間共分散行列の逆行列）、およびパラメータ推定部５３で得られた推定ステアリングベクトルνｆ，ｔは、ビームフォーマ推定部７１２に入力される。畳み込みビームフォーマ推定部７１２は、これらに基づき、畳み込みビームフォーマｗ−ｆ，ｔ（第１時間区間の畳み込みビームフォーマ）を得て出力する。例えば、畳み込みビームフォーマ推定部７１２は、以下の式（３０）に従って畳み込みビームフォーマｗ−ｆ，ｔを得て出力する。
【数４６】
2020121590.tif 000048
ただし、
【数４７】
2020121590.tif 000049
【数４８】
2020121590.tif 000050
である。
【数４９】
2020121590.tif 000051
はＬ＋１次元ベクトルである。ｇｆは０以外のスカラー定数である。
【００７４】
＜抑圧部７２の処理（ステップＳ７２）＞
抑圧部７２には、周波数別観測信号ｘｆ，ｔ、およびビームフォーマ推定部７１２で得られた畳み込みビームフォーマｗ−ｆ，ｔが入力される。抑圧部７２は、各時間フレーム番号ｔおよび周波数帯域番号ｆにおいて、畳み込みビームフォーマｗ−ｆ，ｔを周波数別観測信号ｘｆ，ｔに適用して目的信号ｙｆ，ｔを得て出力する。例えば、抑圧部７２は、以下の式（３１）に従って目的信号ｙｆ，ｔを得て出力する。
【数５０】
2020121590.tif 000052
【００７５】
［第７実施形態の変形例１］
第７実施形態の信号処理装置７のパラメータ推定部５３がパラメータ推定部６３に置換されてもよい。すなわち、第７実施形態において、パラメータ推定部５３に代えてパラメータ推定部６３が周波数別観測信号ｘｆ，ｔを入力とし、第６実施形態で説明したように逐次処理で推定ステアリングベクトルνｆ，ｔを得て出力してもよい。
【００７６】
［第７実施形態の変形例２］
第７実施形態およびその変形例では、第１時間区間が時間フレーム番号ｔのフレームであり、第２時間区間が時間フレーム番号ｔ−１のフレームである場合を例にとったが、これは本発明を限定するものではない。時間フレーム番号ｔ以外の時間フレーム番号のフレームを第１時間区間としてもよい。時間フレーム番号ｔ−１以外の第１時間区間よりも過去の時間フレームを第２時間区間としてもよい。
【００７７】
［第８実施形態］
第２実施形態では、ｗｆ，０Ｈνｆ，０が定数となるとの拘束条件のもと、コスト関数Ｃ３（ｗ−ｆ）を最小化するｗ−ｆの解析解を式（１５）とみなし、式（１５）に従って畳み込みビームフォーマｗ−ｆを得る例を説明した。第８実施形態では別の最適解を用い、畳み込みビームフォーマを得る例を示す。
【００７８】
推定ステアリングベクトルνｆ，０の直交補空間に対応する（Ｍ−１）×Ｍのブロック行列をＢｆとするとＢｆＨνｆ，０＝０を満たす。このようなブロック行列Ｂｆは無数に存在する。以下の式（３２）にブロック行列Ｂｆの一例を示す。
【数５１】
2020121590.tif 000053
ここでν−ｆ，０は、ステアリングベクトルνｆ，０または推定ステアリングベクトルνｆ，０の参照マイクロホンｒｅｆ以外のマイクロホンに対応する要素からなるＭ−１次元列ベクトル、ｖｆ，０ｒｅｆはνｆ，０の参照マイクロホンｒｅｆに対応する要素、ＩＭ−１は（Ｍ−１）×（Ｍ−１）次元の単位行列である。
【００７９】
ｇｆを０以外のスカラー定数とし、ａｆ，０をＭ次元の変形瞬時ビームフォーマとし、瞬時ビームフォーマｗｆ，０を、ステアリングベクトルνｆ，０の定数倍ｇｆνｆ，０または推定ステアリングベクトルνｆ，０の定数倍ｇｆνｆ，０と、ステアリングベクトルνｆ，０または推定ステアリングベクトルνｆ，０の直交補空間に対応するブロック行列Ｂｆと変形瞬時ビームフォーマａｆ，０との積Ｂｆａｆ，０と、の和で表記する。すなわち、
ｗｆ，０＝ｇｆνｆ，０＋Ｂｆａｆ，０  （３３）
と表記する。すると、ＢｆＨνｆ，０＝０であるため、「ｗｆ，０Ｈνｆ，０が定数となる」との拘束条件は、以下のように表記される。
ｗｆ，０Ｈνｆ，０＝（ｇｆνｆ，０＋Ｂｆａｆ，０）Ｈνｆ，０＝ｇｆＨ｜νｆ，０｜２＝定数
このように、式（３３）のように定義しても、任意の変形瞬時ビームフォーマａｆ，０に対して「ｗｆ，０Ｈνｆ，０が定数となる」という拘束条件を満たしている。そのため、瞬時ビームフォーマｗｆ，０を式（３３）のように定義してもよいことが分かる。本実施形態では瞬時ビームフォーマｗｆ，０を式（３３）のように定義した際の畳み込みビームフォーマの最適解を採用し、畳み込みビームフォーマの推定を行う。以下に詳細に説明する。
【００８０】
図９に例示するように、本実施形態の信号処理装置８は、推定部８１と抑圧部８２とパラメータ推定部８３とを有する。推定部８１は、行列推定部８１１、畳み込みビームフォーマ推定部８１２、初期ビームフォーマ適用部８１３、およびブロック部８１４を有する。
【００８１】
＜パラメータ推定部８３の処理（ステップＳ８３）＞
パラメータ推定部８３（図９）は、周波数別観測信号ｘｆ，ｔを入力とし、前述したパラメータ推定部３３，４３，５３，６３の何れかと同じ方法で推定ステアリングベクトルを得、得られた推定ステアリングベクトルをνｆ，０として出力する。出力された推定ステアリングベクトルνｆ，０は、初期ビームフォーマ適用部８１３およびブロック部８１４に送られる。
【００８２】
＜初期ビームフォーマ適用部８１３の処理（ステップＳ８１３）＞
初期ビームフォーマ適用部８１３には、推定ステアリングベクトルνｆ，０および周波数別観測信号ｘｆ，ｔが入力される。初期ビームフォーマ適用部８１３は、推定ステアリングベクトルνｆ，０および周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）に基づく、初期ビームフォーマ出力ｚｆ，ｔ（第１時間区間の初期ビームフォーマ出力）を得て出力する。例えば、初期ビームフォーマ適用部８１３は、推定ステアリングベクトルνｆ，０の定数倍と周波数別観測信号ｘｆ，ｔとに基づく、初期ビームフォーマ出力ｚｆ，ｔを得て出力する。例えば、初期ビームフォーマ適用部８１３は、以下の式（３４）に従って初期ビームフォーマ出力ｚｆ，ｔを得て出力する。
ｚｆ，ｔ＝（ｇｆνｆ，０）Ｈｘｆ，ｔ  （３４）
出力された初期ビームフォーマ出力ｚｆ，ｔは、畳み込みビームフォーマ推定部８１２および抑圧部８２に送られる。
【００８３】
＜ブロック部８１４の処理（ステップＳ８１４）＞
ブロック部８１４には、推定ステアリングベクトルνｆ，０および周波数別観測信号ｘｆ，ｔが入力される。ブロック部８１４は、周波数別観測信号ｘｆ，ｔと推定ステアリングベクトルνｆ，０の直交補空間に対応するブロック行列Ｂｆとに基づく、ベクトルｘ＝ｆ，ｔを得て出力する。前述のようにＢｆＨνｆ，０＝０を満たす。ブロック行列Ｂｆの一例は前述の式（３２）に示した通りであるがこれは本発明を限定するものではなく、ＢｆＨνｆ，０＝０を満たすブロック行列Ｂｆであればどのようなものであってもよい。例えば、ブロック部８１４は、以下の式（３５）（３６）に従ってベクトルｘ＝ｆ，ｔを得て出力する。
【数５２】
2020121590.tif 000054
【数５３】
2020121590.tif 000055
なお、式（３６）に例示するように、「ｘ＝ｆ，ｔ」の右上添字の「＝」は本来右下添字の「ｘ」の真上に記載すべきであるが、記載表記の制約上、「ｘ」の右上に記載する場合がある。出力されたベクトルｘ＝ｆ，ｔは、行列推定部８１１、畳み込みビームフォーマ推定部８１２、および抑圧部８２に送られる。また、Ｌ＝０の場合、式（３５）の右辺は要素数が０のベクトル（空ベクトル）であり、式（３６）は以下の式（３６Ａ）のようになる。
【数５４】
2020121590.tif 000056
【００８４】
＜行列推定部８１１の処理（ステップＳ８１１）＞
行列推定部８１１には、ブロック部８１４で得られたベクトルｘ＝ｆ，ｔ、および目的信号のパワーまたは推定パワーσｆ，ｔ２が入力される。σｆ，ｔ２は、例えば、式（１７）のように生成された暫定パワーであってもよいし、第３実施形態で説明したように生成された推定パワーσｆ，ｔ２であってもよい。行列推定部８１１は、ベクトルｘ＝ｆ，ｔおよび目的信号のパワーまたは推定パワーσｆ，ｔ２を用い、式（３３）のように瞬時ビームフォーマｗｆ，０を表記したときに、推定信号の音声らしさを表す確率を大きくする、推定ステアリングベクトルνｆ，０、周波数別観測信号ｘｆ，ｔ、および目的信号のパワーまたは推定パワーσｆ，ｔ２に基づく、重み付き変形時空間共分散行列Ｒ＝ｆを得て出力する。例えば、行列推定部８１１は、ベクトルｘ＝ｆ，ｔ、および目的信号のパワーまたは推定パワーσｆ，ｔ２に基づく、重み付き変形時空間共分散行列Ｒ＝ｆを得て出力する。例えば、行列推定部８１１は、以下の式（３７）に従って重み付き変形時空間共分散行列Ｒ＝ｆを得て出力する。
【数５５】
2020121590.tif 000057
出力された重み付き変形時空間共分散行列Ｒ＝ｆは畳み込みビームフォーマ推定部８１２に送られる。
【００８５】
＜畳み込みビームフォーマ推定部８１２の処理（ステップＳ８１２）＞
畳み込みビームフォーマ推定部８１２には、初期ビームフォーマ適用部８１３で得られた初期ビームフォーマ出力ｚｆ，ｔ、ブロック部８１４で得られたベクトルｘ＝ｆ，ｔ、および行列推定部８１１で得られた重み付き変形時空間共分散行列Ｒ＝ｆが入力される。畳み込みビームフォーマ推定部８１２は、これらを用い、推定ステアリングベクトルνｆ，０、重み付き変形時空間共分散行列Ｒ＝ｆ、および周波数別観測信号ｘｆ，ｔに基づく、畳み込みビームフォーマｗ＝ｆを得て出力する。例えば、畳み込みビームフォーマ推定部８１２は、以下の式（３８）に従って畳み込みビームフォーマｗ＝ｆを得て出力する。
【数５６】
2020121590.tif 000058
【数５７】
2020121590.tif 000059
【数５８】
2020121590.tif 000060
出力された畳み込みビームフォーマｗ＝ｆは抑圧部８２に送られる。
なお、Ｌ＝０の場合、式（３８Ｂ）の右辺は要素数が０のベクトル（空ベクトル）となり、式（３８Ａ）は、以下のようになる。
【数５９】
2020121590.tif 000061
【００８６】
＜抑圧部８２の処理（ステップＳ８２）＞
抑圧部８２には、ブロック部８１４から出力されたベクトルｘ＝ｆ，ｔ、初期ビームフォーマ適用部８１３から出力された初期ビームフォーマ出力ｚｆ，ｔ、および畳み込みビームフォーマ推定部８１２から出力された畳み込みビームフォーマｗ＝ｆが入力される。抑圧部８２は、初期ビームフォーマ出力ｚｆ，ｔおよび畳み込みビームフォーマｗ＝ｆをベクトルｘ＝ｆ，ｔに適用して目的信号ｙｆ，ｔを得て出力する。この処理は、畳み込みビームフォーマｗ−ｆを周波数別観測信号ｘｆ，ｔに適用して目的信号ｙｆ，ｔを得て出力する処理と等価である。例えば、抑圧部８２は、以下の式（３９）に従って目的信号ｙｆ，ｔを得て出力する。
【数６０】
2020121590.tif 000062
【００８７】
［第８実施形態の変形例１］
パラメータ推定部８３で得られた推定ステアリングベクトルνｆ，０に代え、実測等に基づいて得られた既知のステアリングベクトルνｆ，０が初期ビームフォーマ適用部８１３およびブロック部８１４に入力されてもよい。この場合、初期ビームフォーマ適用部８１３およびブロック部８１４は推定ステアリングベクトルνｆ，０に代えてステアリングベクトルνｆ，０を用いて上述のステップＳ８１３およびＳ８１４を行う。
【００８８】
［第９実施形態］
第９実施形態では、第８実施形態に基づく畳み込みビームフォーマの推定を逐次処理で実行する方法を説明する。以下の処理は、ｔ＝１から昇順で各時間フレーム番号ｔについて実行される。
【００８９】
図１０に例示するように、本実施形態の信号処理装置９は、推定部９１と抑圧部９２とパラメータ推定部９３とを有する。推定部９１は、適応ゲイン推定部９１１、畳み込みビームフォーマ推定部９１２、行列推定部９１５、初期ビームフォーマ適用部８１３、およびブロック部８１４を有する。
【００９０】
＜パラメータ推定部９３の処理（ステップＳ９３）＞
パラメータ推定部９３（図１０）は、周波数別観測信号ｘｆ，ｔを入力とし、前述したパラメータ推定部５３，６３の何れかと同じ方法で推定ステアリングベクトルνｆ，ｔを得て出力する。出力された推定ステアリングベクトルνｆ，ｔは、初期ビームフォーマ適用部８１３およびブロック部８１４に送られる。
【００９１】
＜初期ビームフォーマ適用部８１３の処理（ステップＳ８１３）＞
初期ビームフォーマ適用部８１３は、推定ステアリングベクトルνｆ，ｔ（第１時間区間の推定ステアリングベクトル）および周波数別観測信号ｘｆ，ｔ（第１時間区間に属する周波数別観測信号）を入力とし、νｆ，０に代えてνｆ，ｔを用い、第８実施形態で説明したように初期ビームフォーマ出力ｚｆ，ｔ（第１時間区間の初期ビームフォーマ出力）を得て出力する。出力された初期ビームフォーマ出力ｚｆ，ｔは抑圧部９２に送られる。
【００９２】
＜ブロック部８１４の処理（ステップＳ８１４）＞
ブロック部８１４は、推定ステアリングベクトルνｆ，ｔおよび周波数別観測信号ｘｆ，ｔを入力とし、νｆ，０に代えてνｆ，ｔを用い、第８実施形態で説明したようにベクトルｘ＝ｆ，ｔを得て出力する。出力されたベクトルｘ＝ｆ，ｔは、適応ゲイン推定部９１１、行列推定部９１５、および抑圧部９２に送られる。
【００９３】
＜抑圧部９２の処理（ステップＳ９２）＞
抑圧部９２には、初期ビームフォーマ適用部８１３から出力された初期ビームフォーマ出力ｚｆ，ｔ、およびブロック部８１４から出力されたベクトルｘ＝ｆ，ｔが入力される。抑圧部９２は、これらを用い、初期ビームフォーマ出力ｚｆ，ｔ（第１時間区間の初期ビームフォーマ出力）、推定ステアリングベクトルνｆ，ｔ（第１時間区間の推定ステアリングベクトル）、および周波数別観測信号ｘｆ，ｔ、ならびに畳み込みビームフォーマｗ＝ｆ，ｔ−１（第１時間区間よりも過去の第２時間区間の畳み込みビームフォーマ）に基づく、目的信号ｙｆ，ｔを得て出力する。例えば、抑圧部９２は、以下の式（４０）に従って目的信号ｙｆ，ｔを得て出力する。
【数６１】
2020121590.tif 000063
ここで畳み込みビームフォーマｗ＝ｆ，ｔ−１の初期ベクトルｗ＝ｆ，０はどのような（ＬＭ＋Ｍ−１）次元ベクトルであってもよい。初期ベクトルｗ＝ｆ，０の一例は、全ての要素が０の（ＬＭ＋Ｍ−１）次元ベクトルである。
【００９４】
＜適応ゲイン推定部９１１の処理（ステップＳ９１１）＞
適応ゲイン推定部９１１には、ブロック部８１４から出力されたベクトルｘ＝ｆ，ｔ、行列推定部９１５から出力された重み付き変形時空間共分散行列の逆行列Ｒ〜−１ｆ，ｔ−１、および目的信号のパワーまたは推定パワーσｆ，ｔ２が入力される。行列推定部７１１に入力されるσｆ，ｔ２としては、例えば式（１７）のように生成された暫定パワーが用いられてもよいし、第３実施形態で説明したように生成された推定パワーσｆ，ｔ２が用いられてもよい。なお、「Ｒ〜−１ｆ，ｔ−１」の「〜」は本来以下のように「Ｒ」の真上に表記すべきであるが、記載表記の制約上「Ｒ」の右上に表記する場合がある。適応ゲイン推定部９１１は、これらを用い、重み付き変形時空間共分散行列の逆行列Ｒ〜−１ｆ，ｔ−１（第２時間区間の重み付き変形時空間共分散行列の逆行列）、ならびに推定ステアリングベクトルνｆ，ｔ（第１時間区間の推定ステアリングベクトル）、および周波数別観測信号ｘｆ，ｔ、および目的信号のパワーまたは推定パワーσｆ，ｔ２に基づく、適応ゲインｋｆ，ｔ（第１時間区間の適応ゲイン）を得て出力する。例えば、適応ゲイン推定部９１１は、以下の式（４１）に従って（ＬＭ＋Ｍ−１）次元ベクトルである適応ゲインｋｆ，ｔを得て出力する。
【数６２】
2020121590.tif 000064
ここでαは忘却係数であり、例えば０＜α＜１の範囲に属する実数である。また、重み付き変形時空間共分散行列の逆行列Ｒ〜−１ｆ，ｔ−１の初期行列はどのような（ＬＭ＋Ｍ−１）×（ＬＭ＋Ｍ−１）次元行列であってもよい。重み付き変形時空間共分散行列の逆行列Ｒ〜−１ｆ，ｔ−１の初期行列の例は、（ＬＭ＋Ｍ−１）次元の単位行列である。ただし
【数６３】
2020121590.tif 000065
【数６４】
2020121590.tif 000066
【数６５】
2020121590.tif 000067
である。なお、Ｒ〜ｆ，ｔ自体は算出されない。出力された適応ゲインｋｆ，ｔは、行列推定部９１５および畳み込みビームフォーマ推定部９１２に送られる。
【００９５】
＜行列推定部９１５の処理（ステップＳ９１５）＞
行列推定部９１５には、ブロック部８１４から出力されたベクトルｘ＝ｆ，ｔ、および適応ゲイン推定部９１１から出力された適応ゲインｋｆ，ｔが入力される。行列推定部９１５は、これらを用い、適応ゲインｋｆ，ｔ（第１時間区間の適応ゲイン）、推定ステアリングベクトルνｆ，ｔ（第１時間区間の推定ステアリングベクトル）、および周波数別観測信号ｘｆ，ｔ、ならびに重み付き変形時空間共分散行列の逆行列Ｒ〜−１ｆ，ｔ−１（第２時間区間の重み付き変形時空間共分散行列の逆行列）に基づく、重み付き変形時空間共分散行列の逆行列Ｒ〜−１ｆ，ｔ（第１時間区間の重み付き変形時空間共分散行列の逆行列）を得て出力する。例えば、行列推定部９１５は、以下の式（４２）に従って重み付き変形時空間共分散行列の逆行列Ｒ〜−１ｆ，ｔを得て出力する。
【数６６】
2020121590.tif 000068
出力された重み付き変形時空間共分散行列の逆行列Ｒ〜−１ｆ，ｔは適応ゲイン推定部９１１に送られる。
【００９６】
＜畳み込みビームフォーマ推定部９１２の処理（ステップＳ９１２）＞
畳み込みビームフォーマ推定部９１２には、抑圧部９２から出力された目的信号ｙｆ，ｔ、および適応ゲイン推定部９１１から出力された適応ゲインｋｆ，ｔが入力される。畳み込みビームフォーマ推定部９１２は、これらを用い、適応ゲインｋｆ，ｔ（第１時間区間の適応ゲイン）、目的信号ｙｆ，ｔ（第１時間区間の目的信号）、および畳み込みビームフォーマｗ＝ｆ，ｔ−１（第２時間区間の畳み込みビームフォーマ）に基づく、畳み込みビームフォーマｗ＝ｆ，ｔ（第１時間区間の畳み込みビームフォーマ）を得て出力する。例えば、畳み込みビームフォーマ推定部９１２は、以下の式（４３）に従って畳み込みビームフォーマｗ＝ｆ，ｔを得て出力する。
【数６７】
2020121590.tif 000069
出力された畳み込みビームフォーマｗ＝ｆ，ｔは抑圧部９２に送られる。
【００９７】
［第９実施形態の変形例１］
第９実施形態およびその変形例では、第１時間区間が時間フレーム番号ｔのフレームであり、第２時間区間が時間フレーム番号ｔ−１のフレームである場合を例にとったが、これは本発明を限定するものではない。時間フレーム番号ｔ以外の時間フレーム番号のフレームを第１時間区間としてもよい。時間フレーム番号ｔ−１以外の第１時間区間よりも過去の時間フレームを第２時間区間としてもよい。
【００９８】
［第９実施形態の変形例２］
パラメータ推定部９３で得られた推定ステアリングベクトルνｆ，ｔに代え、既知のステアリングベクトルνｆ，ｔが初期ビームフォーマ適用部８１３およびブロック部８１４に入力されてもよい。この場合、初期ビームフォーマ適用部８１３およびブロック部８１４は推定ステアリングベクトルνｆ，ｔに代えてステアリングベクトルνｆ，ｔを用いて上述のステップＳ８１３およびＳ８１４を行う。
【００９９】
［第１０実施形態］
上述した信号処理装置１−９に入力される周波数別観測信号ｘｆ，ｔは、音源から発せられた音響信号を集音して得られた観測信号の複数の周波数帯域のそれぞれに対応する信号であればどのようなものであってもよい。例えば、図１１Ａおよび図１１Ｃに例示するように、音源から発せられた音響信号をＭ個のマイクロホンで集音して得られた時間領域の観測信号ｘ（ｉ）＝［ｘ（ｉ）（１），ｘ（ｉ）（２），…，ｘ（ｉ）（Ｍ）］Ｔ（ただしｉは離散時間を表すインデックス）が分離部５１に入力され、分離部５１が観測信号ｘ（ｉ）を周波数領域の周波数別観測信号ｘｆ，ｔに変換し、周波数別観測信号ｘｆ，ｔを信号処理装置１−９に入力してもよい。時間領域から周波数領域への変換方法にも限定はなく、例えば離散フーリエ変換などを用いればよい。あるいは、図１１Ｂに例示するように、図示していない他の処理部によって得られた周波数別観測信号ｘｆ，ｔが信号処理装置１−９に入力されてもよい。例えば、上述の時間領域の観測信号ｘ（ｉ）が時間フレームごとに周波数領域の信号に変換され、これらの周波数領域の信号が他の処理部で処理され、それによって得られた周波数別観測信号ｘｆ，ｔが信号処理装置１−９に入力されてもよい。
【０１００】
信号処理装置１−９から出力された目的信号ｙｆ，ｔは、時間領域の信号ｙ（ｉ）に変換されることなく他の処理（音声認識処理等）に使用されてもよいし、時間領域の信号ｙ（ｉ）に変換されてもよい。例えば、図１１Ｃに例示するように、信号処理装置１−９から出力された目的信号ｙｆ，ｔがそのまま出力され、他の処理に使用されてもよい。あるいは、図１１Ａおよび図１１Ｂのように、信号処理装置１−９から出力された目的信号ｙｆ，ｔが統合部５２に入力され、統合部５２が目的信号ｙｆ，ｔを統合して時間領域の信号ｙ（ｉ）を得て出力してもよい。目的信号ｙｆ，ｔから時間領域の信号ｙ（ｉ）を得る方法にも限定はないが、例えば、逆フーリエ変換などを用いることができる。
【０１０１】
以降、各実施形態の手法の実験結果を示す。
［実験結果１（第１実施形態）］
次に、第1実施形態および従来法１〜３による雑音残響抑圧結果を例示する。
この実験では観測信号として「REVERB Challenge」のデータセットを利用した。このデータセットは、定常雑音と残響のある部屋で読み上げられた英語音声を、その話者から離れた位置（０．５〜２．５ｍ）に配置されたマイクロホンで収音して得られた音響データ（Real Data）と、その環境を模擬して得られた音響データ（Sim Data）とを収録している。マイクロホン数Ｍ＝８とした。周波数別観測信号は、短時間フーリエ変換により求めた。フレーム長は32ミリ秒、フレームシフトは４とし、予測遅延はｄ＝４とした。これらのデータを用い、本発明および従来法１〜３によって雑音残響抑圧した信号の音声品質および音声認識精度を評価した。
【０１０２】
図１２に、観測信号ならびに本発明および従来法１〜３によって雑音残響抑圧した信号の音声品質の評価結果を例示する。「Ｓｉｍ」はＳｉｍ  Ｄａｔａを表し、「Ｒｅａｌ」はＲｅａｌ  Ｄａｔａを表す。「ＣＤ」はケプストラム歪、「ＳＲＭＲ」は信号対残響変調エネルギー比、「ＬＬＲ」は対数尤度比、「ＦＷＳＳＮＲ」は周波数重み付きセグメンタル信号対雑音比を表す。ＣＤとＬＬＲは値が小さいほど音声品質がよいことを表し、ＳＲＭＲとＦＷＳＳＮＲは値が大きいほど音声品質がよいことを表している。下線を付した値は最良値である。図１２に例示するように、本発明により、従来法１〜３に比べて雑音と残響とを十分に抑圧できていることが分かる。
【０１０３】
図１３に、観測信号ならびに本発明および従来法１〜３によって雑音残響抑圧した信号の音声認識結果における単語誤り率を例示する。値が小さいほど音声認識精度が高いことを表している。下線を付した値は最良値である。「Ｒ１Ｎ」は部屋１で話者がマイクロホンから近い位置に存在した場合を表し、「Ｒ１Ｆ」は部屋１で話者がマイクロホンから遠い位置に存在した場合を表す。同様に、「Ｒ２Ｎ」「Ｒ３Ｎ」はそれぞれ部屋２，３で話者がマイクロホンから近い位置に存在した場合を表し、「Ｒ２Ｆ」「Ｒ３Ｆ」はそれぞれ部屋２，３で話者がマイクロホンから遠い位置に存在した場合を表す。「Ａｖｅ」は平均値を表す。図１２に例示するように、本発明により、従来法１〜３に比べて雑音と残響とを十分に抑圧できていることが分かる。
【０１０４】
［実験結果２（第４実施形態）］
図１４に、周波数別観測信号ｘｆ，ｔの残響を抑圧することなくステアリングベクトルを推定した場合（残響抑圧なしの場合）と、第４実施形態で説明したように周波数別観測信号ｘｆ，ｔの残響を抑圧してからステアリングベクトルを推定した場合（残響抑圧ありの場合）とでの雑音残響抑圧結果を例示する。なお「ＷＥＲ」は、雑音残響抑圧を行って得られた目的信号で音声認識を行った場合の文字誤り率を表す。ＷＥＲの値が小さいほど高性能である。図１４に例示するように、残響抑圧ありの場合の方が残響抑圧なしの場合よりも目的信号の音声品質がよいことが分かる。
【０１０５】
［実験結果３（第７，９実施形態）］
図１５Ａ，図１５Ｂ，図１５Ｃに、第７実施形態および第９実施形態で説明したように畳み込みビームフォーマの推定を逐次処理で実行した場合の雑音残響抑圧結果を例示する。図１５Ａ，図１５Ｂ，図１５ＣではＬ＝６４［ｍｓｅｃ」、α＝０．９９９９、β＝０．６６とした。また「Ａｄａｐｔｉｖｅ  ＮＣＭ」は第５実施形態の方法で生成された推定ステアリングベクトルνｆ，ｔを用いた場合の結果を表す。また「ＰｒｅＦｉｘｅｄ  ＮＣＭ」は第５実施形態の変形例１の方法で生成された推定ステアリングベクトルνｆ，ｔを用いた場合の結果を表す。また「観測信号」とは何ら雑音残響抑圧を行っていない場合の結果を表す。これらより、第７，９実施形態の雑音残響抑圧によって目的信号の音声品質が向上していることが分かる。
【０１０６】
［その他の変形例等］
なお、本発明は上述の実施形態に限定されるものではない。例えば、上述の実施形態ではすべての周波数帯域に対してｄを同一値としたが、周波数帯域ごとにｄが設定されてもよい。すなわちｄに変えて正整数ｄｆが用いられてもよい。同様に、上述の実施形態ではすべての周波数帯域に対してＬを同一値としたが、周波数帯域ごとにＬが設定されてもよい。すなわちＬに変えて正整数Ｌｆが用いられてもよい。
【０１０７】
上述の第１〜３実施形態では、１≦ｔ≦Ｎに対応する時間フレームを処理単位としてコスト関数等（式（２）（７）（１２）（１３）（１４）（１８））を定めてバッチ処理する例を示したが、本発明はこれに限定されない。例えば、１≦ｔ≦Ｎに対応する時間フレームを処理単位とするのではなく、その一部の時間フレームを処理単位として各処理が実行されてもよい。あるいは、リアルタイムで処理単位となる時間フレームを更新し、各時刻の処理単位ごとにコスト関数等を定めて各処理を実行してもよい。例えば、現在の時間フレームの番号をｔｃと表現する場合、１≦ｔ≦ｔｃに対応する時間フレームを処理単位としてもよいし、正整数の定数ηに対してｔｃ−η≦ｔ≦ｔｃに対応する時間フレームを処理単位としてもよい。
【０１０８】
上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【０１０９】
上記の各装置は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。
【０１１０】
上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
【０１１１】
このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１１２】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。
【０１１３】
コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されるのではなく、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
【産業上の利用可能性】
【０１１４】
本発明は、音響信号から雑音と残響とを抑圧することが必要な様々な用途に利用できる。例えば、音声認識、通話システム、電話会議システム等に本発明を利用できる。
【符号の説明】
【０１１５】
１〜９  信号処理装置
１１，２１，７１，８１，９１  推定部
１２，２２  抑圧部
【図１】
2020121590.tif 000070
【図２】
2020121590.tif 000071
【図３】
2020121590.tif 000072
【図４】
2020121590.tif 000073
【図５】
2020121590.tif 000074
【図６】
2020121590.tif 000075
【図７】
2020121590.tif 000076
【図８】
2020121590.tif 000077
【図９】
2020121590.tif 000078
【図１０】
2020121590.tif 000079
【図１１】
2020121590.tif 000080
【図１２】
2020121590.tif 000081
【図１３】
2020121590.tif 000082
【図１４】
2020121590.tif 000083
【図１５】
2020121590.tif 000084
【手続補正書】
【提出日】令和3年6月1日(2021.6.1)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】変更
【補正の内容】
【００９９】
［第１０実施形態］
上述した信号処理装置１−９に入力される周波数別観測信号ｘｆ，ｔは、音源から発せられた音響信号を集音して得られた観測信号の複数の周波数帯域のそれぞれに対応する信号であればどのようなものであってもよい。例えば、図１１Ａおよび図１１Ｃに例示するように、音源から発せられた音響信号をＭ個のマイクロホンで集音して得られた時間領域の観測信号ｘ（ｉ）＝［ｘ（ｉ）（１），ｘ（ｉ）（２），…，ｘ（ｉ）（Ｍ）］Ｔ（ただしｉは離散時間を表すインデックス）が分離部１０５１に入力され、分離部１０５１が観測信号ｘ（ｉ）を周波数領域の周波数別観測信号ｘｆ，ｔに変換し、周波数別観測信号ｘｆ，ｔを信号処理装置１−９に入力してもよい。時間領域から周波数領域への変換方法にも限定はなく、例えば離散フーリエ変換などを用いればよい。あるいは、図１１Ｂに例示するように、図示していない他の処理部によって得られた周波数別観測信号ｘｆ，ｔが信号処理装置１−９に入力されてもよい。例えば、上述の時間領域の観測信号ｘ（ｉ）が時間フレームごとに周波数領域の信号に変換され、これらの周波数領域の信号が他の処理部で処理され、それによって得られた周波数別観測信号ｘｆ，ｔが信号処理装置１−９に入力されてもよい。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【０１００】
信号処理装置１−９から出力された目的信号ｙｆ，ｔは、時間領域の信号ｙ（ｉ）に変換されることなく他の処理（音声認識処理等）に使用されてもよいし、時間領域の信号ｙ（ｉ）に変換されてもよい。例えば、図１１Ｃに例示するように、信号処理装置１−９から出力された目的信号ｙｆ，ｔがそのまま出力され、他の処理に使用されてもよい。あるいは、図１１Ａおよび図１１Ｂのように、信号処理装置１−９から出力された目的信号ｙｆ，ｔが統合部１０５２に入力され、統合部１０５２が目的信号ｙｆ，ｔを統合して時間領域の信号ｙ（ｉ）を得て出力してもよい。目的信号ｙｆ，ｔから時間領域の信号ｙ（ｉ）を得る方法にも限定はないが、例えば、逆フーリエ変換などを用いることができる。
【国際調査報告】
2020121590.tif 000085
2020121590.tif 000086