(57)【特許請求の範囲】
【請求項１】
第１集音装置により観測された第１音声信号及び前記第１集音装置とは異なる位置に配置された第２集音装置により観測された第２音声信号を周波数分析する周波数分析部と、
前記周波数分析部により周波数分析された第１音声信号の振幅の対数である対数スペクトルを計算する対数計算部と、
前記周波数分析部により周波数分析された第１音声信号及び第２音声信号から、該第１音声信号及び該第２音声信号に関するマルチチャネル特徴量を計算するマルチチャネル特徴量計算部と、
前記対数計算部により計算された学習用の第１音声信号の対数スペクトルと、前記マルチチャネル特徴量計算部により計算された該学習用の第１音声信号及び学習用の第２音声信号に関する学習用のマルチチャネル特徴量を入力とし、学習用の原音声の対数スペクトルを出力とするＤＡＥ（Denoising  AutoEncoder）のパラメータを学習するＤＡＥ学習部と、
前記対数計算部により計算された雑音除去対象の第１音声信号の対数スペクトルと、前記マルチチャネル特徴量計算部により計算された該雑音除去対象の第１音声信号及び雑音除去対象の第２音声信号に関する雑音除去用のマルチチャネル特徴量を入力とし、前記ＤＡＥ学習部により学習された前記パラメータを用いて該雑音除去対象の第１音声信号の対数スペクトルから雑音成分を除去した雑音除去音声の対数スペクトルを出力するＤＡＥ復号部と
を備えることを特徴とする雑音除去装置。
【請求項２】
前記マルチチャネル特徴量計算部は、前記周波数分析部により周波数分析された第１音声信号及び第２音声信号に関するマルチチャネル特徴量として、線形周波数領域における各時間周波数での該第１音声信号及び該第２音声信号を特徴付ける量を、音声クラスタと雑音クラスタにクラスタリングし、該音声クラスタの時間周波数成分を抽出する時間周波数マスクをメル周波数領域に変換した、音声強調を行なうための時間周波数マスクを計算する
ことを特徴とする請求項１に記載の雑音除去装置。
【請求項３】
前記マルチチャネル特徴量計算部は、前記周波数分析部により周波数分析された第１音声信号及び第２音声信号に関するマルチチャネル特徴量として、線形周波数領域における各時間周波数での該第１音声信号及び該第２音声信号を特徴付ける量を、音声クラスタと雑音クラスタにクラスタリングし、該音声クラスタの時間周波数成分を抽出する時間周波数マスクをメル周波数領域に変換した、音声強調を行なうための時間周波数マスクの対数を計算する
ことを特徴とする請求項１に記載の雑音除去装置。
【請求項４】
前記マルチチャネル特徴量計算部は、前記周波数分析部により周波数分析された第１音声信号及び第２音声信号に関するマルチチャネル特徴量として、線形周波数領域における各時間周波数での該第１音声信号及び該第２音声信号を特徴付ける量を、音声クラスタと雑音クラスタにクラスタリングし、該音声クラスタの時間周波数成分を抽出する時間周波数マスクをメル周波数領域に変換した、音声強調を行なうための時間周波数マスクの対数に、前記対数計算部により計算された該第１音声信号の対数スペクトルを加算する
ことを特徴とする請求項１に記載の雑音除去装置。
【請求項５】
前記マルチチャネル特徴量計算部は、前記周波数分析部により周波数分析された第１音声信号及び第２音声信号に関するマルチチャネル特徴量として、線形周波数領域における各時間周波数での該第１音声信号及び該第２音声信号を特徴付ける量を、音声クラスタと雑音クラスタにクラスタリングし、該音声クラスタの時間周波数成分を抽出する時間周波数マスクをメル周波数領域に変換した、音声強調を行なうための時間周波数マスクを１から減算した結果の対数に負の符号を付したものに、前記対数計算部により計算された該第１音声信号の対数スペクトルを加算する
ことを特徴とする請求項１に記載の雑音除去装置。
【請求項６】
前記特徴付ける量は、前記周波数分析部により周波数分析された前記第１音声信号及び前記第２音声信号について、線形周波数領域における各時間周波数での該第１音声信号及び該第２音声信号の位相差である
ことを特徴とする請求項２〜５のいずれか１つに記載の雑音除去装置。
【請求項７】
前記マルチチャネル特徴量計算部は、前記周波数分析部により周波数分析された第１音声信号及び第２音声信号に関するマルチチャネル特徴量として、メルフィルタバンク毎の中心周波数における該第１音声信号及び該第２音声信号の位相差、又は、該位相差の余弦値を計算する
ことを特徴とする請求項１に記載の雑音除去装置。
【請求項８】
請求項１〜７のいずれか１つに記載の雑音除去装置としてコンピュータを機能させる雑音除去プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、雑音除去装置及び雑音除去プログラムに関する。
【背景技術】
【０００２】
従来から、マイク等の集音装置により集音された音声と対応する音声信号から雑音を除去する技術がある。雑音を除去する技術として、例えば、ＤＡＥ（Denoising  AutoEncoder；デノイジング・オートエンコーダ）がある。ＤＡＥは、ＤＮＮ（Deep  Neural  Network；多層ニューラルネットワークシステム）の一種である。
【０００３】
図７Ａは、従来技術のＤＡＥ学習処理の概要を説明する図である。図７Ａに示すように、従来技術のＤＡＥは、ＤＡＥ学習部において、１つの集音装置（１チャネル）により雑音下で得られた、学習用の観測信号を周波数分析し、全周波数領域における学習用の観測信号の振幅の対数スペクトルを示すベクトルｙを入力ベクトルｚｉｎとする。従来技術のＤＡＥにおいて、Ｌ個の各隠れ層ｈｌ（ｌ＝１，・・・，Ｌ）における出力ｈｌ（ｚｉｎ）は、重み行列Ｗ及びバイアスベクトルｂを含むパラメータθ＝｛Ｗ，ｂ｝を有する所定の非線形関数σθによりｈｌ（ｚｉｎ）＝σθ（Ｗｌｈ（ｌ−１）（ｚｉｎ）＋ｂｌ）と表される。なお、隠れ層ｈ１における出力はｈ１（ｚｉｎ）＝σθ（Ｗ１（ｚｉｎ）＋ｂ１）である。
【０００４】
そして、従来技術のＤＡＥは、ｈｌ（ｚｉｎ）により入力ベクトルｚｉｎからｌ＝１，・・・，Ｌと順次雑音除去した出力ベクトルｚｏｕｔが学習用の原音声と一致する、すなわちｚｏｕｔ＝ｆθ（ｚｉｎ）＝ＷＬｈ（Ｌ−１）（ｚｉｎ）＋ｂＬとなるようパラメータθを学習する。
【０００５】
図７Ｂは、従来技術の雑音除去処理の概要を説明する図である。従来技術のＤＡＥは、ＤＡＥ復号部において、１つの集音装置（１チャネル）により得られた観測信号を周波数分析し、全周波数領域における観測信号の振幅の対数スペクトルを示すベクトルｙ´を入力ベクトルｚｉｎ´とする。そして、従来技術のＤＡＥは、図７Ａに示したように学習したパラメータθをＤＡＥ学習部からＤＡＥ復号部へコピーし、学習したパラメータθを用いてＬ個の各隠れ層ｈｌ（ｌ＝１，・・・，Ｌ）において入力ベクトルｚｉｎ´から雑音除去した出力ベクトルｚｏｕｔ´を得る。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】P.  Vincent,  H.  Larochelle,  Y.Bengio,  and  P.  A.  Manzagol,“Extracting  and  composing  robust  features  with  denoising  autoencoders.”,  in  Proc.  of  ICML2008,  2008,  pp.1096-1103.
【非特許文献２】Y.  Liu,  P.  Zhang,  and  T.  Hain,  “Using  neural  network  front-ends  on  far  field  multiple  microphones  based  speech  recognitions.”,  Proc.  of  ICASSP2014,  2014,  pp.5579-5583.
【非特許文献３】S.  Renals  and  P.  Swietojanski,  “Neural  networks  for  distant  speech  recognition.”,  in  Proc.  of  HSCMA2014,  2014.
【非特許文献４】T.  Nakatani,  S.  Araki,  T.  Yoshioka,  M.  Delcroix,  and  M.  Fujimoto,  “Dominance  based  integration  of  spatial  and  spectral  features  for  speech  enhancement.”,  IEEE  Trans.  Audio,  Speech  and  Language  Processing,  vol.  21,  no.  12,  2013,  pp.2516-2531.
【非特許文献５】M.  Fujimoto,  S.  Watanabe,  and  T.  Nakatani,  “A  robust  estimation  method  of  noise  mixture  model  for  noise  suppression.”,  Proc.  of  Interspeech2011,  2011,  pp.697-700.
【非特許文献６】M.  Delcroix,  Y.  Kubo,  T.  Nakatani,  and  A.  Nakamura,  “Is  speech  enhancement  pre-processing  still  relevant  when  using  deep  neural  networks  for  acoustic  modeling  ?”,  Proc.  of  Interspeech2013,  2013,  pp.2992-2996.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来技術は、雑音除去処理において、ＤＡＥの入力として、１つの集音装置（１チャネル）により得られた学習用の観測信号を用いて学習を行い、１つの集音装置により得られた観測信号の雑音除去を行うに過ぎない。そして、複数の集音装置（複数チャネル）による観測信号が利用できる場合であっても、各チャネルの信号を単純につなげたチャネル・コネクションを利用する、あるいは、ビームフォーミング技術による強調音声信号をＤＡＥの入力とするに過ぎず、雑音除去の性能は低い。
【０００８】
本願が開示する実施形態の一例は、上記に鑑みてなされたものであって、雑音除去の性能を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
本願が開示する実施形態の一例の雑音除去装置は、周波数分析部、対数計算部、マルチチャネル特徴量計算部、ＤＡＥ（Denoising  AutoEncoder）学習部、ＤＡＥ復号部を備える。周波数分析部は、第１集音装置により観測された第１音声信号及び第１集音装置とは異なる位置に配置された第２集音装置により観測された第２音声信号を周波数分析する。対数計算部は、周波数分析部により周波数分析された第１音声信号の振幅の対数である対数スペクトルを計算する。マルチチャネル特徴量計算部は、周波数分析部により周波数分析された第１音声信号及び第２音声信号から、該第１音声信号及び該第２音声信号に関するマルチチャネル特徴量を計算する。ＤＡＥ学習部は、対数計算部により計算された学習用の第１音声信号の対数スペクトルと、マルチチャネル特徴量計算部により計算された該学習用の第１音声信号及び学習用の第２音声信号に関する学習用のマルチチャネル特徴量を入力とし、学習用の原音声の対数スペクトルを出力とするＤＡＥのパラメータを学習する。ＤＡＥ復号部は、対数計算部により計算された雑音除去対象の第１音声信号の対数スペクトルと、マルチチャネル特徴量計算部により計算された該雑音除去対象の第１音声信号及び雑音除去対象の第２音声信号に関する雑音除去用のマルチチャネル特徴量を入力とし、ＤＡＥ学習部により学習されたパラメータを用いて該雑音除去対象の第１音声信号の対数スペクトルから雑音成分を除去した雑音除去音声の対数スペクトルを出力する。
【発明の効果】
【００１０】
本願が開示する実施形態の一例によれば、例えば、雑音除去の性能を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、雑音除去システムの構成の一例を示す図である。
【図２】図２は、信号再構成装置の構成の一例を示す図である。
【図３】図３は、ＤＡＥ学習処理の一例を示すフローチャートである。
【図４】図４は、雑音除去処理の一例を示すフローチャートである。
【図５Ａ】図５Ａは、実施形態の効果の一例を説明する図である。
【図５Ｂ】図５Ｂは、実施形態の効果の一例を説明する図である。
【図５Ｃ】図５Ｃは、実施形態の効果の一例を説明する図である。
【図６】図６は、プログラムが実行されることにより、雑音除去装置及び信号再構成装置が実現されるコンピュータの一例を示す図である。
【図７Ａ】図７Ａは、従来技術のＤＡＥ学習処理の概要を説明する図である。
【図７Ｂ】図７Ｂは、従来技術の雑音除去処理の概要を説明する図である。
【発明を実施するための形態】
【００１２】
［実施形態］
以下、本願が開示する雑音除去装置及び雑音除去プログラムの実施形態を説明する。なお、以下の実施形態は、一例を示すに過ぎず、本願が開示する技術を限定するものではない。また、以下に示す実施形態及びその他の実施形態は、矛盾しない範囲で適宜組合せてもよい。
【００１３】
なお、以下の実施形態では、ベクトル又はスカラーであるＡに対し、“＾Ａ”と記載する場合は下記（１）式で定義する表記と同等とし、“￣Ａ”と記載する場合は下記（２）式で定義する表記と同等であるとする。
【００１４】
【数１】
0006348427.tif 000002
【００１５】
【数２】
0006348427.tif 000003
【００１６】
また、以下の実施形態では、集音装置はマイクロフォン（以下、マイクと表記する）である。それぞれ異なる位置に配置されたＭ個のマイク（Ｍは自然数）のうちのｍ番目（１≦ｍ≦Ｍ）のマイクで観測した観測信号の対数スペクトルをＹｔ，ｆ（ｍ）と表記する。ここで、ｔは時刻のインデックスであり、ｆはメルスケール周波数のインデックスである。Ｍ個のマイクで観測した観測信号の対数スペクトルをベクトルＹｔ，ｆ＝［Ｙｔ，ｆ（１），・・・，Ｙｔ，ｆ（Ｍ）］と表記する。ここで、マイクによる観測信号を示すベクトルＹｔ，ｆは、ｍ番目のマイクで集音される原音声をＸｔ，ｆ（ｍ）とし、雑音をＮｔ，ｆ（ｍ）とすると、原音声を示すベクトルをベクトルＸｔ，ｆ＝［Ｘｔ，ｆ（１），・・・，Ｘｔ，ｆ（Ｍ）］、雑音を示すベクトルをベクトルＮｔ，ｆ＝［Ｎｔ，ｆ（１），・・・，Ｎｔ，ｆ（Ｍ）］を用いて、下記（３）のように与えられる。
【００１７】
【数３】
0006348427.tif 000004
【００１８】
実施形態は、観測信号を示すベクトルＹｔ，ｆから、雑音を除去した雑音除去音声の対数スペクトルの各推定値＾Ｘｔ，ｆ（ｍ）を求め、さらにその音声の波形を再合成することで、雑音除去音声を得る。実施形態は、マイクの数Ｍ＝２の場合について説明するが、Ｍ≧３の場合も同様に議論できる。
【００１９】
また、実施形態は、説明を簡単にするために、１番目のマイクの観測信号の、全ての周波数での対数スペクトルをまとめたベクトルをベクトルｙｔ＝［ｙｔ，１，・・・，ｙｔ，ｆ，・・・，ｙｔ，Ｆ］（但し、ｙｔ，ｆ（１））と表記する。また、実施形態は、１番目のマイクでの原音声の全周波数での対数スペクトルをｘｔと表記し、雑音除去音声の全周波数での対数スペクトルを＾ｘｔと表記する。
【００２０】
（雑音除去システムの構成）
図１は、雑音除去システムの構成の一例を示す図である。雑音除去システム１００は、マイク１及び２、雑音除去装置１０、信号再構成装置２０を有する。マイク１が１番目のマイクであり、マイク２が２番目のマイクであるとする。
【００２１】
雑音除去装置１０は、周波数分析部１１、対数計算部１２、マルチチャネル特徴計算部１３、ＤＡＥ（Denoising  AutoEncoder；デノイジング・オートエンコーダ）学習部１４、ＤＡＥ復号部１５を有する。
【００２２】
周波数分析部１１は、２個のマイク１及び２によりそれぞれ観測された観測信号について、周波数分析、例えばメル周波数分析を行って周波数領域信号へ変換する。観測信号には、後述するＤＡＥ学習部１４の学習用の観測信号と、学習結果を用いて雑音除去する雑音除去対象の観測信号がある。対数計算部１２は、周波数領域信号へ変換された観測信号の振幅の対数を取って、対数スペクトルのベクトルＹｔ，ｆ＝［Ｙｔ，ｆ（１），Ｙｔ，ｆ（２）］を得る。ここで、１番目のマイクでの観測信号Ｙｔ，ｆ（１）について、ｙｔ，ｆ＝Ｙｔ，ｆ（１）である。そして、対数計算部１２は、１番目のマイクの観測信号の全ての周波数での対数スペクトルをまとめたベクトルｙｔ＝［ｙｔ，１，・・・，ｙｔ，ｆ，・・・，ｙｔ，Ｆ］を、学習用の観測信号である場合にはＤＡＥ学習部１４へ入力し、雑音除去対象の観測信号である場合にはＤＡＥ復号部１５へ入力する。
【００２３】
マルチチャネル特徴計算部１３は、マイク１及び２の観測信号を周波数分析し、周波数分析した結果を用いて、マルチチャネル特徴量を示すベクトルｒｔ＝［ｒｔ，１，・・・，ｒｔ，Ｆ］を計算する。マルチチャネル特徴計算部１３は、計算したベクトルｒｔを、ＤＡＥ学習部１４及びＤＡＥ復号部１５へ入力する。なお、マルチチャネル特徴計算部１３の詳細については、後述する。
【００２４】
ＤＡＥ学習部１４は、ＤＮＮ（Deep  Neural  Network；多層ニューラルネットワークシステム）であり、雑音下で観測された学習用の観測音声である入力ベクトルｚｉｎに対する出力ベクトルｚｏｕｔとして原音声が得られるようなｌ個の隠れ層（ｌは自然数）を学習する。実施形態では、ｌ＝２の場合を例示する。ＤＡＥ学習部１４は、入力部１４ａ、隠れ層１４ｂ、隠れ層１４ｃ、出力部１４ｄを有する。すなわち、隠れ層１４ｂ及び隠れ層１４ｃの２つの隠れ層が含まれる。ここで、隠れ層の数ｌ＝２はあくまで例示に過ぎない。
【００２５】
入力部１４ａは、対数計算部１２から入力された、マイク１より観測された学習用の観測音声の対数スペクトルのベクトルｙｔ＝［ｙｔ，１，・・・，ｙｔ，ｆ，・・・，ｙｔ，Ｆ］を、時刻ｔを中心とした前後Ｔフレームから成るコンテキスト窓を用いて連結する。
【００２６】
さらに、入力部１４ａは、マルチチャネル特徴計算部１３から入力されたベクトルｒｔを、時刻ｔを中心とした前後Ｔフレームから成るコンテキスト窓を用いて連結し、下記（４）式のように入力ベクトルｚｉｎを求める。
【００２７】
【数４】
0006348427.tif 000005
【００２８】
出力部１４ｄは、学習用の原音声を、時刻ｔを中心とした前後Ｔフレームから成るコンテキスト窓を用いて連結し、下記（５）式のように出力ベクトルｚｏｕｔを求める。
【００２９】
【数５】
0006348427.tif 000006
【００３０】
そして、隠れ層１４ｂ及び隠れ層１４ｃは、ＤＡＥ学習部１４の入力を入力ベクトルｚｉｎ、出力を出力ベクトルｚｏｕｔとするＤＡＥの学習により、ｌ層目の隠れ層（ｌ＝１，２）として得られる。すなわち、ＤＡＥ学習部１４は、隠れ層１４ｂ及び隠れ層１４ｃの出力として、下記（６）式に示すものが得られるように、パラメータθ＝｛Ｗ，ｂ｝（但し、Ｗは重みベクトル、ｂはバイアスベクトル）を学習する。なお、下記（６）式におけるσθ（・）は非線形関数であり、例えばシグモイド関数である。また、下記（６）式において、１層目（すなわち隠れ層１４ｂ）の出力は、ｈ１（ｚｉｎ）＝σθ（Ｗ１ｚｉｎ＋ｂ１）で計算し、最終層（すなわち２層目、隠れ層１４ｃ）の出力は、線形関数にてベクトルｚｏｕｔ＝ｆθ＝ＷＬｈ（Ｌ−１）＋ｂＬで計算する。パラメータθ＝｛Ｗ，ｂ｝の学習は、既存の手法、例えば確率的勾配効果法（Stochastic  Gradient  Descent  Method）により求められる。ＤＡＥ学習部１４は、学習したパラメータθ＝｛Ｗ，ｂ｝を、ＤＡＥ復号部１５へコピーする。
【００３１】
【数６】
0006348427.tif 000007
【００３２】
ＤＡＥ復号部１５は、入力部１５ａ、隠れ層１５ｂ、隠れ層１５ｃ、出力部１５ｄを有する。入力部１５ａはＤＡＥ学習部１４の入力部１４ａに対応し、隠れ層１５ｂはＤＡＥ学習部１４の隠れ層１４ｂに対応し、隠れ層１５ｃはＤＡＥ学習部１４の隠れ層１４ｃに対応し、出力部１５ｄはＤＡＥ学習部１４の出力部１４ｄに対応する。
【００３３】
入力部１５ａは、対数計算部１２から入力された、マイク１，２より観測された雑音除去対象の観測音声の対数スペクトルのベクトルｙｔ＝［ｙｔ，１，・・・，ｙｔ，ｆ，・・・，ｙｔ，Ｆ］、及び、マルチチャネル特徴計算部１３から入力されたベクトルｒｔ＝［ｒｔ，１，・・・，ｒｔ，Ｆ］を、時刻ｔを中心とした前後Ｔフレームから成るコンテキスト窓を用いて連結し、上記（４）式のようにベクトルｚｉｎを求める。入力部１５ａは、求めたベクトルｚｉｎを、隠れ層１５ｂへ入力する。
【００３４】
隠れ層１５ｂ及び隠れ層１５ｃによる、ＤＡＥ学習部１４により学習されたパラメータθ＝｛Ｗ，ｂ｝を用いた、下記（７）式及び（８）式による処理により、出力ベクトルｚｏｕｔ＝［ｘｔ−Ｔ，・・・，ｘｔ，・・・，ｘｔ＋Ｔ］が得られる。なお、下記（７）式におけるパラメータθ＝｛Ｗ，ｂ｝は、下記（６）式により学習されたものである。また、下記（７）式においては、上記（６）式と同様に、１層目（すなわち隠れ層１５ｂ）の出力は、ｈ１（ｚｉｎ）＝σθ（Ｗ１ｚｉｎ＋ｂ１）で計算し、最終層（すなわち２層目、隠れ層１５ｃ）の出力は、線形関数にてベクトルｚｏｕｔ＝ｆθ＝ＷＬｈ（Ｌ−１）＋ｂＬで計算する。出力部１５ｄは、出力ベクトルｚｏｕｔ＝［ｘｔ−Ｔ，・・・，ｘｔ，・・・，ｘｔ＋Ｔ］を、雑音除去音声の対数スペクトルの推定ベクトル＾ｘとして、例えば信号再構成装置２０へ出力する。
【００３５】
【数７】
0006348427.tif 000008
【００３６】
【数８】
0006348427.tif 000009
【００３７】
（マルチチャネル特徴計算部１３の詳細）
マルチチャネル特徴計算部１３は、マルチチャネル特徴量を示すベクトルｒｔ＝［ｒｔ，１，・・・，ｒｔ，Ｆ］を計算する。ベクトルｒｔとしては、次が挙げられる。
【００３８】
（１）両耳間振幅差（ＩＬＤ：Interaural  Level  Difference）
マイク１及び２それぞれの観測信号を、人の両耳の各感知音とし、それぞれの観測信号の対数スペクトルの比を取るものであり、ベクトルｒｔとして、下記（９）式により求める。詳細は、文献「Y.  Liu,  P.  Zhang,  and  T.  Hain,  “Using  neural  network  front-ends  on  far  field  multiple  microphones  based  speech  recognitions”,  Proc.  of  ICASSP2014,  2014,  pp.5579-5583.」に基づく。
【００３９】
【数９】
0006348427.tif 000010
【００４０】
（２）両耳間位相差（ＩＰＤ：Interaural  Phase  Difference）
複数マイクにおける観測信号の位相差は、音源と複数マイクの位置関係を反映する特徴量になることがよく知られている。そこで、ベクトルｒｔとして、ｆ番目のメルフィルタバンクの中心周波数ｆ´（ｆ）におけるマイク１及び２での観測信号の位相差を、ベクトルｒｔとして、下記（１０）式により求める。なお、￣Ｙｔ，ｆ´（ｆ）はｆ番目のメルフィルタバンクの中心周波数ｆ´（ｆ）における観測信号の対数スペクトルのベクトルＹｔ，ｆの短時間フーリエ変換係数である。そして、∠￣Ｙｔ，ｆ´（ｆ）（１）はｆ番目のメルフィルタバンクの中心周波数ｆ´（ｆ）におけるマイク１の観測信号の短時間フーリエ変換係数の位相、∠￣Ｙｔ，ｆ´（ｆ）（２）はｆ番目のメルフィルタバンクの中心周波数ｆ´（ｆ）におけるマイク２の観測信号の短時間フーリエ変換係数の位相である。
【００４１】
【数１０】
0006348427.tif 000011
【００４２】
また、上記（１０）式に代えて、下記（１１）式により求まる、ｆ番目のメルフィルタバンクの中心周波数ｆ´（ｆ）におけるマイク１及び２での観測信号の短時間フーリエ変換係数の位相差の余弦値φｆ´（ｆ）を、ベクトルｒｔとしてもよい。
【００４３】
【数１１】
0006348427.tif 000012
【００４４】
（３）時間周波数マスク（ＭＡＳＫ）
マルチチャネル情報がある場合、音源と複数マイクの位置関係を反映する特徴量（例えばチャネル間位相差ＩＰＤなど）を計算することができ、その特徴量をクラスタリングすることで、音音声強調を行う時間周波数マスクを計算することができる。例えば、時間周波数マスクは、各時間周波数で得られた、上記（５）式又は（６）式によりえられたＩＰＤのベクトルｒｔをクラスタリングすることで計算できる。詳細は、文献「T.  Nakatani,  S.  Araki,  T.  Yoshioka,  M.  Delcroix,  and  M.  Fujimoto,  “Dominance  based  integration  of  spatial  and  spectral  features  for  speech  enhancement”,  IEEE  Trans.  Audio,  Speech  and  Language  Processing,  vol.  21,  no.  12,  pp.  2516-2531,  2013.」に基づく。
【００４５】
具体的には、メル周波数領域での時間周波数マスクＭｔ，ｆは、例えば、短時間周波数領域で得られた時間周波数マスクをメル周波数領域に変換することで計算できる。マルチチャネル特徴量としては、下記（１２）式のように、メル周波数領域での時間周波数マスクＭｔ，ｆを用いる。
【００４６】
【数１２】
0006348427.tif 000013
【００４７】
あるいは、下記（１３）式のように、メル周波数領域での時間周波数マスクの対数を取ったものを用いてもよい。
【００４８】
【数１３】
0006348427.tif 000014
【００４９】
なお、上記（１３）式は、Ｍが０と１の近くの値を取りやすく、その間の値を取りにくい性質をもつ。よって、上記（１３）式を、下記（１４）式のように、１と０の間でピークを持つ単峰性の性質を持つデータに変換したものを用いてもよい。
【００５０】
【数１４】
0006348427.tif 000015
【００５１】
（４）時間周波数マスクでの強調音声（ＥＮＨＡＮＣＥ)
上記（１３）式のように、メル周波数領域での時間周波数マスクの対数を取ったものを用いると、強調音声＾ｘｔ，ｆ＝ｌｏｇ（Ｍｔ，ｆ・ｅｘｐ（ｙｔ，ｆ））＝ｌｏｇ（Ｍｔ，ｆ）＋ｙｔ，ｆが得られる。よって、時間周波数マスクでの強調音声（ＥＮＨＡＮＣＥ)におけるマルチチャネル特徴量は、下記（１５）式により得られる。
【００５２】
【数１５】
0006348427.tif 000016
【００５３】
（５）時間周波数マスクで計算した雑音（ＮＯＩＳＥ）
時間周波数マスクでの強調音声の代わりに、下記（１６）式のように、マスクにより推定された雑音信号を、マルチチャネル特徴として用いてもよい。
【００５４】
【数１６】
0006348427.tif 000017
【００５５】
（６）その他のマルチチャネル特徴量
例えば、上記ＩＰＤの代わりに、ｆ番目のメルフィルタバンクの中心周波数ｆ´（ｆ）における複数マイクでの観測信号の到達時間差（ＴＤＯＡ；Time  Difference  Of  Arrival)を用いてもよい。これは、例えば、よく知られているＧＣＣ−ＰＨＡＴ（Generalized  Cross-Correlation  PHAse  Transform）法で計算することができる。これは、下記（１７）式に示すように、周波数によらない特徴量となる。なお、下記（１７）式において、￣Ｙｔ，ｆ´（ｆ）（１）はｆ番目のメルフィルタバンクの中心周波数ｆ´（ｆ）におけるマイク１による観測信号の対数スペクトルのベクトルＹｔ，ｆの短時間フーリエ変換係数である。また、￣Ｙｔ，ｆ´（ｆ）＊（２）はｆ番目のメルフィルタバンクの中心周波数ｆ´（ｆ）の複素共役ｆ´（ｆ）＊におけるマイク２による観測信号の対数スペクトルのベクトルＹｔ，ｆの短時間フーリエ変換係数である。また、｜・｜は、・のノルムを表す。また、ｊは虚数単位である。
【００５６】
【数１７】
0006348427.tif 000018
【００５７】
また、一定時間（例えば５秒間や、１発話分など）の間に計算されたＴＤＯＡ情報のヒストグラムを取り、そのヒストグラムを、マルチチャネル特徴量のベクトルｒｔとして用いてもよい。この場合、ｔは時刻ではなく、ヒストグラムのビンのインデックスに置き換わる。この場合、入力ベクトルｚｉｎをコンテキスト窓で連結しなくてもよい。また、上記に列挙した各マルチチャネル特徴量のベクトルを任意に選択して並べたベクトルを、マルチチャネル特徴量のベクトルとしてもよい。
【００５８】
なお、マイクの数Ｍが３以上の場合は、上記（９）式、（１０）式、（１１）式、（１７）式において、右肩の添え字（２）を、添え字（３）、（４）・・・についても同様にそれぞれ計算し、得られた特徴量を添え字の順序（すなわちマイクの順序）で並べたものを、マルチチャネル特徴量のベクトルｒｔとしてもよい。
【００５９】
（信号再構成装置の構成）
図２は、信号再構成装置の構成の一例を示す図である。信号再構成装置２０は、雑音除去フィルタ計算部２１、周波数ドメイン変換部２２、雑音除去音声計算部２３、逆フーリエ変換部２４を有する。雑音除去フィルタ計算部２１は、雑音除去装置１０から入力された雑音除去音声の全周波数での対数スペクトル＾ｘｔに対し、下記（１８）式により、メル周波数領域における雑音除去フィルタ（ウィーナフィルタ）Ｗｔ，ｆを計算する。
【００６０】
【数１８】
0006348427.tif 000019
【００６１】
次に、周波数ドメイン変換部２２は、雑音除去フィルタ計算部２１により計算された雑音除去フィルタＷｔ，ｆを、線形周波数領域の雑音除去フィルタ￣Ｗｔ，ｆ´へ変換する。ここで、ｆ´は、線形周波数である。詳細は、文献「M.  Fujimoto,  S.  Watanabe,  and  T.  Nakatani,  “A  robust  estimation  method  of  noise  mixture  model  for  noise  suppression”,  Proc.  of  Interspeech2011,  2011,  pp.697-700.」に基づく。
【００６２】
次に、雑音除去音声計算部２３は、線形周波数領域での雑音除去音声を、￣ｘｔ，ｆ＝￣Ｗｔ，ｆ・￣ｙｔ，ｆ´にて計算する。逆フーリエ変換部２４は、雑音除去音計算部２３より計算された￣ｙｔ，ｆ´に対して短時間逆フーリエ変換を行って時間波形に戻すことで、最終的な雑音除去音声の波形ｙｔ，ｆを得る。ここで、￣ｙｔ，ｆ´は、ｙｔ，ｆの線形周波数領域表現であり、観測信号の短時間フーリエ変換により得られる。
【００６３】
（ＤＡＥ学習処理）
図３は、ＤＡＥ学習処理の一例を示すフローチャートである。ＤＡＥ学習処理は、隠れ層のパラメータθ＝｛Ｗ，ｂ｝を学習する処理であり、雑音除去装置１０により実行される。なお、図３に示すＤＡＥ学習処理は、マイク１の入力信号を雑音除去対象の音声信号とし、マイク１及び２の入力信号をマルチチャネル特徴量ｒｔの算出対象の音声信号とする。
【００６４】
先ず、ＤＡＥ学習部１４の周波数分析部１１は、マイク１の入力信号（及び学習用の原音声）を例えば１００ｍｓのフレームごとに周波数分析する（ステップＳ１１）。次に、出力部１１は、ステップＳ１１で周波数解析した学習用の原音声を前後Ｔフレームへコンテキスト窓で連結する（ステップＳ１２）。次に、対数計算部１２は、ステップＳ１１で周波数解析した入力信号の対数スペクトルを算出する（ステップＳ１３）。次に、マルチチャネル特徴計算部１３は、マイク１及び２の入力信号からマルチチャネル特徴量ｒｔを算出する（ステップＳ１４）。
【００６５】
次に、ＤＡＥ学習部１４の入力部１４ａは、ステップＳ１３で算出した対数スペクトル及びステップＳ１４で算出したマルチチャネル特徴量ｒｔを並べたベクトルを前後Ｔフレームへコンテキスト窓で連結する（ステップＳ１５）。次に、隠れ層１４ｂは、ステップＳ１５でコンテキスト窓で連結したベクトルを入力とする出力を求め、重みベクトルＷ１とバイアスベクトルｂ１を学習する（ステップＳ１６）。次に、隠れ層１４ｃは、ステップＳ１６による隠れ層１４ｂの出力を入力とする出力を求め、重みベクトルＷ２とバイアスベクトルｂ２を学習する（ステップＳ１７）。なお、ステップＳ１７による隠れ層１４ｃの出力は、学習用の原音声と一致する。そして、出力部１４ｄは、ステップＳ１７による隠れ層１４ｃの出力を最終出力する（ステップＳ１８）。なお、ＤＡＥ学習部１４は、ＤＡＥ学習処理により学習した隠れ層のパラメータθ＝｛Ｗ，ｂ｝を、ＤＡＥ復号部１５へコピーする。
【００６６】
（雑音除去処理）
図４は、雑音除去処理の一例を示すフローチャートである。雑音除去処理は、図３に示すＤＡＥ学習処理により学習された隠れ層のパラメータθ＝｛Ｗ，ｂ｝を用いて、マイクの入力信号から雑音を除去する処理であり、雑音除去装置１０により実行される。なお、図４に示す雑音除去処理は、図３に示すＤＡＥ学習処理がマイク１の入力信号を雑音除去対象の音声信号とし、マイク１及び２の入力信号をマルチチャネル特徴量ｒｔの算出対象の音声信号とする場合は、同様に、マイク１の入力信号を雑音除去対象の音声信号とし、マイク１及び２の入力信号をマルチチャネル特徴量ｒｔの算出対象の音声信号とする。
【００６７】
先ず、周波数分析部１１は、マイク１の入力信号を例えば１００ｍｓのフレームごとに周波数分析する（ステップＳ２１）。次に、対数計算部１２は、ステップＳ２１で周波数分析した入力信号の対数スペクトルを算出する（ステップＳ２２）。次に、マルチチャネル特徴計算部１３は、マイク１及び２の入力信号からマルチチャネル特徴量ｒｔを算出する（ステップＳ２３）。
【００６８】
次に、ＤＡＥ復号部１５の入力部１５ａは、ステップＳ２２で算出した対数スペクトル及びステップＳ２３で算出したマルチチャネル特徴量ｒｔを並べたベクトルを前後Ｔフレームへコンテキスト窓で連結する（ステップＳ２４）。次に、隠れ層１５ｂは、ステップＳ２４でコンテキスト窓で連結したベクトルを入力とし、ＤＡＥ学習部１４がＤＡＥ学習処理により学習した重みベクトルＷ１及びバイアスベクトルｂ１を用いて、隠れ層１５ｂの出力を求める（ステップＳ２５）。次に、隠れ層１５ｃは、ステップＳ２５で求められた隠れ層１５ｂの出力を入力とし、ＤＡＥ学習部１４がＤＡＥ学習処理により学習した重みベクトルＷ２及びバイアスベクトルｂ２を用いて、隠れ層１５ｃの出力を求める（ステップＳ２６）。そして、出力部１５ｄは、ステップＳ２６による隠れ層１５ｃの出力を最終出力する（ステップＳ２７）。
【００６９】
［実施形態による効果］
図５Ａ〜図５Ｃは、実施形態の効果の一例を説明する図である。実験に用いた観測信号は、英国一般家庭に設置したＭ＝２個のマイクアレイの正面からおよそ２ｍ離れた位置で発声された音声と、同じマイクアレイで収録した英国一般家庭での雑音との混合信号である。雑音は、非定常的なもの（子供の声、掃除機の音、テレビ音等）を含む。音声信号は全て、英語６単語から成るコマンド音声である。
【００７０】
学習データは、３４話者の音声クリーンデータに雑音を加えた６時間分の観測信号からなる。評価データは、同じ３４話者が発声した音声に、雑音（学習データと同じ部屋で収録した、学習データで用いた雑音とは別の雑音)を付加した観測信号で、ＳＮ比が−６ｄＢ、−３ｄＢ、０ｄＢ、３ｄＢ、６ｄＢ、９ｄＢの各条件での、それぞれ６００発話からなる。スペクトル特徴のベクトルｙｔの次元は、メル周波数領域で４０次元とし、コンテキスト窓の長さはＴ＝５とした。フレーム長とフレームシフトは、それぞれ１００ｍｓ、２５ｍｓである。
【００７１】
実施形態のマルチチャネル特徴のベクトルｒｔとしては、上記（１０）式又は（１１）式に基づくＩＰＤ、上記（１５）式に基づくＥＮＨＡＮＣＥ、上記（１６）式に基づくＮＯＩＳＥの３種類とした。ＤＡＥに用いた隠れ層の数は１、隠れ層で用いたユニット数（パラメタの次元）は、１，０２４である。比較例のマルチチャネル特徴には、雑音除去していない観測信号そのものと、ＥＮＨＡＮＣＥに使った時間周波数マスク（上記（１５）式参照）にて雑音除去した結果と、１マイクのみを用いるＤＡＥの出力と、ＩＬＤの４種類を試した。
【００７２】
図５Ａ及び図５Ｂは、それぞれの手法による雑音除去の性能を示している。評価量は、ケプストラム歪みＣＤ（Cepstral  Distortion）と、セグメンタルＳＮ比（ＳＳＮＲ）である。ＣＤは、値がより小さいほど、より高い性能を示す。また、ＳＳＮＲは、値が大きいほど、より高い性能を示す。図５Ａ及び図５Ｂは、各マルチチャネル特徴量を用いて得られた雑音除去音声のＣＤ及びＳＳＮＲを、観測信号のＳＮ比ごとに示している。図５Ａ及び図５Ｂに示すように、実施形態のＩＰＤ、ＮＯＩＳＥ、ＥＮＨＡＮＣＥは、比較例よりも高い性能を示すことが分かる。
【００７３】
また、図５Ｃは、比較例としての、雑音除去していない観測信号と、ＥＮＨＡＮＣＥに使った時間周波数マスク（上記（１５）式参照）にて雑音除去した結果と、１マイクのみを用いるＤＡＥの出力と、ＩＬＤと、実施形態としてＩＰＤ、ＥＮＨＡＮＣＥ、ＮＯＩＳＥの７種類それぞれの音声について、コマンド音声認識を行なった結果を示す。音声認識機としては、文献「M.  Delcroix,  Y.  Kubo,  T.  Nakatani,  and  A.  Nakamura,  “Is  speech  enhancement  pre-processing  still  relevant  when  using  deep  neural  networks  for  acoustic  modeling  ?”,  Proc.  of  Interspeech2013,  2013,  pp.  2992-2996.」に示されるディープニューラルネットワーク（ＤＮＮ）ベースの技術を用いた。図５Ｃは、実施形態としてＩＰＤ、ＥＮＨＡＮＣＥ、ＮＯＩＳＥが、比較例よりも高い性能であることを示す。
【００７４】
すなわち、実施形態は、信号処理において、複数信号が混在している音響データから、それぞれの原信号を推定する、音源分離の際に、原信号及び複数信号がどのように混ざったかの情報を用いずに、複数信号が混在している音響データのみからそれぞれの原信号を推定する、ブラインド音源分離において、より高い雑音除去性能を有する。
【００７５】
［その他の実施形態］
実施形態は、観測信号ｙｔとして、メル周波数領域での対数スペクトルを用いたが、これに限らず、線形周波数ドメインでの対数スペクトルや、メル周波数ケプストラム係数（ＭＦＣＣ；Mel  Frequency  Cepstral  Coefficient）等を用いてもよい。また、信号再構成装置２０は、ウィーナフィルタを用いたが、これに限らず、例えば下記（１９）式に示すような時間周波数マスクＭｔ，ｆを用いてもよい。また、上記（５）式の出力ベクトルｚｏｕｔでは、コンテキスト窓を用いなくてもよい。
【００７６】
【数１９】
0006348427.tif 000020
【００７７】
（雑音除去装置及び信号再構成装置の装置構成について）
図１に示す雑音除去装置１０及び図２に示す信号再構成装置２０の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、雑音除去装置１０の機能の分散及び統合の具体的形態は図示のものに限られず、全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。例えば、雑音除去装置１０のＤＡＥ学習部１４及びＤＡＥ復号部１５は、一体であってもよく、ＤＡＥ学習時と雑音除去処理時とで処理を切り替えるようにしてもよい。また、周波数分析部１１、対数計算部１２、マルチチャネル特徴計算部１３は、ＤＡＥ学習部１４及びＤＡＥ復号部１５で共有するとしたが、ＤＡＥ学習部１４及びＤＡＥ復号部１５それぞれで個別に周波数分析部、対数計算部、マルチチャネル特徴計算部を有する構成であってもよい。また、実施形態では、雑音除去装置１０及び信号再構成装置２０は、別装置とするが、これに限らず、一体の装置であってもよい。
【００７８】
また、雑音除去装置１０において行われる各処理は、全部又は任意の一部が、ＣＰＵ（Central  Processing  Unit）及びＣＰＵにより解析実行されるプログラムにて実現されてもよい。また、雑音除去装置１０及び信号再構成装置２０において行われる各処理は、ワイヤードロジックによるハードウェアとして実現されてもよい。
【００７９】
また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともできる。もしくは、実施形態において説明した各処理のうち、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上述及び図示の処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて適宜変更することができる。
【００８０】
（プログラムについて）
図６は、プログラムが実行されることにより、雑音除去装置及び信号再構成装置が実現されるコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。コンピュータ１０００において、これらの各部はバス１０８０によって接続される。
【００８１】
メモリ１０１０は、ＲＯＭ（Read  Only  Memory）１０１１及びＲＡＭ（Random  Access  Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic  Input  Output  System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１０４１に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１０５１、キーボード１０５２に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１０６１に接続される。
【００８２】
ハードディスクドライブ１０３１は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、雑音除去装置１０及び信号再構成装置２０の各処理を規定するプログラムは、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、例えばハードディスクドライブ１０３１に記憶される。例えば、雑音除去装置１０及び信号再構成装置２０における機能構成と同様の情報処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。
【００８３】
また、実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して実行する。
【００８４】
なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３やプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３やプログラムデータ１０９４は、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
【００８５】
上記実施形態及びその他の実施形態は、本願が開示する技術に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００８６】
１、２    マイク
１０      雑音除去装置
１１      周波数分析部
１２      対数計算部
１３      マルチチャネル特徴計算部
１４      ＤＡＥ学習部
１４ａ    入力部
１４ｂ、１４ｃ    隠れ層
１４ｄ    出力部
１５      ＤＡＥ復号部
１５ａ    入力部
１５ｂ、１５ｃ    隠れ層
１５ｄ    出力部
２０      信号再構成装置
２１      雑音除去フィルタ計算部
２２      周波数ドメイン計算部
２３      雑音除去音声計算部
２４      逆フーリエ変換部
１００    雑音除去システム
１０００  コンピュータ
１０１０  メモリ
１０２０  ＣＰＵ
【図１】
0006348427.tif 000021
【図２】
0006348427.tif 000022
【図３】
0006348427.tif 000023
【図４】
0006348427.tif 000024
【図５Ａ】
0006348427.tif 000025
【図５Ｂ】
0006348427.tif 000026
【図５Ｃ】
0006348427.tif 000027
【図６】
0006348427.tif 000028
【図７Ａ】
0006348427.tif 000029
【図７Ｂ】
0006348427.tif 000030