(57)【要約】【課題】  観測音からより高品質な目的音の分離信号を得られる処理方式を適用した信号処理装置、プログラム及び方法、並びに収音装置を提供する。【解決手段】  本発明は、信号処理装置に関する。本発明の信号処理装置は、少なくとも観測音又は観測音から非目的音を強調した非目的音分離音の一方を含む参照信号を用いて、観測音から所定の方式により目的音を強調した目的音分離音を、目的音により近づける処理に必要なパラメータを学習する学習手段と、学習手段により得られたパラメータ及び参照信号を用いて、目的音分離音を処理した音質改善音を出力する音質改善処理手段とを有することを特徴とする。【選択図】      図１
2020012980.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも観測音又は前記観測音から非目的音を強調した非目的音分離音の一方を含む参照信号を用いて、前記観測音から所定の方式により目的音を強調した目的音分離音を、前記目的音により近づける処理に必要なパラメータを学習する学習手段と、
前記学習手段により得られた前記パラメータ及び前記参照信号を用いて、前記目的音分離音を処理した音質改善音を出力する音質改善処理手段と
を有することを特徴とする信号処理装置。
【請求項２】
前記学習手段は敵対的ＤＡＥの枠組みに基づき、前記目的音分離音を前記目的音により近づける処理に必要な前記パラメータを学習することを特徴とする請求項１に記載の信号処理装置。
【請求項３】
前記学習手段は、
前記参照信号と更新された前記パラメータに基づき前記目的音分離音を処理して前記音質改善音を生成する生成処理手段と、
入力された信号が、前記生成処理手段が生成した前記音質改善音であるか、前記目的音であるかを識別する識別手段と
を用いた敵対的ＤＡＥの処理により、前記目的音分離音を、前記目的音により近づける処理に必要な前記パラメータを取得する
ことを特徴とする請求項２に記載の信号処理装置。
【請求項４】
前記目的音分離音は、前記観測音に対して位相基準の時間周波数マスキングに基づき前記目的音を強調した信号であることを特徴とする請求項１に記載の信号処理装置。
【請求項５】
コンピュータを、
少なくとも観測音又は前記観測音から非目的音を強調した非目的音分離音の一方を含む参照信号を用いて、前記観測音から所定の方式により目的音を強調した目的音分離音を、前記目的音により近づける処理に必要なパラメータを学習する学習手段と、
前記学習手段により得られたパラメータ及び前記参照信号を用いて、前記目的音分離音を処理した音質改善音を出力する音質改善処理手段と
して機能させることを特徴とする信号処理プログラム。
【請求項６】
信号処理を行う信号処理装置が行う信号処理方法において、
学習手段と、音質改善処理手段とを有し、
前記学習手段は、少なくとも観測音又は前記観測音から非目的音を強調した非目的音分離音の一方を含む参照信号を用いて、前記観測音から所定の方式により目的音を強調した目的音分離音を、前記目的音により近づける処理に必要なパラメータを学習し、
前記音質改善処理手段は、前記学習手段により得られたパラメータ及び前記参照信号を用いて、前記目的音分離音を処理した音質改善音を出力する
ことを特徴とする信号処理方法。
【請求項７】
観測音から目的音を抽出して収音する収音装置において、
前記観測音から前記目的音を強調した目的音分離音と、前記目的音以外の非目的音を強調した非目的音分離音を生成する目的音分離手段と、
前記目的音分離音と、前記観測音と、前記非目的音分離音とを入力として前記目的音分離音を処理した音質改善音を生成する信号処理装置を備え、
前記信号処理装置として請求項１〜４のいずれかに記載の信号処理装置を適用したこと
を特徴とする収音装置。
【請求項８】
少なくとも観測音又は前記観測音から非目的音を強調した非目的音分離音の一方を含む参照信号を用いて、前記観測音から所定の方式により目的音を強調した目的音分離音を、前記目的音により近づける処理に必要なパラメータを学習する学習手段により得られたパラメータ及び前記参照信号を用いて、前記目的音分離音を処理した音質改善音を出力する音質改善処理手段を有することを特徴とする信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、信号処理装置、信号処理プログラム、信号処理方法、及び収音装置に関し、例えば、複数の音源から到達した混合信号から特定の信号成分のみを強調しそれ以外の成分を抑圧することで、音声の明瞭性や音質を改善する目的音強調技術（音源分離技術）に適用し得る。
【背景技術】
【０００２】
目的音強調（音源分離）は、雑音下音声認識など多くの音声処理（音響信号処理）における前処理として欠かせない要素技術となっている（非特許文献１参照）。このとき、最終的に得られる強調音声は、妨害音源の影響が効果的に除去されていることに加え、ひずみの少ない高い品質であることが望ましい。
【０００３】
従来の目的音強調技術は線形処理に基づくアプローチと非線形処理に基づくアプローチに大別される。非線形処理に基づくアプローチの一つである時間周波数マスキング（非特許文献２参照）では、目的音源の周波数成分のみを通過させる非線形フィルタを観測音に畳み込むことで妨害音源の影響を抑圧する。このような非線形フィルタは妨害信号成分を効果的に抑圧できるもののミュージカルノイズのような耳障りなひずみが生じることが知られている。それに対し、ケプストラム領域において時間平滑化を行うことで非線形ひずみを抑圧する手法（非特許文献３参照）などが提案されているが、残響に似た別のひずみが生じるという問題がある。
【０００４】
また、観測音から目的信号への非線形な変換をＤｅｎｏｉｓｉｎｇ  ａｕｔｏｅｎｃｏｄｅｒ（ＤＡＥ）の枠組みで直接推定する試みがなされている。ＤＡＥに基づく手法は従来の非線形処理に基づく手法を上回る性能を達成しているが、損失関数として平均二乗誤差を用いることによる過剰な平滑化が行われたり、音声のクリッピングが発生するなどの問題が指摘されている（非特許文献４〜６参照）。
【０００５】
これらの問題を解決するため、敵対的学習（非特許文献７参照）の枠組みにより、雑音を含まないクリーン信号（目的音）と区別できないような高音質の信号を生成するようにＤＡＥを学習することで、自然な強調音声を生成する手法が提案されている（非特許文献８、９参照）。特に、敵対的ＤＡＥにより強調音声の波形を時間領域でｅｎｄ−ｔｏ−ｅｎｄに生成するＳＥＧＡＮ（Ｓｐｅｅｃｈ  ｅｎｈａｎｃｅｍｅｎｔ  ｇｅｎｅｒａｔｉｖｅ  ａｄｖｅｒｓａｒｉａｌ  ｎｅｔｗｏｒｋ）は、高品質な強調音声を生成できることが示されている（非特許文献８参照）。また、従来、時間・周波数領域においてＳＥＧＡＮを適用することで、残響環境下における音声認識性能を改善できることが示されている（非特許文献９参照）。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Ｂａｒｋｅｒ，  Ｊ．，  Ｍａｒｘｅｒ，  Ｒ．，  Ｖｉｎｃｅｎｔ，  Ｅ．  ａｎｄ  Ｗａｔａｎａｂｅ，  Ｓ．：Ｔｈｅ  ｔｈｉｒｄ  ‘ＣＨｉＭＥ’ｓｐｅｅｃｈ  ｓｅｐａｒａｔｉｏｎ  ａｎｄ  ｒｅｃｏｇｎｉ−ｔｉｏｎ  ｃｈａｌｌｅｎｇｅ：  Ｄａｔａｓｅｔ，  ｔａｓｋ  ａｎｄ  ｂａｓｅｌｉｎｅｓ，ＡｕｔｏｍａｔｉｃＳｐｅｅｃｈ  Ｒｅｃｏｇｎｉｔｉｏｎ  ａｎｄ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  （ＡＳＲＵ），  ２０１５ＩＥＥＥ  Ｗｏｒｋｓｈｏｐ  ｏｎ，  ＩＥＥＥ，  ｐｐ．５０４−５１１（２０１５）．
【非特許文献２】Ｙｉｌｍａｚ，  Ｏ．  ａｎｄ  Ｒｉｃｋａｒｄ，  Ｓ．：  Ｂｌｉｎｄ  ｓｅｐａｒａｔｉｏｎ  ｏｆ  ｓｐｅｅｃｈｍｉｘｔｕｒｅｓ  ｖｉａ  ｔｉｍｅ−ｆｒｅｑｕｅｎｃｙ  ｍａｓｋｉｎｇ，  ＩＥＥＥ  Ｔｒａｎｓａｃ−ｔｉｏｎｓ  ｏｎ  ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｉｎｇ，  Ｖｏｌ．  ５２，  Ｎｏ．  ７，  ｐｐ．１８３０−１８４７（２００４）．
【非特許文献３】Ｌｕ，  Ｘ．，  Ｔｓａｏ，  Ｙ．，  Ｍａｔｓｕｄａ，  Ｓ．  ａｎｄ  Ｈｏｒｉ，  Ｃ．：  Ｓｐｅｅｃｈｅｎｈａｎｃｅｍｅｎｔ  ｂａｓｅｄ  ｏｎ  ｄｅｅｐ  ｄｅｎｏｉｓｉｎｇ  ａｕｔｏｅｎｃｏｄｅｒ．，  Ｉｎ−ｔｅｒｓｐｅｅｃｈ，  ｐｐ．  ４３６−４４０  （２０１３）．
【非特許文献４】Ｘｕ，  Ｙ．，  Ｄｕ，  Ｊ．，  Ｄａｉ，  Ｌ．−Ｒ．  ａｎｄ  Ｌｅｅ，  Ｃ．−Ｈ．：  Ａ  ｒｅｇｒｅｓｓｉｏｎａｐｐｒｏａｃｈ  ｔｏ  ｓｐｅｅｃｈ  ｅｎｈａｎｃｅｍｅｎｔ  ｂａｓｅｄ  ｏｎ  ｄｅｅｐ  ｎｅｕｒａｌｎｅｔｗｏｒｋｓ，  ＩＥＥＥ／ＡＣＭ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ａｕｄｉｏ，  Ｓｐｅｅｃｈ  ａｎｄ  Ｌａｎｇｕａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ  （ＴＡＳＬＰ），  Ｖｏｌ．  ２３，  Ｎｏ．  １，  ｐｐ．７−１９  （２０１５）．
【非特許文献５】Ｓｈｉｖａｋｕｍａｒ，  Ｐ．  Ｇ．  ａｎｄ  Ｇｅｏｒｇｉｏｕ，  Ｐ．  Ｇ．：  Ｐｅｒｃｅｐｔｉｏｎ  Ｏｐ−ｔｉｍｉｚｅｄ  Ｄｅｅｐ  Ｄｅｎｏｉｓｉｎｇ  ＡｕｔｏＥｎｃｏｄｅｒｓ  ｆｏｒ  Ｓｐｅｅｃｈ  Ｅｎ−ｈａｎｃｅｍｅｎｔ．，  ＩＮＴＥＲＳＰＥＥＣＨ，  ｐｐ．  ３７４３−３７４７  （２０１６）．
【非特許文献６】Ｋａｎｇ，Ｔ．Ｇ．，Ｓｈｉｎ，Ｊ．Ｗ．ａｎｄ  Ｋｉｍ，Ｎ．Ｓ．：ＤＮＮ−ｂａｓｅｄｍｏｎａｕｒａｌ  ｓｐｅｅｃｈ  ｅｎｈａｎｃｅｍｅｎｔ  ｗｉｔｈ  ｔｅｍｐｏｒａｌ  ａｎｄ  ｓｐｅｃ−ｔｒａｌ  ｖａｒｉａｔｉｏｎｓ  ｅｑｕａｌｉｚａｔｉｏｎ，  Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．  ７４，ｐｐ．１０２−１１０（２０１８）．
【非特許文献７】Ｇｏｏｄｆｅｌｌｏｗ，Ｉ．，Ｐｏｕｇｅｔ−Ａｂａｄｉｅ，Ｊ．，Ｍｉｒｚａ，Ｍ．，Ｘｕ，Ｂ．，Ｗａｒｄｅ−Ｆａｒｌｅｙ，Ｄ．，Ｏｚａｉｒ，  Ｓ．，Ｃｏｕｒｖｉｌｌｅ，Ａ．ａｎｄ  Ｂｅｎｇｉｏ，Ｙ．：Ｇｅｎｅｒａｔｉｖｅ  ａｄｖｅｒｓａｒｉａｌ  ｎｅｔｓ，  Ａｄｖａｎｃｅｓ  ｉｎ  ｎｅｕｒａｌ  ｉｎ−ｆｏｒｍａｔｉｏｎ  ｐｒｏｃｅｓｓｉｎｇ  ｓｙｓｔｅｍｓ，ｐｐ．２６７２−２６８０（２０１４）．
【非特許文献８】Ｐａｓｃｕａｌ，  Ｓ．，  Ｂｏｎａｆｏｎｔｅ，  Ａ．  ａｎｄ  Ｓｅｒｒａ，  Ｊ．：  ＳＥＧＡＮ：Ｓｐｅｅｃｈ  ｅｎｈａｎｃｅｍｅｎｔ  ｇｅｎｅｒａｔｉｖｅ  ａｄｖｅｒｓａｒｉａｌ  ｎｅｔｗｏｒｋ，ａｒＸｉｖ  ｐｒｅｐｒｉｎｔ  ａｒＸｉｖ：１７０３．０９４５２（２０１７）．
【非特許文献９】Ｄｏｎａｈｕｅ，  Ｃ．，  Ｌｉ，  Ｂ．  ａｎｄ  Ｐｒａｂｈａｖａｌｋａｒ，  Ｒ．：  ＥｘｐｌｏｒｉｎｇＳｐｅｅｃｈ  Ｅｎｈａｎｃｅｍｅｎｔ  ｗｉｔｈ  Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔ−ｗｏｒｋｓ  ｆｏｒ  Ｒｏｂｕｓｔ  Ｓｐｅｅｃｈ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ａｒＸｉｖ  ｐｒｅｐｒｉｎｔａｒＸｉｖ：１７１１．０５７４７（２０１７）．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、時間周波数マスキングにより強調された信号は妨害音源成分のみならず目的音源成分も抑圧されているため、音声の明瞭性や音声認識性能が著しく低下する。このとき、欠落した目的音源成分を補助情報なしに復元することは困難である。
【０００８】
すなわち、従来の敵対的ＤＡＥを用いて観測音から強調信号（強調音声）を生成する手法を用いたとしても、強調信号の生成処理だけでは失われた目標音源の報を復元することが困難であるため、品質の高い強調信号が得られないという問題がある。
【０００９】
上述のような問題に鑑みて、観測音からより高品質な目的音の強調信号を得られる処理方式を適用した信号処理装置、プログラム及び方法、並びに収音装置が望まれている。
【課題を解決するための手段】
【００１０】
第１の本発明の信号処理装置は、（１）少なくとも観測音又は前記観測音から非目的音を分離した非目的音分離音の一方を含む参照信号を用いて、前記観測音から所定の方式により目的音を分離した目的音分離音を、前記目的音により近づける処理に必要なパラメータを学習する学習手段と、（２）前記学習手段により得られた前記パラメータ及び前記参照信号を用いて、前記目的音分離音を処理した音質改善音を出力する音質改善処理手段とを有することを特徴とする。
【００１１】
第２の本発明の信号処理プログラムは、コンピュータを、（１）少なくとも観測音又は前記観測音から非目的音を分離した非目的音分離音の一方を含む参照信号を用いて、前記観測音から所定の方式により目的音を分離した目的音分離音を、前記目的音により近づける処理に必要なパラメータを学習する学習手段と、（２）前記学習手段により得られたパラメータ及び前記参照信号を用いて、前記目的音分離音を処理した音質改善音を出力する音質改善処理手段として機能させることを特徴とする。
【００１２】
第３の本発明は、信号処理を行う信号処理装置が行う信号処理方法において、（１）学習手段と、音質改善処理手段とを有し、（２）前記学習手段は、少なくとも観測音又は前記観測音から非目的音を分離した非目的音分離音の一方を含む参照信号を用いて、前記観測音から所定の方式により目的音を分離した目的音分離音を、前記目的音により近づける処理に必要なパラメータを学習し、（３）前記音質改善処理手段は、前記学習手段により得られたパラメータ及び前記参照信号を用いて、前記目的音分離音を処理した音質改善音を出力することを特徴とする。
【００１３】
第４の本発明は、観測音から目的音を抽出して収音する収音装置において、（１）前記観測音から前記目的音を分離した目的音分離音と、前記目的音以外の非目的音を分離した非目的音分離音を生成する目的音分離処理手段と、（２）前記目的音分離音と、前記観測音と、前記非目的音分離音とを入力として前記目的音分離音を処理した音質改善音を生成する信号処理装置を備え、（３）前記信号処理装置として第１の本発明の信号処理装置を適用したことを特徴とする。
【００１４】
第５の本発明の信号処理装置は、少なくとも観測音又は前記観測音から非目的音を分離した非目的音分離音の一方を含む参照信号を用いて、前記観測音から所定の方式により目的音を分離した目的音分離音を、前記目的音により近づける処理に必要なパラメータを学習する学習手段により得られたパラメータ及び前記参照信号を用いて、前記目的音分離音を処理した音質改善音を出力する音質改善処理手段を有することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、観測音からより高品質な目的音の強調信号を得られる処理方式を適用した信号処理装置、プログラム及び方法、並びに収音装置を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】実施形態に係る収音装置（信号処理装置を含む構成）の機能的構成について示したブロック図である。
【図２】実施形態に係るマイクロフォンアレイによる収音環境の例について示した説明図である。
【図３】実施形態に係る信号処理部（信号処理装置）を構成する音質改善処理部の学習時における構成について示したブロック図である。
【図４】実施形態に係る信号処理部（信号処理装置）を構成する音質改善処理部のランタイム時における構成について示したブロック図である。
【図５】実施形態に係る信号処理部（信号処理装置）の検証を行う際の環境モデルについて示した説明図である。
【図６】実施形態に係る信号処理部（信号処理装置）の検証を行う際に用いる信号の仕様について示した説明図である。
【図７】実施形態に係る信号処理部（信号処理装置）に係る第１の本検証により得られた結果をＳＤＲにより評価した結果について示している。
【図８】実施形態に係る信号処理部（信号処理装置）に係る第１の本検証により得られた結果をＰＥＳＱにより評価した結果について示している。
【図９】実施形態に係る信号処理部（信号処理装置）に係る第２の本検証により得られた結果を評価した結果について示している。
【図１０】実施形態に係る信号処理部（信号処理装置）に係る第２の本検証により得られた結果をＰＥＳＱにより評価した結果について示している。
【図１１】実施形態の変形例に係るマイクロフォンアレイによる収音環境について示した説明図である。
【発明を実施するための形態】
【００１７】
（Ａ）主たる実施形態
以下、本発明による信号処理装置、信号処理プログラム、信号処理方法、及び収音装置の一実施形態を、図面を参照しながら詳述する。以下では、本発明の信号処理装置を、信号処理部に適用した例について説明する。
【００１８】
（Ａ−１）実施形態の構成
図１は、この実施形態の収音装置１０の機能的構成について示したブロック図である。
【００１９】
図２は、この実施形態の収音装置１０に接続されるマイクロフォンアレイＭＡの構成例について示した図である。
【００２０】
収音装置１０は、２つのマイクロフォンｍｉｃ１、ｍｉｃ２を備えるマイクロフォンアレイＭＡ（２チャネルのマイクロフォンアレイ）で捕捉した音響信号を用いて、目的音（目的音源（目標音源）から発せられた音）を強調した出力信号Ｗを出力する装置である。この実施形態の例では、目的音は、目的エリアに配置された目的音源から発せられた音であるものとする。また、この実施形態の例では、目的音は人間が発話した音声であるものとする。なお、この実施形態の例において、目的音としては、人間の音声に限定されず種々の音響信号を適用することができる。
【００２１】
収音装置１０は、信号入力部１１と信号処理部１２とを有している。
【００２２】
収音装置１０は、全てハードウェア（例えば、専用チップ等）により構成するようにしてもよいし一部又は全部についてソフトウェア（プログラム）として構成するようにしてもよい。収音装置１０は、例えば、プロセッサ及びメモリを有するコンピュータにプログラム（実施形態の収音プログラムを含む）をインストールすることにより構成するようにしてもよい。
【００２３】
信号入力部１１は、各マイクロフォンｍｉｃ１、ｍｉｃ２で捕捉した音響信号（アナログ信号）をデジタル信号に変換して、信号処理部１２に供給する処理を行う。
【００２４】
以下では、マイクロフォンｍｉｃ１、ｍｉｃ２で捕捉される音響信号（以下、「マイクロフォン信号」とも呼ぶ）をそれぞれｘ１、ｘ２と表すものとする。マイクロフォンアレイＭＡの周辺には目的音以外にも雑音を発生させる雑音源も存在し得るため、その場合マイクロフォン信号ｘ１、ｘ２には、目的音の成分だけでなく雑音の成分も混入することになる。
【００２５】
信号処理部１２は、マイクロフォン信号ｘ１、ｘ２に基づいて、目的音を強調した音響信号を出力信号Ｗとして生成・出力する処理を行う。
【００２６】
次に、信号処理部１２の内部構成について図１を用いて説明する。
【００２７】
以下では、信号処理部１２内部の説明をする際には、マイクロフォン信号ｘ１、ｘ２（入力信号）を総称して観測音Ｓ１と呼ぶものとする。
【００２８】
図１に示すように、信号処理部１２は、目的音分離処理部１２１と音質改善処理部１２２とを有している。
【００２９】
信号処理部１２は、全てハードウェア（例えば、専用チップ等）により構成するようにしてもよいし一部又は全部についてソフトウェア（プログラム）として構成するようにしてもよい。信号処理部１２は、例えば、プロセッサ及びメモリを有するコンピュータにプログラム（実施形態の信号処理プログラムを含む）をインストールすることにより構成するようにしてもよい。
【００３０】
目的音分離処理部１２１は、観測音Ｓ１から目的音（この実施形態の例の場合、目的エリアを音源とする音声）を分離した音響信号（以下、「目的音分離音」と呼ぶ）Ｓ２と、観測音Ｓ１から目的音以外の非目的音（この実施形態では、目的音である音声以外の非目的音）を分離した音響信号（以下、「非目的音分離音」と呼ぶ）Ｓ２を生成・出力する処理を行う。
【００３１】
目的音分離処理部１２１による目的音を分離する処理及び、非目的音を分離する処理の具体的な方式については限定されず、種々の分離処理方式（目的音強調処理方式）を適用することができる。したがって、観測音Ｓ１は、目的音分離処理部１２１による信号の分離処理方式（目的音強調処理方式）に適合する形式の信号であればよい。例えば、目的音分離処理部１２１による分離処理（目的音強調処理）の方式によっては、観測音Ｓ１は単チャネルの音響信号であってもよい。
【００３２】
例えば、目的音分離処理部１２１では、分離処理の方法として非線形目的音強調法を適用することができる。具体的には、目的音分離処理部１２１では、非線形目的音強調手法として、複数のマイクアレイに基づき目的音源が存在するエリア（目的エリア）から発せられる音を強調するＭＵＢＡＳＥ（Ｍｕｌｔｉｐｌｅ  Ｂｅａｍｆｏｒｍｉｎｇ  Ａｒｅａ  Ｓｏｕｎｄ  Ｅｎｈａｎｃｅｍｅｎｔ）法（非特許文献９参照）や、位相基準の時間周波数マスキングに基づき正面方向を強調するＳＡＦＩＡ（参考文献８参照）を用いることができる。また、目的音分離処理部１２１では、分離処理（目的音強調処理）の方法としてウィーナーフィルタを用いた方式等の種々の方式を適用することができる。
【００３３】
上述の通り、非線形目的音強調法により得られる信号（目的音分離音，目的音強調音とも呼ぶ）では、非線形ひずみが発生する。すなわち、目的音分離処理部１２１により得られる目的音分離音Ｓ２では、非線形ひずみ等、目的音である音声の聴取を妨げる成分が含まれることになる。そこで、この実施形態の音質改善処理部１２２では、目的音分離音Ｓ２から非線形ひずみ等を除去する処理を行うことで音質改善音Ｓ４を得るものとする。
【００３４】
具体的には、音質改善処理部１２２は、観測音Ｓ１、目的音分離音Ｓ２、及び非目的音分離音Ｓ３を入力として、観測音Ｓ１から目的音（この実施形態の場合、目的エリアを音源とする音声）の品質に影響する要素（例えば、上述の非線形ひずみ等）を除去した音質改善音Ｓ４を生成する。音質改善処理部１２２による目的音強調処理の構成について後述する。言い換えると、音質改善処理部１２２は、観測音Ｓ１、目的音分離音Ｓ２、及び非目的音分離音Ｓ３を入力として、より目的音（以下、「クリーン信号」とも呼ぶ）に近い音響信号を音質改善音Ｓ４として取得する処理を行う。
【００３５】
次に、音質改善処理部１２２による目的音強調処理の概要について説明する。
【００３６】
この実施形態の音質改善処理部１２２では、観測音Ｓ１、目的音分離音Ｓ２、及び非目的音分離音Ｓ３に、敵対的ＤＡＥの枠組みを用いた処理を行うことで、目的音分離音Ｓ２よりも高品質な音質改善音Ｓ４を得るものとする。目的音分離処理部１２１の分離処理方法としてＳＡＦＩＡを適用する場合において、非目的音（妨害音／雑音）と目的音（音声）のスパース性が満たされない場合、非線形処理（非特許文献９参照）により目的音成分が過度に削減される可能性があることに留意する必要がある。音質改善処理部１２２では、目的音分離処理部１２１におけるこのような目的音成分の消失により、分離処理の品質（例えば、音声の明瞭性や音声認識性能）が著しく低下しているため、ポストフィルタ処理により復元することが求められるが、復元対象の成分が欠落した目的音分離音のみを用いてこれを復元することは困難である。
【００３７】
そこで、この実施形態の音質改善処理部１２２では、音声認識におけるｎｏｉｓｅ−ａｗａｒｅ学習のように、目的音や非目的音（妨害音／雑音）の情報を参照信号として与えて敵対的ＤＡＥを最適化することで、欠落した目的音の成分を頑健に復元するものとする。非線形ひずみは非目的音に依存することが予想されるため、音質改善処理部１２２では、上述のように非目的音情報（非目的音分離音Ｓ３）を用いることで、より高精度な情報の復元（目的音成分の復元）が可能となる。
【００３８】
具体的には、この実施形態の音質改善処理部１２２では、ＳＥＧＡＮ（Ｓｐｅｅｃｈ  ｅｎｈａｎｃｅｍｅｎｔ  ｗｉｔｈ  ＧＡＮ）（非特許文献８参照）を利用した目的音強調処理を行うものとする。ＳＥＧＡＮ（非特許文献８参照）はＤＡＥの一種で、非目的音を含む観測音声から非目的音が除去された強調音声への時間領域でのマッピングを推定するものである。ＳＥＧＡＮでは、従前の時間周波数領域を対象としたＤＡＥと異なり、直接波形を推定するため、位相を考慮する必要がないという利点があるが、音声波形の自由度が大きいため学習が困難であるという問題があった。そこで、この実施形態の音質改善処理部１２２では、ＳＥＧＡＮに敵対的学習の枠組み（敵対的ＤＡＥの枠組み）を導入するものとする。これにより、この実施形態の音質改善処理部１２２では、目的音（クリーン信号）と区別できない高品質な強調音声（音質改善音Ｓ４）を得ることができる。
【００３９】
（Ａ−２）実施形態の動作
次に、以上のような構成を有するこの実施形態における収音装置１０（信号処理部１２）の動作（実施形態の収音方法（信号処理方法））を説明する。
【００４０】
まず、ＳＥＧＡＮに敵対的学習の枠組み（敵対的ＤＡＥの枠組み）を導入して音質改善処理部１２２を構成する具体例について、学習時と運用時（ランタイム時）に分けて説明する。
【００４１】
図３、図４は、この実施形態の音質改善処理部１２２の内部構成の例について示したブロック図である。
【００４２】
図３は、音質改善処理部１２２が目的音強調処理の学習を行う際の構成（学習時の構成）について示したブロック図である。図４は、音質改善処理部１２２が目的音強調処理を実行する際の構成（運用時の構成）について示したブロック図である。なお、図３、図４で共通する要素には同一の符号を付している。
【００４３】
まず図３を用いて、音質改善処理部１２２における学習時の動作について説明する。
【００４４】
音質改善処理部１２２は、ＳＥＧＡＮを構成する生成器Ｇと識別器Ｄを有している。
【００４５】
音質改善処理部１２２では、ＳＥＧＡＮの生成器Ｇとして以下の構造のＤＡＥを用いるものとする。具体的には、音質改善処理部１２２では、生成器Ｇとしてエンコーダ２１０、デコーダ２２０、及び潜在変数処理部２３０を有するものとする。エンコーダ２１０、デコーダ２２０、及び潜在変数処理部２３０の具体的な構成（仕様）については限定されないものであるが、ここでは以下のような構成であるものとする。
【００４６】
この実施形態の例において、エンコーダ２１０は、窓幅を３１、ストライド幅を２とした１１層の１次元畳み込み層により構成され、後半の層ほどチャネル数が多くなるように設計されているものとする。
【００４７】
また、この実施形態の例において、エンコーダ２１０は、約１秒（厳密には１６ｋＨＺサンプリングで１６３８４サンプル）の信号を入力すると、１１層の畳み込みによるダウンサンプリングを経て、最終的に系列数８、チャネル数１０２４の中間出力が得るものとする。このとき、エンコーダ２１０では、各層からは系列数チャネルとすると、１６３８４×１；８１９２×１６；４０９６×３２；２０４８×３２；１０２４×６４；５１２×６４；２５６×１２８；１２８×１２８；６４×２５６；３２×２５６；１６×５１２；８×１０２４次元の出力が得られる。エンコーダ２１０より得られた中間出力は、潜在変数処理部２３０により正規分布からサンプリングしたランダムノイズが連結された後にデコーダ２２０に入力される。この実施形態の潜在変数処理部２３０では、エンコーダ２１０より得られた中間出力に対して付与するランダムノイズとしてガウスノイズを適用するものとする。
【００４８】
この実施形態の例において、デコーダ２２０は、エンコーダ２１０と同じ窓幅とストライド幅を持つ１１層の逆畳み込みにより構成され、後半の層ほどフィルタ数が少なくなるように設計されているものとする。これにより、デコーダ２２０では、１１層の逆畳み込みによるアップサンプリングを経て、最終的に観測音と同じ系列数１６３８４、チャネル数１の波形信号が得られる。
【００４９】
また、この実施形態の例において、デコーダ２２０では、各逆畳み込み層の入力として、１つ前の層の出力と共にエンコーダ２１０の対応する深さの層の出力を入力する「ｓｋｉｐ  ｃｏｎｎｅｃｔｉｏｎ」を導入することで、より細かな解像度でのデコードが可能になる（以下の参考文献１参照）。「ｓｋｉｐ  ｃｏｎｎｅｃｔｉｏｎ」は、デコーダ２２０とエンコーダ２１０との間を直結してデータ交換する経路（ｓｋｉｐ  ｃｏｎｎｅｃｔｉｏｎ）である。「ｓｋｉｐ  ｃｏｎｎｅｃｔｉｏｎ」を設けることにより、バックプロパゲーション時にデコーダ２２０の各層に置ける損失がエンコーダ２１０へ直接流れるため勾配消失の影響を低減できる（以下の参考文献２参照）。
【００５０】
さらに、この実施形態のデコーダ２２０では、各層における活性化関数として、ＰＲｅＬＵ（Ｐａｒａｍｅｔｒｉｃ  Ｒｅｃｔｉｅｄ  Ｌｉｎｅａｒ  Ｕｎｉｔ）（以下の参考文献３参照）を用いるものとする。
［参考文献１］  Ｒｏｎｎｅｂｅｒｇｅｒ，  Ｏ．，  Ｆｉｓｃｈｅｒ，  Ｐ．  ａｎｄ  Ｂｒｏｘ，  Ｔ．：  Ｕ−ｎｅｔ：  Ｃｏｎ−ｖｏｌｕｔｉｏｎａｌ  ｎｅｔｗｏｒｋｓ  ｆｏｒ  ｂｉｏｍｅｄｉｃａｌ  ｉｍａｇｅ  ｓｅｇｍｅｎｔａｔｉｏｎ，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｅｄｉｃａｌ  ｉｍａｇｅ  ｃｏｍｐｕｔｉｎｇａｎｄ  ｃｏｍｐｕｔｅｒ−ａｓｓｉｓｔｅｄ  ｉｎｔｅｒｖｅｎｔｉｏｎ，  Ｓｐｒｉｎｇｅｒ，  ｐｐ．２３４−２４１  （２０１５）．
［参考文献２］  Ｈｅ，  Ｋ．，  Ｚｈａｎｇ，  Ｘ．，  Ｒｅｎ，  Ｓ．  ａｎｄ  Ｓｕｎ，  Ｊ．：  Ｄｅｅｐ  ｒｅｓｉｄｕａｌｌｅａｒｎｉｎｇ  ｆｏｒ  ｉｍａｇｅ  ｒｅｃｏｇｎｉｔｉｏｎ，  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥｃｏｎｆｅｒｅｎｃｅ  ｏｎ  ｃｏｍｐｕｔｅｒ  ｖｉｓｉｏｎ  ａｎｄ  ｐａｔｔｅｒｎ  ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ．７７０−７７８  （２０１６）．
［参考文献３］  Ｈｅ，  Ｋ．，  Ｚｈａｎｇ，  Ｘ．，  Ｒｅｎ，  Ｓ．  ａｎｄ  Ｓｕｎ，  Ｊ．：  Ｄｅｌｖｉｎｇ  ｄｅｅｐｉｎｔｏ  ｒｅｃｔｉｅｒｓ：  Ｓｕｒｐａｓｓｉｎｇ  ｈｕｍａｎ−ｌｅｖｅｌ  ｐｅｒｆｏｒｍａｎｃｅ  ｏｎｉｍａｇｅｎｅｔ  ｃｌａｓｓｉｃａｔｉｏｎ，  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ  ｉｎｔｅｒ−ｎａｔｉｏｎａｌ  ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  ｃｏｍｐｕｔｅｒ  ｖｉｓｉｏｎ，ｐｐ．１０２６−１０３４（２０１５）．
【００５１】
音質改善処理部１２２では、生成器Ｇの損失関数として、ＤＡＥの出力波形（デコーダ２２０が出力する音質改善音Ｓ４）とクリーン信号Ｓ５との誤差Ｌ１を用いるものとする。音質改善処理部１２２では、音質改善音Ｓ４とクリーン信号Ｓ５との誤差である損失Ｌ１を誤差算出部Ｅで算出する。
【００５２】
音質改善処理部１２２では、ＤＡＥ（デコーダ２２０）から得られた音質改善音Ｓ４は観測音Ｓ１とともに識別器Ｄに入力される。
【００５３】
識別器Ｄは、入力された信号がクリーン信号Ｓ５とＤＡＥにより生成された音質改善音Ｓ４のどちらであるかの識別を行う。
【００５４】
この実施形態の例において、識別器Ｄとしては、ＤＡＥのエンコーダ２１０と同じ構造の１１層の１次元畳み込み層からなる畳み込みニューラルネットを用いるものとする。ただし、この実施形態では、識別器Ｄにおいて、活性化関数にはＰＲｅＬＵの代わりにｌｅａｋｙ  ＲｅＬＵ（以下の参考文献４参照）を用い、各層の出力にはｖｉｒｔｕａｌｂａｔｃｈ  ｎｏｒｍａｌｉｚａｔｉｏｎ（以下の参考文献５参照）を適用するものとする。
［参考文献４］  Ｍａａｓ，  Ａ．  Ｌ．，  Ｈａｎｎｕｎ，  Ａ．  Ｙ．  ａｎｄ  Ｎｇ，  Ａ．  Ｙ．：  Ｒｅｃｔｉｅｒｎｏｎｌｉｎｅａｒｉｔｉｅｓ  ｉｍｐｒｏｖｅ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ  ａｃｏｕｓｔｉｃ  ｍｏｄｅｌｓ，Ｐｒｏｃ．  ｉｃｍｌ，  Ｖｏｌ．  ３０，  Ｎｏ．  １，  ｐ．  ３  （２０１３）．
［参考文献５］  Ｓａｌｉｍａｎｓ，  Ｔ．，  Ｇｏｏｄｆｅｌｌｏｗ，  Ｉ．，  Ｚａｒｅｍｂａ，  Ｗ．，  Ｃｈｅｕｎｇ，  Ｖ．，Ｒａｄｆｏｒｄ，  Ａ．  ａｎｄ  Ｃｈｅｎ，  Ｘ．：  Ｉｍｐｒｏｖｅｄ  ｔｅｃｈｎｉｑｕｅｓ  ｆｏｒｔｒａｉｎｉｎｇ  ｇａｎｓ，  Ａｄｖａｎｃｅｓ  ｉｎ  Ｎｅｕｒａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｐｒｏｃｅｓｓ−ｉｎｇ  Ｓｙｓｔｅｍｓ，  ｐｐ．２２３４−２２４２  （２０１６）．
【００５５】
この実施形態の例において、音質改善処理部１２２では、識別器Ｄより得られる８×１０２４次元の出力は１１畳み込みにより８×１次元のベクトルに変換された後、全接続の線形変換により最終的に１次元のスカラー値へ射影されるものとする。
【００５６】
この実施形態の例において、音質改善処理部１２２では、識別器Ｄの損失関数として、入力された信号がクリーン信号Ｓ５かＤＡＥにより生成された強調信号かを示すバイナリ値と識別器Ｄによる識別結果との平均二乗誤差を用いるものとする。
【００５７】
この実施形態の例において、音質改善処理部１２２では、学習時に、以下に示す敵対的学習の枠組みにより生成器と識別器Ｄを交互に最適化するものとする。
【００５８】
まず、音質改善処理部１２２では、識別器Ｄのパラメータを固定した上で、生成器Ｇのパラメータについて、以下の（１）式に示す目的関数を最小化するように更新することで、生成器Ｇの損失が減少するとともに識別器Ｄの損失が増大するように更新する。これにより、生成器Ｇでは、真のクリーン信号Ｓ５と区別できないような音質改善音Ｓ４を出力するように処理が最適化される。
【００５９】
【数１】
2020012980.tif 000003
ただし、ｚ、ｘｃ、ｘはそれぞれランダムノイズ，観測音、クリーン信号である。また、ｐＺ(Ｚ)、ｐｄａｔａ(ｘｃ)は、それぞれノイズベクトルｚ（ランダムノイズ）を生成するガウス分布と観測音ｘｃの経験分布である。さらに、λは敵対損失に対する復元損失の重みである。
【００６０】
以上のように、音質改善処理部１２２では、式（１）を最小化することで、真のクリーン信号Ｓ５と区別できないような強調信号を出力するように生成器Ｇが最適化される。
【００６１】
次に、音質改善処理部１２２は、生成器Ｇのパラメータを固定した上で、識別器Ｄのパラメータについてについて以下の（２）に示す目的関数を最小化するように更新することで、識別器Ｄの平均二乗損失が小さくなるように最適化する。これにより、音質改善処理部１２２では、真のクリーン信号Ｓ５とＤＡＥによる強調信号（音質改善音Ｓ４）とを正しく区別できるように識別器Ｄが最適化される。
【００６２】
【数２】
2020012980.tif 000004
ただし、ｐｄａｔａ（ｘ，ｘｃ）は観測音ｘｃと対応するクリーン信号のｘペアの経験分布である。
【００６３】
音質改善処理部１２２は、式（２）の損失関数を最小化することで，真のクリーン信号Ｓ５とＤＡＥによる強調信号（音質改善音Ｓ４）とを正しく区別できるように識別器が最適化される。
【００６４】
以上のように、音質改善処理部１２２では、生成器Ｇと識別器Ｄの最適化をミニバッチ単位で交互に行うことで生成器Ｇと識別器Ｄは互いに騙すように学習する。これにより、最終的に生成器Ｇはクリーン信号Ｓ５と区別できない高い品質の音質改善音Ｓ４（よりクリーン信号Ｓ５に近い音質改善音Ｓ４）を生成することが可能となる。
【００６５】
次に、図４を用いて、音質改善処理部１２２の運用時（ランタイム時）の動作を説明する。
【００６６】
図４に示すように、運用時に音質改善処理部１２２では、運用時には、ＳＥＧＡＮの枠組みにより学習した結果により得たパラメータが設定された生成器Ｇを用いて、目的音強調処理を行う。具体的には、生成器Ｇでは、参照信号（観測音Ｓ１及び非目的音分離音Ｓ３）を用いて、学習したパラメータに基づいて目的音分離音Ｓ２を処理することで、音質改善音Ｓ４を得る。
【００６７】
この実施形態では、音質改善処理部１２２では、ＳＥＧＡＮ（生成器Ｇ及び識別器Ｄを用いた敵対的ＤＡＥ）の枠組みを用いて目的音強調処理を行うことで、非線形処理から得られた目的音分離音に含まれる非線形ひずみを補正することができる。このとき、非線形処理により強調された目的音分離音Ｓ２は、非目的音（妨害音／雑音）の成分とともに目的音（目標音源）の成分もある程度抑圧されることに留意する必要がある。そのため、音質改善処理部１２２において、ＳＥＧＡＮの入力として非線形処理による目的音分離音Ｓ２を直接入力しても失われたクリーン信号Ｓ５の情報を補完することが困難である。そこで、音質改善処理部１２２では、失われた情報を補完するため、ＳＥＧＡＮの入力として、目的音分離音Ｓ２とともに観測音Ｓ１や非目的音分離音Ｓ３（非目的音情報）を参照信号として与えている。
【００６８】
このとき、目的音分離音Ｓ２に含まれる非線形ひずみは重畳雑音の性質に依存すると考えられるため、音質改善処理部１２２のＳＥＧＡＮに、参照信号として非目的音情報（非目的音分離音Ｓ３）を与えることで、元の信号（目的音分離音Ｓ２で失われた目的音の成分）を復元できる。また、音質改善処理部１２２におけるｎｏｉｓｅ−ａｗａｒｅ学習の枠組みは、従来の単チャネル信号を対象としたＳＥＧＡＮにおいても有効である。
【００６９】
次に、本願発明者が、この実施形態の収音装置１０（信号処理部１２）による目的音強調処理をシミュレーションにより検証（以下、「本検証」と呼ぶ）した際の環境モデル及び結果について説明する。
【００７０】
まず、単チャネル信号を用いたＳＥＧＡＮに参照信号を与えた時の影響についての検証（以下、「第１の本検証」と呼ぶ）を行ったので、第１の本検証の環境モデル及び結果について説明する。
【００７１】
図５は、第１の本検証及び後述する第２の本検証の環境モデルについて示した説明図である。
【００７２】
図５に示すように、第１の本検証では、２チャンネルのマイクロフォンｍｉｃ１、ｍｉｃ２により構成されるマイクロフォンアレイＭＡを５ｍ×５ｍの空間に設置し、マイクロフォンアレイＭＡの正面方向（目的音方向）に音声（目的音／目標音）の音源を設置し、妨害音（雑音／非目的音）の音源をマイクロフォンアレイＭＡの左側（マイクロフォンアレイＭＡから目的音の音源を見た場合の左側）に設置した環境モデルを用いた。
【００７３】
上述の通り、目的音分離処理部１２１では、目的音強調処理の方式として、位相基準の時間周波数マスキングに基づき正面方向を強調するＳＡＦＩＡを用いた。
【００７４】
図６は、第１の本検証及び後述する第２の本検証で用いる各信号の仕様について示した説明図である。
【００７５】
第１の本検証では、妨害音（雑音／非目的音）として、ＪＥＩＤＡ雑音コーパス（以下の参考文献６参照）に含まれる８種類の雑音（以下、「疑似雑音」とも呼ぶ）を用いた。具体的には、図６（ａ）に示すように、第１の本検証では、学習時の疑似雑音として、ＪＥＩＤＡ雑音コーパスにおいてＤＢｉｄが０９、１１、１３、１４、１８、２０、２６、２８の８種類の雑音を用いた。
［参考文献６］  Ｉｔａｈａｓｈｉ，  Ｓ．：  Ａ  ｎｏｉｓｅ  ｄａｔａｂａｓｅ  ａｎｄ  Ｊａｐａｎｅｓｅ  ｃｏｍｍｏｎｓｐｅｅｃｈ  ｄａｔａ  ｃｏｒｐｕｓ，  ＴＨＥ  ＪＯＵＲＮＡＬ  ＯＦ  ＴＨＥ  ＡＣＯＵＳ−ＴＩＣＡＬ  ＳＯＣＩＥＴＹ  ＯＦ  ＪＡＰＡＮ，  Ｖｏｌ．  ４７，  Ｎｏ．  １２，  ｐｐ．９５１−９５３  （１９９１）．
【００７６】
さらに、第１の本検証では、疑似的な目的音（目的音声）として、目的エリア（目的エリアの中心位置）とマイクロフォンｍｉｃ１、ｍｉｃ２との間のインパルス応答を予め用意したドライスソース発話（クリーン信号Ｓ５）の音に畳み込んだ音響信号（以下、「遠隔音」と呼ぶ）を作成した。すなわち、第１の本検証では、目的エリアとマイクロフォンｍｉｃ１との間のインパルス応答をドライソース発話に畳み込んだ音響信号（以下、「第１の遠隔音」と呼ぶ）と、目的エリアとマイクロフォンｍｉｃ２との間のインパルス応答をドライソース発話に畳み込んだ音響信号（以下、「第２の遠隔音」と呼ぶ）を作成した。
【００７７】
そして、第１の本検証では、第１及び第２の遠隔音に対し、疑似雑音を重畳することで、疑似的な観測音Ｓ１（マイクロフォン信号ｘ１、ｘ２）を作成した。すなわち、第１の本検証では、第１の遠隔音に疑似雑音を畳み込んだものをマイクロフォン信号ｘ１として生成し、第２の遠隔音に疑似雑音を畳み込んだものをマイクロフォン信号ｘ２として生成した。
【００７８】
第１の本検証では、音質改善処理部１２２の学習に用いる学習データとして、ＪＮＡＳ（以下の参考文献７参照）から雑音条件毎に２００発話ずつをドライソース発話として抽出し、８種類の疑似雑音を−１０ｄＢ、−５ｄＢ、０ｄＢ、５ｄＢ、１０ｄＢの５段階のパワー（条件）で重畳することで計８０００発話分の観測音Ｓ１を生成した。また、第１の本検証では、テストセットとして、ＪＮＡＳから学習データに含まない発話を条件毎に１０発話ずつドライソース発話として抽出し、学習データとは異なる１種類の雑音（図６（ａ）に示すＪＥＩＤＡ雑音コーパスにおけるＤＢｉｄ３０の雑音）を−１０ｄＢ、−５ｄＢ、０ｄＢ、５ｄＢ、１０ｄＢの５段階のパワーで重畳することで計５００発話分の観測音Ｓ１を作成した。
［参考文献７］  Ｉｔｏｕ，  Ｋ．，  Ｙａｍａｍｏｔｏ，  Ｍ．，  Ｔａｋｅｄａ，  Ｋ．，  Ｔａｋｅｚａｗａ，  Ｔ．，Ｍａｔｓｕｏｋａ，  Ｔ．，  Ｋｏｂａｙａｓｈｉ，  Ｔ．，  Ｓｈｉｋａｎｏ，  Ｋ．  ａｎｄ  Ｉｔａｈａｓｈｉ，Ｓ．：  ＪＮＡＳ：  Ｊａｐａｎｅｓｅ  ｓｐｅｅｃｈ  ｃｏｒｐｕｓ  ｆｏｒ  ｌａｒｇｅ  ｖｏｃａｂｕｌａｒｙｃｏｎｔｉｎｕｏｕｓ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ  ｒｅｓｅａｒｃｈ，  Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅＡｃｏｕｓｔｉｃａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ｊａｐａｎ  （Ｅ），  Ｖｏｌ．  ２０，  Ｎｏ．  ３，  ｐｐ．１９９−２０６  （１９９９）．
【００７９】
上述の通り、第１の本検証の目的音分離処理部１２１では、非線形目的音強調手法として、位相を基準としたＳＡＦＩＡを用いた。また、第１の本検証の目的音分離処理部１２１では、観測された２チャンネル信号（マイクロフォン信号ｘ１、ｘ２）の位相比が０．１以上の時間周波数成分のみ抽出し得られた信号を目的音分離音Ｓ２とし、残りの成分を抽出し得られた信号を非目的音分離音Ｓ３とした。
【００８０】
第１の本検証では、算出した音質改善音Ｓ４の品質を評価するため、目的音強調信号とクリーン信号Ｓ５とのＳＤＲ（Ｓｉｇｎａｌ  Ｄｉｓｔｏｒｔｉｏｎ  Ｒａｔｅ）を算出した。第１の本検証では、ＳＤＲの算出にはＢＳＳ  Ｅｖａｌ  ｔｏｏｌｂｏｘ（以下の参考文献１０参照）を用いた。また、第１の本検証では、算出した音質改善音Ｓ４知覚品質を評価するため、ＩＴＵ  ｓｔａｎｄａｒｄ（以下の参考文献１１参照）に基づきＰＥＳＱ（ａ  ｐｅｒｃｅｐｔｕａｌ  ｅｖａｌｕａｔｉｏｎ  ｏｆ  ｓｐｅｅｃｈ  ｑｕａｌｉｔｙ）を算出した。
［参考文献８］  Ａｏｋｉ，Ｍ．，Ｏｋａｍｏｔｏ，Ｍ．，Ａｏｋｉ，Ｓ．，Ｍａｔｓｕｉ，Ｈ．，Ｓａｋｕｒａｉ，Ｔ．ａｎｄ  Ｋａｎｅｄａ，Ｙ．：Ｓｏｕｎｄ  ｓｏｕｒｃｅ  ｓｅｇｒｅｇａｔｉｏｎ  ｂａｓｅｄ  ｏｎｅｓｔｉｍａｔｉｎｇ  ｉｎｃｉｄｅｎｔ  ａｎｇｌｅ  ｏｆ  ｅａｃｈ  ｆｒｅｑｕｅｎｃｙ  ｃｏｍｐｏｎｅｎｔ  ｏｆｉｎｐｕｔ  ｓｉｇｎａｌｓ  ａｃｑｕｉｒｅｄ  ｂｙ  ｍｕｌｔｉｐｌｅ  ｍｉｃｒｏｐｈｏｎｅｓ，Ａｃｏｕｓ−ｔｉｃａｌ  ｓｃｉｅｎｃｅ  ａｎｄ  ｔｅｃｈｎｏｌｏｇｙ，Ｖｏｌ．２２，Ｎｏ．２，ｐｐ．１４９−１５７（２００１）．
［参考文献９］  Ｋａｔａｇｉｒｉ，Ｋ．，Ｙａｍａｇｕｃｈｉ，Ｔ．，Ｙａｚｕ，Ｔ．ａｎｄ  Ｎｏｎａｋａ，Ｍ．：Ｍｕｌｔｉｐｌｅ  ｂｅａｍ−ｆｏｒｍｉｎｇ  ａｒｅａ  ｓｏｕｎｄ  ｅｎｈａｎｃｅｍｅｎｔ（ＭＵＢＡＳＥ）  ａｎｄ  ｓｔｅｒｅｏｐｈｏｎｉｃ  ａｒｅａ  ｓｏｕｎｄ  ｒｅｐｒｏｄｕｃ−ｔｉｏｎ（ＳＡＳＲ）  ｓｙｓｔｅｍ，ＳＩＧＧＲＡＰＨ  Ａｓｉａ  ２０１５  ＥｍｅｒｇｉｎｇＴｅｃｈｎｏｌｏｇｉｅｓ，ＡＣＭ，ｐ．１７（２０１５）．
［参考文献１０］  Ｖｉｎｃｅｎｔ，Ｅ．，Ｇｒｉｂｏｎｖａｌ，Ｒ．ａｎｄ  Ｆｅｖｏｔｔｅ，Ｃ．：Ｐｅｒｆｏｒｍａｎｃｅｍｅａｓｕｒｅｍｅｎｔ  ｉｎ  ｂｌｉｎｄ  ａｕｄｉｏ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ，  ＩＥＥＥｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  ａｕｄｉｏ，  ｓｐｅｅｃｈ，ａｎｄ  ｌａｎｇｕａｇｅ  ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．１４，Ｎｏ．４，ｐｐ．１４６２−１４６９（２００６）．
［参考文献１１］  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ，Ｉ．−Ｔ．：Ｐｅｒｃｅｐｔｕａｌ  ｅｖａｌｕａｔｉｏｎ  ｏｆ  ｓｐｅｅｃｈｑｕａｌｉｔｙ（ＰＥＳＱ）：Ａｎ  ｏｂｊｅｃｔｉｖｅ  ｍｅｔｈｏｄ  ｆｏｒ  ｅｎｄ−ｔｏ−ｅｎｄｓｐｅｅｃｈ  ｑｕａｌｉｔｙ  ａｓｓｅｓｓｍｅｎｔ  ｏｆ  ｎａｒｒｏｗ−ｂａｎｄ  ｔｅｌｅｐｈｏｎｅ  ｎｅｔ−ｗｏｒｋｓ  ａｎｄ  ｓｐｅｅｃｈ  ｃｏｄｅｃｓ，  Ｒｅｃ．  ＩＴＵ−Ｔ  Ｐ．８６２（２００１）．
【００８１】
第１の本検証では、音質改善処理部１２２に適用するＳＥＧＡＮの入力として参照信号（観測音Ｓ１及び非目的音分離音Ｓ３）を用いることの有効性を評価した。
【００８２】
第１の本検証では、図６（ｂ）に示すように音質改善処理部１２２に適用するＳＥＧＡＮとして以下の４つのモデルを評価した。
【００８３】
第１の本検証の第１のモデルは、オリジナルの参照信号を用いないＳＥＧＡＮ（以下、「ＳＥＧＡＮモデル」と呼ぶ）を適用したモデルである。
【００８４】
第１の本検証の第２のモデルは、参照信号として、ドライソースに畳み込んだ雑音と完全に時間のアライメントがとれているオラクルな雑音信号を用いたＳＥＧＡＮ（以下、「ＳＥＧＡＮ−ｏｒａｃｌｅモデル」と呼ぶ）を適用したモデルである。
【００８５】
第１の本検証の第３のモデルは、参照信号として、雑音の種類は一致するが時間のアライメントがとれていない雑音信号を用いたＳＥＧＡＮ（以下、「ＳＥＧＡＮ−ｍａｔｃｈｅｄ」と呼ぶ）を適用したモデルである。
【００８６】
第１の本検証の第４のモデルは、参照信号として、ＳＡＦＩＡにより得られた雑音強調信号を用いたＳＥＧＡＮ（以下、「ＳＥＧＡＮ−ｅｎｈａｎｃｅｄ」と呼ぶ）を適用したモデルである。
【００８７】
次に、第１の本検証において、上述の第１〜第４の各モデルを適用した音質改善処理部１２２により得られた音質改善音Ｓ４をＳＤＲとＰＥＳＱにより評価した結果について説明する。
【００８８】
図７は、第１の本検証において、上述の第１〜第４の各モデルの音質改善処理部１２２により得られた音質改善音Ｓ４をＳＤＲにより評価した結果について示している。
【００８９】
図７（ａ）〜（ｅ）は、それぞれ重畳する疑似雑音の条件（−１０ｄＢ、−５ｄＢ、０ｄＢ、５ｄＢ、１０ｄＢ）ごとのＰＥＳＱ（第１〜第４の各モデルにより得られた音質改善音のＰＥＳＱ）を棒グラフの形式で示している。図７（ａ）〜（ｅ）のそれぞれでは、観測音Ｓ１のＰＥＳＱと共に第１〜第４の各モデルにより得られた音質改善音のＰＥＳＱを棒グラフの形式で示している。
【００９０】
図８（ａ）〜（ｅ）は、それぞれ重畳する疑似雑音の条件（−１０ｄＢ、−５ｄＢ、０ｄＢ、５ｄＢ、１０ｄＢ）ごとのＳＤＲ（観測音Ｓ１及び第１〜第４の各モデルにより得られた音質改善音のＳＤＲ）を棒グラフの形式で示している。図８（ａ）〜（ｅ）のそれぞれでは、観測音Ｓ１のＳＤＲと共に第１〜第４の各モデルにより得られた音質改善音Ｓ４のＳＤＲを棒グラフの形式で示している。
【００９１】
次に図７、図８の検証結果に基づく第１の本検証における第１〜第４の各モデルの評価結果について説明する。
【００９２】
図７、図８の検証結果から、まずＳＥＧＡＮを適用した各モデルにより得られた音質改善音Ｓ４は、観測音Ｓ１に比べＳＤＲ、ＰＥＳＱともに品質が大幅に改善されたことがわかる。さらに、図７、図８の検証結果から、ＳＥＧＡＮの入力に参照信号を用いた場合、いずれの参照信号であっても性能が向上したことがわかる。特に、オラクル信号を参照信号として用いたＳＥＧＡＮ−ｏｒａｃｌｅモデルでは最も高い性能が得られた。これはオラクルな雑音信号と観測音を入力することで、ＳＥＧＡＮにより２信号間の差分を算出するネットワークが学習できることを示している。しかし、実際には時間のアライメントがとれているオラクルな雑音信号は利用できないため代替手法が必要となるが、第１の本検証の結果からマッチ雑音信号や強調信号を用いた場合でも、ある程度の効果が得られることがわかる。さらにまた、図７、図８の検証結果から、時間のアライメントが取れた雑音信号を時間周波数マスキング等により推定することでさらなる性能改善ができることがわかる。
【００９３】
次に、本願発明者が、第１〜第４の各モデルにより得られた音質改善音Ｓ４のスペクトログラム（図示せず）を観測した結果について説明する。本願発明者が、上述のスペクトルを観測した結果、ＳＥＧＡＮモデルではドライソースに存在しない冗長な成分が発生していることがわかった。一方、ｍａｔｃｈｅｄ雑音を参照信号として用いるＳＥＧＡＮ−ｍａｔｃｈｅｄモデルでは当該成分が抑圧され、さらにｅｎｈａｎｃｅｄ雑音信号を参照信号として用いるＳＥＧＡＮ−ｅｎｈａｎｃｅｄモデルでは当該成分が完全に消失していることがわかった。この結果から、雑音信号を参照信号として用いることで音質改善処理部１２２（ＳＥＧＡＮ）の性能が改善できることがわかった。
【００９４】
次に、音質改善処理部１２２で、ＳＡＦＩＡにより得られた強調音声に対しＳＥＧＡＮを適用した場合における非線形ひずみ抑圧性能の検証（以下、「第２の本検証」と呼ぶ）を行った。以下、第２の本検証の環境及び結果について説明する。
【００９５】
以下、第２の本検証の条件について第１の本検証との相違点のみを説明する。第２の本検証では、音質改善処理部１２２に適用するＳＥＧＡＮとして、図６（ｂ）に示す以下の５つのモデルを評価した。
【００９６】
第２の本検証の第１のモデルは、いずれの参照信号も用いない従来のＳＥＧＡＮ（以下、「ＳＡＦＩＡ−ＳＥＧＡＮ」と呼ぶ）である。ただし、第１のモデルでは、ＳＥＧＡＮの入力としてＳＡＦＩＡにより得られた目的音分離音Ｓ２を用いるものとする。
【００９７】
第２の本検証の第２のモデルは、参照信号としてオラクルな雑音信号を用いたＳＡＦＩＡ−ＳＥＧＡＮ（以下、「ＳＡＦＩＡ−ＳＥＧＡＮ−ｏｒａｃｌｅ」と呼ぶ）である。
【００９８】
第２の本検証の第３のモデルは、種類のみが一致した雑音信号を参照信号としたＳＡＦＩＡ−ＳＥＧＡＮ（以下、「ＳＡＦＩＡ−ＳＥＧＡＮ−ｍａｔｃｈｅｄ」と呼ぶ）である。
【００９９】
第２の本検証の第４のモデルは、ＳＡＦＩＡにより雑音成分のみを強調した信号を参照信号としたＳＡＦＩＡ−ＳＥＧＡＮ（以下、「ＳＡＦＩＡ−ＳＥＧＡＮ−ｅｎｈａｎｃｅｄ」と呼ぶ）である。
【０１００】
第２の本検証の第５のモデルは、観測音を参照信号として用いるＳＡＦＩＡ−ＳＥＧＡＮ（以下、「ＳＡＦＩＡ−ＳＥＧＡＮ−ｏｂｓ」と呼ぶ）である。
【０１０１】
次に、第２の本検証において、上述の第１〜第５の各モデルの音質改善処理部１２２（ＳＥＧＡＮ）により得られた音質改善音Ｓ４をＳＤＲとＰＥＳＱにより評価した結果について説明する。
【０１０２】
図９は、第１の本検証において、上述の第１〜第５の各モデルの音質改善処理部１２２により得られた音質改善音Ｓ４をＰＥＳＱにより評価した結果について示している。
【０１０３】
図９（ａ）〜（ｅ）は、それぞれ重畳する疑似雑音の条件（−１０ｄＢ、−５ｄＢ、０ｄＢ、５ｄＢ、１０ｄＢ）ごとのＰＥＳＱ（第１〜第５の各モデルにより得られた音質改善音のＰＥＳＱ）を棒グラフの形式で示している。図９（ａ）〜（ｅ）のそれぞれでは、観測音Ｓ１のＰＥＳＱ、ＳＡＦＩＡにより得られた目的音分離音Ｓ２、及び第１〜第５の各モデルにより得られた音質改善音のＳＤＲを棒グラフの形式で示している。
【０１０４】
図１０（ａ）〜（ｅ）は、それぞれ重畳する疑似雑音の条件（−１０ｄＢ、−５ｄＢ、０ｄＢ、５ｄＢ、１０ｄＢ）ごとのＳＤＲ（観測音Ｓ１及び第１〜第５の各モデルにより得られた音質改善音のＳＤＲ）を棒グラフの形式で示している。図１０（ａ）〜（ｅ）のそれぞれでは、観測音Ｓ１のＳＤＲ、ＳＡＦＩＡにより得られた目的音分離音Ｓ２、及び第１〜第５の各モデルにより得られた音質改善音Ｓ４のＳＤＲを棒グラフの形式で示している。
【０１０５】
次に図９、図１０の検証結果に基づく第１〜第５の各モデルの評価結果について説明する。
【０１０６】
図９、図１０の検証結果から、まず、ＳＡＦＩＡによる目的音分離音Ｓ２に対しＳＥＧＡＮを適用することで、ＳＤＲ、ＰＥＳＱ共に品質が大幅に改善されたことがわかる。さらに、図９、図１０の検証結果から、ＳＡＦＩＡにより得られた非目的音分離音Ｓ３を参照信号として用いることで、ＳＤＲ、ＰＥＳＱ共に品質が改善されたことがわかる。これは、非線形処理により生じた非線形ひずみは雑音に依存しており、アライメントの取れた非目的音情報を与えることで情報の補完ができたためと考えられる。同様にオラクルな雑音信号を与えた場合に最も高い性能が得られたことからも非目的音情報が有用であることがわかる。
【０１０７】
図９、図１０の検証結果から、目的音分離音Ｓ２ではなく観測音Ｓ１をＳＥＧＡＮに直接入力した場合と異なり、ＳＡＦＩＡ−ＳＥＧＡＮのモデルの場合では、時間アライメントが取れていない雑音を参照信号として用いた際に若干性能が低下したことがわかる。そのため非線形ひずみの低減には雑音の種類ではなく雑音信号そのものが重要であると考えられる。
【０１０８】
また、図９、図１０の検証結果から、観測音Ｓ１を参照信号として用いた場合、ＰＥＳＱが向上する一方でＳＤＲは低下した。これは雑音（非目的音）と目的音（目標信号）の両方が含まれる観測音Ｓ１を参照信号として与えることで、失われた目的音の周波数成分を補完できたため非線形ひずみは軽減されたが、雑音に起因する成分が再生成しまったためＳＤＲが低下したと考えられる。
【０１０９】
次に、本願発明者が、第２の本検証（第１〜第５の各モデル）により得られた音質改善音Ｓ４のスペクトログラム（図示せず）を観測した結果について説明する。本願発明者が、上述のスペクトルを観測した結果、時間周波数マスキングは妨害信号成分のみならず目標信号成分も除去しており、ミュージカルノイズが発生していることがわかった。このような非線形ひずみが含まれる強調信号に対しＳＥＧＡＮを適用することで、失われた目標成分が復元されることがわかった。また、本願発明者が、上述のスペクトルを観測した結果、強調音源や観測音を参照信号として与えることで、失われた目標成分のさらなる復元が可能であることがわかった。
【０１１０】
以上のように、この実施形態の信号処理部１２（音質改善処理部１２２）では、時間周波数マスキングに基づく目的音強調により生じた非線形ひずみを敵対的生成ネットワークに基づくＤＡＥにより除去する手法の検討を行った。このとき、非目的音情報や観測音を参照信号として与えることで、強調音声の性能を向上できる。
【０１１１】
（Ａ−３）実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。
【０１１２】
この実施形態の信号処理部１２（音質改善処理部１２２）では、ＳＥＧＡＮの入力として目的音や非目的音情報を含んだ参照信号（観測音Ｓ１及び非目的音分離音Ｓ３）を与えることで、音質改善音Ｓ４の品質を大きく改善するという効果を奏する。特に、上述の本検証の結果に示すように、単チャネル信号を対象とした目的音強調処理でも従来のＳＥＧＡＮよりも高い性能を達成できる。さらに、上述の本検証の結果にしめされるように、時間周波数マスキングにより強調した信号にＳＥＧＡＮを適用することで、強調信号に含まれる非線形歪みを効果的に除去できる。これにより、この実施形態の信号処理部１２（音質改善処理部１２２）では、マルチチャネル信号を利用すればさらなる音質改善が達成できることを示した。
【０１１３】
（Ｂ）他の実施形態
本発明は、上記の実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【０１１４】
（Ｂ−１）上記の実施形態では、音響信号を捕捉する手段として２つのマイクロフォンｍｉｃ１、ｍｉｃ２を備える１つのマイクロフォンアレイＭＡで捕捉したマイクロフォン信号ｘ１、ｘ２を観測音としているが、観測音の仕様については限定されないものである。
【０１１５】
例えば、上記の実施形態において、マイクロフォンアレイの代わりにショットガンマイクなどの指向性マイクロフォンを使用するようにしてもよい。
【０１１６】
また、例えば、収音装置１０において、上記の実施形態において、複数のマイクロフォンアレイを用いて収音した音響信号を観測音Ｓ１とし、それぞれのマイクロフォンアレイで別々の方向から目的エリアへ指向性を向け、指向性を目的エリアで交差させることで目的エリアを音源とする目的音と、非目的エリアを音源とする雑音（非目的音）を強調する処理（エリア収音）により、目的音分離音Ｓ２及び非目的音分離音Ｓ３を取得するようにしてもよい（上記の参考文献９、及び以下の参考文献１２参照）。例えば、図１１に示すように、収音装置１０において、２つのマイクロフォンアレイＭＡ１、ＭＡ２の指向性を目的エリアで交差するように向けて目的エリアを音源とする目的音を強調した目的音分離音Ｓ２と、目的エリア以外の非目的エリアを音源とする雑音（非目的音）を強調（分離）した非目的音分離音Ｓ３を抽出するようにしてもよい。
［参考文献１２］浅野太著，“音響テクノロジーシリーズ１６  音のアレイ信号処理−音源の定位・追跡と分離−”，日本音響学会編，コロナ社，２０１１年２月２５日発行
【０１１７】
（Ｂ−２）上記の実施形態では、本発明の信号処理装置の処理対象を音響信号であるものとして説明したが、本発明の信号処理装置の処理対象は音響信号に限定されず、種々の信号（例えば、離散的な数列で表現可能な種々の信号）の処理に適用し得る。
【０１１８】
例えば、本発明の信号処理装置（信号処理部）を、入力された信号（波形）から、抽出すべき信号（例えば、画像信号やディジタル信号）の成分を分離（強調）して品質改善した信号（品質改善信号）を出力する装置として実現するようにしてもよい。具体的には、例えば、本発明の信号処理装置（信号処理部）を、無線アンテナが捕捉した電波の波形（ノイズとデジタル信号の成分を含む波形）から、デジタル信号の成分を分離（強調）して品質改善（よりクリーンな波形のデジタル信号に改善）する処理に適用してもよい。また、例えば、本発明の信号処理装置（信号処理部）を、ノイズを含む画像を表す画像信号（例えば、変換処理により離散的な数列に変換された画像信号）から、クリーンな画像を表す信号を分離して品質改善（よりノイズの少ないクリーンな画像を表す画像信号に改善）する処理に適用してもよい。
【０１１９】
（Ｂ−３）上記の実施形態において、信号処理部１２は、目的音分離処理部１２１及び音質改善処理部１２２を有しているが、信号処理部１２は、音質改善処理部１２２のみを有し、運用時の処理に必要な各信号（観測音Ｓ１、目的音分離音Ｓ２、非目的音分離音Ｓ３）を外部から取得するようにしてもよい。
【０１２０】
（Ｂ−４）上記の実施形態において、信号処理部１２の音質改善処理部１２２は、学習時の構成と運用時の構成の両方を備えているが、運用時の構成のみ（予め学習時の構成により学習したパラメータがセットされた生成器Ｇのみ）を備えるようにしてもよい。
【０１２１】
（Ｂ−５）上記の実施形態において、音質改善処理部１２２（生成器Ｇのエンコーダ２１０）に入力する参照信号に観測音Ｓ１と非目的音分離音Ｓ３が含まれる旨を説明したが、この参照信号には、観測音Ｓ１又は非目的音分離音Ｓ３の一方のみを含むようにしてもよい。
【符号の説明】
【０１２２】
１０…収音装置、１１…信号入力部、１２…信号処理部、１２１…目的音分離処理部、１２２…音質改善処理部、２１０…エンコーダ、２２０…デコーダ、２３０…潜在変数処理部、Ｄ…識別器、Ｄ１〜Ｄ３…識別処理部、Ｅ…誤差算出部、Ｓ１…観測音、Ｓ２…目的音分離音、Ｓ３…非目的音分離音、Ｓ４…音質改善音、Ｓ５…クリーン信号、ＭＡ…マイクロフォンアレイ、ｍｉｃ１、ｍｉｃ２…マイクロフォン。
【図１】
2020012980.tif 000005
【図２】
2020012980.tif 000006
【図３】
2020012980.tif 000007
【図４】
2020012980.tif 000008
【図５】
2020012980.tif 000009
【図６】
2020012980.tif 000010
【図７】
2020012980.tif 000011
【図８】
2020012980.tif 000012
【図９】
2020012980.tif 000013
【図１０】
2020012980.tif 000014
【図１１】
2020012980.tif 000015