(57)【要約】【課題】同一音源が支配的な時間周波数点の集合を求めるための埋め込みベクトルを出力することができるモデルを安定かつ短時間で学習することができる。【解決手段】複数の音源からなる音源信号のスペクトログラムに基づいて、ＣＮＮであるニューラルネットワークにより出力される時間周波数点の各々に対する埋め込みベクトルについて、同一音源が支配的な時間周波数点に対する埋め込みベクトルが類似するように、ニューラルネットワークのパラメータを学習する。【選択図】図１
2019144511.tif 000002
【特許請求の範囲】
【請求項１】
音源信号のスペクトログラムを入力として時間周波数点の各々に対する埋め込みベクトルを出力するニューラルネットワークを学習する音響信号モデル学習装置であって、
同一音源が支配的な時間周波数点の集合が既知の、複数の音源からなる音源信号のスペクトログラムに基づいて、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）である前記ニューラルネットワークにより出力される時間周波数点の各々に対する埋め込みベクトルについて、同一音源が支配的な時間周波数点に対する埋め込みベクトルが類似するように、前記ニューラルネットワークのパラメータを学習する学習部、
を含む音響信号モデル学習装置。
【請求項２】
前記ニューラルネットワークの各畳み込み層は、ＧＬＵ（Ｇａｔｅｄ  Ｌｉｎｅａｒ  Ｕｎｉｔ）を用いて構成される請求項１記載の音響信号モデル学習装置。
【請求項３】
前記畳み込み層の出力ｈｌは、以下の式で表わされる請求項２記載の音響信号モデル学習装置。
【数１】
2019144511.tif 000027
ただし、σは要素毎シグモイド関数を表し、
2019144511.tif 000028
は前記畳み込み層のパラメータである。
【請求項４】
各構成音が混合された音源信号のスペクトログラムを入力として受け付ける入力部と、
予め学習された、
音源信号のスペクトログラムを入力として時間周波数点の各々に対する埋め込みベクトルを出力する、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いたニューラルネットワークに、前記入力部により受け付けた前記音源信号のスペクトログラムを入力して、前記時間周波数点の各々に対する埋め込みベクトルを求め、前記時間周波数点の各々に対する埋め込みベクトルをクラスタリングすることにより、同一音源が支配的な時間周波数点の集合を求めるクラスタリング部と、
を含み、
前記ニューラルネットワークは、
同一音源が支配的な時間周波数点の集合が既知の、複数の音源からなる音源信号のスペクトログラムに基づいて、前記ニューラルネットワークにより出力される時間周波数点の各々に対する埋め込みベクトルについて、同一音源が支配的な時間周波数点に対する埋め込みベクトルが類似するように予め学習されたものである音響信号解析装置。
【請求項５】
音源信号のスペクトログラムを入力として時間周波数点の各々に対する埋め込みベクトルを出力するニューラルネットワークを学習する音響信号モデル学習装置における音響信号モデル学習方法であって、
学習部が、同一音源が支配的な時間周波数点の集合が既知の、複数の音源からなる音源信号のスペクトログラムに基づいて、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）である前記ニューラルネットワークにより出力される時間周波数点の各々に対する埋め込みベクトルについて、同一音源が支配的な時間周波数点に対する埋め込みベクトルが類似するように、前記ニューラルネットワークのパラメータを学習するステップ、
を含む音響信号モデル学習方法。
【請求項６】
入力部が、各構成音が混合された音源信号のスペクトログラムを入力として受け付けるステップと、
クラスタリング部が、予め学習された、音源信号のスペクトログラムを入力として時間周波数点の各々に対する埋め込みベクトルを出力する、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いたニューラルネットワークに、前記入力部により受け付けた前記音源信号のスペクトログラムを入力して、前記時間周波数点の各々に対する埋め込みベクトルを求め、前記時間周波数点の各々に対する埋め込みベクトルをクラスタリングすることにより、同一音源が支配的な時間周波数点の集合を求めるステップと、
を含み、
前記ニューラルネットワークは、
同一音源が支配的な時間周波数点の集合が既知の、複数の音源からなる音源信号のスペクトログラムに基づいて、前記ニューラルネットワークにより出力される時間周波数点の各々に対する埋め込みベクトルについて、同一音源が支配的な時間周波数点に対する埋め込みベクトルが類似するように予め学習されたものである音響信号解析方法。
【請求項７】
コンピュータを、請求項１〜請求項３のいずれか１項に記載の音響信号モデル学習装置の各部として機能させるためのプログラム。
【請求項８】
コンピュータを、請求項４に記載の音響信号解析装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号モデル学習装置、音響信号解析装置、方法、及びプログラムに係り、特に、音響信号を解析するための音響信号モデル学習装置、音響信号解析装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
音響信号の時間周波数表現（以後、スペクトログラム）において各時間周波数点で（最も）支配的な音源を識別する問題を音響情景分析問題と呼ぶ。各時間周波数点で支配的な音源を識別することができれば、同一音源が支配的な時間周波数点の成分のみを通過させる時間周波数マスクにより、音源分離を行うことができる。
【０００３】
近年、音響情景分析問題に対しニューラルネットワーク（Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ；ＮＮ）を適用する手法が多数提案されている。例えば、スペクトログラムを入力として各時間周波数点の音源ラベル（あるいはその事後分布）を出力するＮＮを考え、各時間周波数点に音源ラベルのついたスペクトログラムを教師データとしてＮＮのパラメータを学習することで、テストデータのスペクトログラムに対し各時間周波数点の周辺のテクスチャを手がかりに音源ラベルを予測することができる。このアプローチでは教師データを用意する際、各スペクトログラム間で音源ラベルが一貫していない場合、性能低下に直結する。例えば、音源Ａと音源Ｂからなる混合信号のスペクトログラムＡとスペクトログラムＢを学習データとして、スペクトログラムＡでは音源Ａにラベル１、音源Ｂにラベル２が付与され、逆にスペクトログラムＢでは音源Ａにラベル２、音源Ｂにラベル１が付与されていたとすると、このような学習データで学習された識別器は、テストデータのスペクトログラムの各点で音源Ａと音源Ｂを識別する能力をもちえない。このため、教師データを準備する際は、各スペクトログラム間で一貫したラベル（同一音源には必ず同一ラベル）を慎重に付与する必要があり、利用場面によっては難点となりえる。例えば、音声を対象とした音源分離タスクを想定した場合、発話データの一つ一つに手動で話者ラベルを割り当てるプロセスは、教師データが多量になるほど多大な労力を要する。これに対し、各時間周波数点に付与された音源ラベルを用いる代わりに、各スペクトログラムの時間周波数点のペアごとに支配的な音源が同一かどうかを示した（同一なら１、異なるなら０とした）ラベルのみをもとに音源ごとの時間周波数マスクを推定することを可能にする深層クラスタリングと呼ぶ方法が提案されている（非特許文献１）。このようなラベルの付与にかかる労力は、全データ間で一貫した音源ラベルを付与する労力に比べて小さく済むため、実用上のメリットが大きい。この方法では、時間周波数点ごとに埋め込みベクトルを考え、同一音源が支配的な時間周波数点の埋め込みベクトルが互いに近接するように時間周波数点特徴から埋め込みベクトルへの写像を学習することで、テスト時に埋め込みベクトルにクラスタリングを行うことにより同一音源が支配的な時間周波数点の集合を得ることができる。これにより、音源分離を行うための各音源の時間周波数マスクを構成することができる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】J. R. Hershey, Z. Chen, J. Le Roux, S. Watanabe, "Deep clustering: Discriminative embeddings for segmentation and separation," in Proc. ICASSP, pp. 31-35, 2016.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の深層クラスタリング法では、埋め込みベクトルへの写像関数として再帰型ＮＮ（Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ；ＲＮＮ）の一種である双方向長短期記憶（Ｂｉｄｉｒｅｃｔｉｏｎａｌ  Ｌｏｎｇ  Ｓｈｏｒｔ−Ｔｅｒｍ  Ｍｅｍｏｒｙ；ＢＬＳＴＭ）ネットワークが用いられていたが、ＲＮＮベースのネットワークは多層になると、学習が安定しない、学習に時間がかかる、過学習しやすい、などの問題が生じることが知られている。
【０００６】
本発明は、上記問題点を解決するために成されたものであり、同一音源が支配的な時間周波数点の集合を求めるための埋め込みベクトルを出力することができるモデルを安定かつ短時間で学習することができる音響信号モデル学習装置、方法、及びプログラムを提供することを目的とする。
また、同一音源が支配的な時間周波数点の集合を精度よく求めることができる音響信号解析装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、第１の発明に係る音響信号モデル学習装置は、音源信号のスペクトログラムを入力として時間周波数点の各々に対する埋め込みベクトルを出力するニューラルネットワークを学習する音響信号モデル学習装置であって、同一音源が支配的な時間周波数点の集合が既知の、複数の音源からなる音源信号のスペクトログラムに基づいて、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）である前記ニューラルネットワークにより出力される時間周波数点の各々に対する埋め込みベクトルについて、同一音源が支配的な時間周波数点に対する埋め込みベクトルが類似するように、前記ニューラルネットワークのパラメータを学習する学習部、を含んで構成されている。
【０００８】
また、第２の発明に係る音響信号解析装置は、各構成音が混合された音源信号のスペクトログラムを入力として受け付ける入力部と、予め学習された、音源信号のスペクトログラムを入力として時間周波数点の各々に対する埋め込みベクトルを出力する、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いたニューラルネットワークに、前記入力部により受け付けた前記音源信号のスペクトログラムを入力して、前記時間周波数点の各々に対する埋め込みベクトルを求め、前記時間周波数点の各々に対する埋め込みベクトルをクラスタリングすることにより、同一音源が支配的な時間周波数点の集合を求めるクラスタリング部と、を含み、前記ニューラルネットワークは、同一音源が支配的な時間周波数点の集合が既知の、複数の音源からなる音源信号のスペクトログラムに基づいて、前記ニューラルネットワークにより出力される時間周波数点の各々に対する埋め込みベクトルについて、同一音源が支配的な時間周波数点に対する埋め込みベクトルが類似するように予め学習されたものである。
【０００９】
また、第３の発明に係る音響信号モデル学習方法は、音源信号のスペクトログラムを入力として時間周波数点の各々に対する埋め込みベクトルを出力するニューラルネットワークを学習する音響信号モデル学習装置における音響信号モデル学習方法であって、学習部が、同一音源が支配的な時間周波数点の集合が既知の、複数の音源からなる音源信号のスペクトログラムに基づいて、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）である前記ニューラルネットワークにより出力される時間周波数点の各々に対する埋め込みベクトルについて、同一音源が支配的な時間周波数点に対する埋め込みベクトルが類似するように、前記ニューラルネットワークのパラメータを学習するステップ、を含んで実行することを特徴とする。
【００１０】
また、第４の発明に係る音響信号解析方法は、入力部が、各構成音が混合された音源信号のスペクトログラムを入力として受け付けるステップと、クラスタリング部が、予め学習された、音源信号のスペクトログラムを入力として時間周波数点の各々に対する埋め込みベクトルを出力する、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いたニューラルネットワークに、前記入力部により受け付けた前記音源信号のスペクトログラムを入力して、前記時間周波数点の各々に対する埋め込みベクトルを求め、前記時間周波数点の各々に対する埋め込みベクトルをクラスタリングすることにより、同一音源が支配的な時間周波数点の集合を求めるステップと、を含んで実行することを特徴とし、前記ニューラルネットワークは、同一音源が支配的な時間周波数点の集合が既知の、複数の音源からなる音源信号のスペクトログラムに基づいて、前記ニューラルネットワークにより出力される時間周波数点の各々に対する埋め込みベクトルについて、同一音源が支配的な時間周波数点に対する埋め込みベクトルが類似するように予め学習されたものである。
【００１１】
また、第５の発明に係るプログラムは、コンピュータを、第１の発明に係る音響信号モデル学習装置の各部として機能させるためのプログラムである。
【００１２】
また、第６の発明に係るプログラムは、コンピュータを、第２の発明に係る音響信号解析装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１３】
本発明の音響信号モデル学習装置、方法、及びプログラムによれば、同一音源が支配的な時間周波数点の集合が既知の、複数の音源からなる音源信号のスペクトログラムに基づいて、ＣＮＮであるニューラルネットワークにより出力される時間周波数点の各々に対する埋め込みベクトルについて、同一音源が支配的な時間周波数点に対する埋め込みベクトルが類似するように、ニューラルネットワークのパラメータを学習することにより、同一音源が支配的な時間周波数点の集合を求めるための埋め込みベクトルを出力することができるモデルを安定かつ短時間で学習することができる、という効果が得られる。
本発明の音響信号解析装置、方法、及びプログラムによれば、予め学習された、音源信号のスペクトログラムを入力として時間周波数点の各々に対する埋め込みベクトルを出力する、ＣＮＮを用いたニューラルネットワークに、入力部２１０により受け付けた音源信号のスペクトログラムを入力して、時間周波数点の各々に対する埋め込みベクトルを求め、時間周波数点の各々に対する埋め込みベクトルをクラスタリングすることにより、同一音源が支配的な時間周波数点の集合を求めることで、同一音源が支配的な時間周波数点の集合を精度よく求めることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態に係る音響信号モデル学習装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係る音響信号モデル学習装置における音響信号モデル学習処理ルーチンを示すフローチャートである。
【図３】本発明の実施の形態に係る音響信号解析装置の構成を示すブロック図である。
【図４】本発明の実施の形態に係る音響信号解析装置における音響信号解析処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１６】
本発明の実施の形態では、上記ＲＮＮの難点を解決するため、埋め込みベクトルへの写像関数として畳み込みＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ；ＣＮＮ）を用いた深層クラスタリング法を提案する。具体的には、１次元ＣＮＮ又は  ２次元ＣＮＮ、Ｄｉｌａｔｅｄ ＣＮＮ、ゲート付きＣＮＮ（Ｇａｔｅｄ  Ｌｉｎｅａｒ  Ｕｎｉｔ；ＧＬＵ）、Ｓｔｒｉｄｅｄ ＣＮＮ、及びスキップアーキテクチャなどを組み合わせたネットワークアーキテクチャを用いて、埋め込みベクトルへの写像関数としてのＣＮＮを構成する。
【００１７】
＜既存手法＞
【００１８】
まず、本発明の実施の形態の前提となる既存手法である深層クラスタリング法について説明する。
【００１９】
Ｃ個の音源からなる混合信号のスペクトログラムをベクトル化したものを
2019144511.tif 000003
とする。ただし、ｎは時間周波数点（ｆ，ｔ）に対応するインデックスを表し、Ｎは時間周波数点の総数Ｆ×Ｔである。深層クラスタリング法ではまず、スペクトログラムの各点ｎごとにノルムが１のＤ次元埋め込みベクトル
2019144511.tif 000004
を考え、同一音源が支配的な時間周波数点の埋め込みベクトルが互いに近接するように写像関数
2019144511.tif 000005
を学習することが目標である。ただし、
2019144511.tif 000006
である。従来の深層クラスタリング法では、
2019144511.tif 000007
はＢＬＳＴＭによりモデル化されており、
2019144511.tif 000008
はそのパラメータを表す。ｘの各時間周波数点n で支配的な音源ラベルを示したｏｎｅ−ｈｏｔベクトル（行ベクトル）を
2019144511.tif 000009
とし、
2019144511.tif 000010
とすると、深層クラスタリング法では以下（１）式を最小化するように
2019144511.tif 000011
を学習する。
【００２０】
【数１】
2019144511.tif 000012
・・・（１）
【００２１】
ただし、
2019144511.tif 000013
はＦｒｏｂｅｎｉｕｓノルムを表す。
【００２２】
2019144511.tif 000014
は、ｎ行ｎ′列目の要素が時間周波数点ｎとｎ′において同一音源が支配的のときに１、そうでないときに０であるようなＮ×Ｎのバイナリ行列で、類似度行列と呼ぶ。Ｙの行は時間周波数点の番号、列が音源の番号に対応する。例えば、時間周波数点ｎで音源ｃが支配的であれば、Ｙのｎ行目の要素はｃ列目だけが１であり、あとは０となる。
【００２３】
前述のようにＹを教師データとして用意することが容易ではない場合でも
2019144511.tif 000015
については比較的容易に用意することができる点が本方式の動機である。
【００２４】
パラメータ
2019144511.tif 000016
の学習完了後、入力信号のスペクトログラムｘに対しＶを算出し、Ｖの各行ベクトルをデータベクトルとしてクラスタリング（ｋ平均クラスタリングなど）を行うことで、同一音源が支配的な時間周波数点の集合を得ることができる。
【００２５】
＜提案手法＞
【００２６】
上記のとおり従来の深層クラスタリング法では、埋め込みベクトルへの写像関数
2019144511.tif 000017
としてＲＮＮの一種であるＢＬＳＴＭネットワークが用いられていたが、ＲＮＮベースのネットワークは多層になると学習が安定しない、学習に時間がかかる、過学習しやすい、などの問題が生じることが知られている。そこで本発明の実施の形態では、
2019144511.tif 000018
をＣＮＮを用いてモデル化する。具体的には、１次元ＣＮＮ又は２次元ＣＮＮ、Ｄｉｌａｔｅｄ ＣＮＮ、ＧＬＵ、Ｓｔｒｉｄｅｄ ＣＮＮ、及びスキップアーキテクチャなどを組み合わせたネットワークアーキテクチャを用いて、埋め込みベクトルへの写像関数を構成する。
【００２７】
１次元ＣＮＮは、入力ｘをＦチャネルのサイズが１×Ｔの画像と見なし、出力ＶをＦ×Ｄチャネルのサイズが１×Ｔの画像と見なす場合に相当し、２次元ＣＮＮは、入力ｘを１チャネルのサイズがＦ×Ｔの画像と見なし、出力ＶをＤチャネルのサイズがＦ×Ｔの画像と見なす場合に相当する。ＧＬＵは、元々単語列の予測モデルとして最初に導入されたＣＮＮの一種で、同条件の実験でＬＳＴＭを超える単語予測性能を発揮することが報告されている。畳み込み層である第ｌ層の出力をｈｌとすると、ＧＬＵではｈｌは以下（２）式で与えられる。
【００２８】
【数２】
2019144511.tif 000019
・・・（２）
【００２９】
ただし、σは要素毎シグモイド関数を表し、
2019144511.tif 000020
が推定すべきパラメータとなる。
【００３０】
要素ごとに表記すると以下（３）式となる。
【００３１】
【数３】
2019144511.tif 000021
・・・（３）
【００３２】
上記（２）式の形の活性化関数をＧＬＵと呼ぶ。Ｓｔｒｉｄｅｄ ＣＮＮは、フィルタの畳み込みの適用間隔を１以外にすることを許容したＣＮＮである。ストライド幅が２のときは畳み込みの出力のサイズは１／２になる。また、Ｄｉｌａｔｅｄ ＣＮＮは、パラメータを増やさずに受容野の範囲を大きくするよう適当なフィルタの係数を０に固定したＣＮＮである。スキップアーキテクチャは、入力または第ｌ層の出力を、第ｌ＋１層の入力とすると共に、第ｌ＋ｌ′層（ｌ′＞１）の入力とするＮＮのアーキテクチャをさす。
【００３３】
＜本発明の実施の形態に係る音響信号モデル学習装置の構成＞
【００３４】
次に、本発明の実施の形態に係る音響信号モデル学習装置の構成について説明する。音響信号モデル学習装置は、音源信号のスペクトログラムを入力として時間周波数点の各々に対する埋め込みベクトルを出力するニューラルネットワークを学習する。図１に示すように、本発明の実施の形態に係る音響信号モデル学習装置１００は、ＣＰＵと、ＲＡＭと、後述する音響信号モデル学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この音響信号モデル学習装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。
【００３５】
入力部１０は、同一音源が支配的な時間周波数点の集合が既知の、複数の音源からなる音源信号のスペクトログラムを受け付ける。各時間周波数点に支配的な音源を識別するラベルが付与されているものとする。
【００３６】
演算部２０は、学習部３０を含んで構成されている。
【００３７】
学習部３０は、複数の音源からなる音源信号のスペクトログラムに基づいて、ＣＮＮであるニューラルネットワークにより出力される時間周波数点の各々に対する埋め込みベクトルについて、同一音源が支配的な時間周波数点に対する埋め込みベクトルが類似するように、ニューラルネットワークのパラメータを学習し、出力部５０に出力する。
【００３８】
本実施の形態では、ニューラルネットワークの各畳み込み層は、すべての畳み込み層が２次元、かつＤｉｌａｔｅｄ、かつＧＬＵである構成とする。ＧＬＵは、上記（２）式で表される畳み込み層の出力ｈｌを用いる。上記（１）式を最小にするようにパラメータ
2019144511.tif 000022
を学習する。なお、上記（１）式の
2019144511.tif 000023
は、入力されたスペクトグラムについての同一音源が支配的な時間周波数点の集合から定められる。Ｄｉｌａｔｅｄ、かつＧＬＵである構成は、上記（３）式の中のそれぞれの括弧内のｗとｖの一部の要素を０に固定した場合をさす。また、ニューラルネットワークは上記構成のほか、２次元に代えて１次元としてもよい。また、Ｓｔｒｉｄｅｄ、及びスキップアーキテクチャを採用してもよい。
【００３９】
＜本発明の実施の形態に係る音響信号モデル学習装置の作用＞
【００４０】
次に、本発明の実施の形態に係る音響信号モデル学習装置１００の作用について説明する。音響信号モデル学習装置１００は、図２に示す音響信号モデル学習処理ルーチンを実行する。
【００４１】
まず、ステップＳ１００では、同一音源が支配的な時間周波数点の集合が既知の、複数の音源からなる音源信号のスペクトログラムを受け付ける。各時間周波数点に支配的な音源を識別するラベルが付与されているものとする。
【００４２】
次に、ステップＳ１０２では、複数の音源からなる音源信号のスペクトログラムに基づいて、ＣＮＮであるニューラルネットワークにより出力される時間周波数点の各々に対する埋め込みベクトルについて、同一音源が支配的な時間周波数点に対する埋め込みベクトルが類似するように、ニューラルネットワークのパラメータを学習し、出力部５０に出力する。ニューラルネットワークの各畳み込み層は、すべての畳み込み層が２次元、かつＤｉｌａｔｅｄ、かつＧＬＵである構成とする。
【００４３】
以上説明したように、本発明の実施の形態に係る音響信号モデル学習装置によれば、同一音源が支配的な時間周波数点の集合が既知の、複数の音源からなる音源信号のスペクトログラムに基づいて、ＣＮＮであるニューラルネットワークにより出力される時間周波数点の各々に対する埋め込みベクトルについて、同一音源が支配的な時間周波数点に対する埋め込みベクトルが類似するように、ニューラルネットワークのパラメータを学習することにより、同一音源が支配的な時間周波数点の集合を求めるための埋め込みベクトルを出力することができるモデルを安定かつ短時間で学習することができる。
【００４４】
＜本発明の実施の形態に係る音響信号解析装置の構成＞
【００４５】
次に、本発明の実施の形態に係る音響信号解析装置の構成について説明する。図３に示すように、本発明の実施の形態に係る音響信号解析装置２００は、ＣＰＵと、ＲＡＭと、後述する音響信号解析処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この音響信号解析装置２００は、機能的には図３に示すように入力部２１０と、演算部２２０と、出力部２５０とを備えている。
【００４６】
入力部２１０は、各構成音が混合された音源信号のスペクトログラムを入力として受け付ける。
【００４７】
演算部２２０は、クラスタリング部２３０を含んで構成されている。
【００４８】
クラスタリング部２３０は、予め上記音響信号モデル学習装置１００で学習された、音源信号のスペクトログラムを入力として時間周波数点の各々に対する埋め込みベクトルを出力する、ＣＮＮを用いたニューラルネットワークに、入力部２１０により受け付けた音源信号のスペクトログラムを入力して、時間周波数点の各々に対する埋め込みベクトルを求める。また、クラスタリング部２３０は、時間周波数点の各々に対する埋め込みベクトルをクラスタリングすることにより、同一音源が支配的な時間周波数点の集合を求め、出力部２５０に出力する。
【００４９】
ニューラルネットワークの各畳み込み層は、すべての畳み込み層が２次元、かつＤｉｌａｔｅｄ、かつＧＬＵである構成とする。ＧＬＵは、上記（２）式で表される畳み込み層の出力ｈｌを用いる。
【００５０】
＜本発明の実施の形態に係る音響信号解析装置の作用＞
【００５１】
次に、本発明の実施の形態に係る音響信号解析装置２００の作用について説明する。音響信号解析装置２００は、図４に示す音響信号解析処理ルーチンを実行する。
【００５２】
まず、ステップＳ２００では、各構成音が混合された音源信号のスペクトログラムを入力として受け付ける。
【００５３】
次に、ステップＳ２０２では、予め上記音響信号モデル学習装置１００で学習された、ＣＮＮを用いたニューラルネットワークに、ステップＳ２００で受け付けた音源信号のスペクトログラムを入力して、時間周波数点の各々に対する埋め込みベクトルを求める。
【００５４】
次に、ステップＳ２０４では、上記ステップＳ２０２で求められた、時間周波数点の各々に対する埋め込みベクトルをクラスタリングすることにより、同一音源が支配的な時間周波数点の集合を求め、出力部２５０に出力する。
【００５５】
以上説明したように、本発明の実施の形態に係る音響信号解析装置によれば、予め学習された、音源信号のスペクトログラムを入力として時間周波数点の各々に対する埋め込みベクトルを出力する、ＣＮＮを用いたニューラルネットワークに、入力部２１０により受け付けた音源信号のスペクトログラムを入力して、時間周波数点の各々に対する埋め込みベクトルを求め、時間周波数点の各々に対する埋め込みベクトルをクラスタリングすることにより、同一音源が支配的な時間周波数点の集合を求めることで、同一音源が支配的な時間周波数点の集合を精度よく求めることができる。
【００５６】
＜実験結果＞
【００５７】
発明の実施の形態の手法における効果を確認するため、ＢＬＳＴＭを用いた場合とＣＮＮを用いた場合の深層クラスタリング法（本手法）の場合の音源分離性能を比較した。Ｗａｌｌ  Ｓｔｒｅｅｔ  Ｊｏｕｒｎａｌ  （ＷＳＪ０）コーパスの音声信号を用いて学習データ（３０時間分）、検証データ（１０時間分）、テストデータ（５時間分）を作成した。学習データと検証データには同一の話者の音声を含まないようにした。また、提案法が少量の学習データでも過学習を起こさず動作するかどうかを確認するため、小規模の学習データ（５．５時間分）と検証データ（０．５時間分）も作成した。各音声信号は８ｋＨｚにダウンサンプリングし、フレーム長２５４点、フレーム間隔１２７点のＳＴＦＴにより得られる対数振幅スペクトログラム（周波数ビン数はＦ＝１２８）をＴ＝１２８フレームごとに分割したものを各データベクトルｘ１，．．．，ｘＪとした。埋め込みベクトルの次元Ｄは２０とした。ＮＮのパラメータ学習はＡｄａｍ  ｏｐｔｉｍｉｚｅｒを用いて行った。ミニバッチサイズは８または１６とした。表１に本実験で提案法として採用したＣＮＮの具体的なアーキテクチャを示す。すべてのアーキテクチャにおいて畳み込み層の全層でＧＬＵを活性化関数として用いた。
【００５８】
【表１】
2019144511.tif 000024
表２に従来法と提案法によるＳｉｇｎａｌ−ｔｏ−Ｄｉｓｔｏｒｔｉｏｎ  Ｒａｔｉｏ（ＳＤＲ）改善値を示す。これらの実験結果より、
2019144511.tif 000025
に２次元／Ｄｉｌａｔｅｄ／ゲート付きＣＮＮ（ＧＬＵ）を用いた場合にＢＬＳＴＭを用いた場合を凌駕する結果が得られることを確認した。
【００５９】
【表２】
2019144511.tif 000026
なお、表１実験で採用したＣＮＮのアーキテクチャについては、"２Ｄ"と"１Ｄ"は１次元ＣＮＮと２次元ＣＮＮ、"Ｂ"はボトルネックアーキテクチャ、"ＤＣ"はＤｉｌａｔｅｄ ＣＮＮ、"ｗ／ｏｓｋｉｐ"と"ｗ／ｓｋｉｐ"はスキップアーキテクチャの有無、"ＢＮ"はバッチ正規化をそれぞれ表す。表中の表記"Ｎ~ｌ〜Ｍｌ、Ｄｌ、α、β、γ"は各層のフィルタサイズ〜Ｎ~ｌ×Ｍ~ｌ、出力チャネル数Ｄｌ、ｓｔｒｉｄｅ、ｄｉｌａｔｉｏｎ、バッチ正規化の有無を表す。また、ＤＣの列で、ｂｅｔａに対応する数字が２以上であればＤｉｌａｔｅｄの畳み込みであることを表す。１の場合は通常の畳み込みとなり、ｗの全要素が自由パラメータとなっている。
【００６０】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【符号の説明】
【００６１】
１０   入力部
２０   演算部
３０   学習部
５０   出力部
１００ 音響信号モデル学習装置
２００ 音響信号解析装置
２１０ 入力部
２２０ 演算部
２３０ クラスタリング部
２５０ 出力部
【図１】
2019144511.tif 000029
【図２】
2019144511.tif 000030
【図３】
2019144511.tif 000031
【図４】
2019144511.tif 000032