(57)【要約】【課題】各構成音が混合した混合信号から、各構成音を精度よく分離することができる。【解決手段】パラメータ推定部３６が、各構成音が混合された観測信号を入力として、予め学習されたデコーダによって生成される、構成音のスペクトログラムの分散と、スケールパラメータとから算出される、構成音のスペクトログラム、各構成音のスペクトログラムのスケールパラメータ、分離行列、及び観測信号を各構成音に分離した信号を用いて表される目的関数を最適化するように、分離行列と、潜在ベクトル系列と、スケールパラメータとを推定する。【選択図】図２
2020034870.tif 000002
【特許請求の範囲】
【請求項１】
各構成音が混合された観測信号を入力として、
各構成音についての、潜在ベクトル系列を入力として前記構成音のスペクトログラムの分散を生成するための予め学習されたデコーダによって生成される、前記構成音のスペクトログラムの分散と、スケールパラメータとから算出される、前記構成音のスペクトログラム、各構成音のスペクトログラムのスケールパラメータ、時間周波数領域で各構成音が混合された混合音を各構成音に分離するための分離行列、及び前記観測信号を各構成音に分離した信号を用いて表される目的関数を最適化するように、前記分離行列と、前記潜在ベクトル系列と、前記スケールパラメータとを推定するパラメータ推定部
を含む信号解析装置。
【請求項２】
各構成音についてのスペクトログラムに基づいて、前記構成音毎に、前記構成音のスペクトログラムを入力として潜在ベクトル系列を推定するエンコーダ、及び前記エンコーダを学習する学習部を更に含む請求項１記載の信号解析装置。
【請求項３】
前記エンコーダは、前記構成音のスペクトログラム及び前記構成音の属性を示す属性ラベルを入力として、前記潜在ベクトル系列を推定し、
前記デコーダは、前記潜在ベクトル系列及び前記構成音の属性ラベルを入力として、前記構成音のスペクトログラムの分散を推定し、
前記パラメータ推定部は、前記目的関数を最適化するように、前記分離行列と、前記潜在ベクトル系列と、前記属性ラベルと、前記スケールパラメータとを推定する請求項２記載の信号解析装置。
【請求項４】
パラメータ推定部が、各構成音が混合された観測信号を入力として、
各構成音についての、潜在ベクトル系列を入力として前記構成音のスペクトログラムの分散を生成するための予め学習されたデコーダによって生成される、前記構成音のスペクトログラムの分散と、スケールパラメータとから算出される、前記構成音のスペクトログラム、各構成音のスペクトログラムのスケールパラメータ、時間周波数領域で各構成音が混合された混合音を各構成音に分離するための分離行列、及び前記観測信号を各構成音に分離した信号を用いて表される目的関数を最適化するように、前記分離行列と、前記潜在ベクトル系列と、前記スケールパラメータとを推定する
信号解析方法。
【請求項５】
コンピュータを、請求項１〜請求項３のいずれか１項に記載の信号解析装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号解析装置、方法、及びプログラムに係り、特に、各構成音が混合された観測信号を入力として各構成音の信号に分離するための信号解析装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
ブラインド音源分離(Blind Source Separation; BSS) は、音源とマイクとの間の伝達関数が未知な状況下で、マイクアレイの入力から個々の音源信号を分離する技術である。周波数領域で定式化されるBSSのアプローチは、周波数ごとの音源分離の問題と周波数ごとに得られる分離信号がそれぞれどの音源のものであるかを対応付けるパーミュテーション整合と呼ぶ問題を併せて解く必要があるが、音源の混合過程を畳み込み演算を含まない瞬時混合系で表せるため比較的効率の高いアルゴリズムを実現できる利点がある。また、音源に関する時間周波数領域で成り立つ様々な仮定やマイクロホンアレーの周波数応答に関する仮定を有効活用できるようになる点も大きな利点である。
【０００３】
例えば、同一音源に由来する周波数成分の大きさは同期して時間変化しやすいという傾向を手がかりにしながら各周波数における音源分離とパーミュテーション整合を同時解決する独立ベクトル分析(Independent Vector Analysis; IVA) と呼ぶ独立成分分析(Independent Component Analysis;ICA)の拡張版が提案されている。近年、非負値行列因子分解(Non-negative Matrix Factorization; NMF) を用いたモノラル音源分離法を多チャンネル拡張した多チャンネルNMF(Multichannel NMF; MNMF) と呼ぶ枠組が提案されている。
【０００４】
NMFによるモノラル音源分離法では観測信号のパワー（あるいは振幅）スペクトログラムを非負値行列とみなし、これを二つの非負値行列の積で近似する。これは、各時間フレームで観測される混合信号のパワースペクトルが、時間変化する振幅によってスケーリングされた基底スペクトルの線形和によって近似することに相当する。MNMF法は、このアイディアをBSSにおける各音源のパワースペクトログラムのモデル化に導入した枠組である。この方法はIVA と同様音源のスペクトル構造を手がかりにしながら周波数ごとの音源分離とパーミュテーション整合を同時解決するアプローチとなっている。非特許文献１ではこの枠組を独立低ランク行列分析(Independent Low-Rank Matrix Analysis; ILRMA) と呼んでいる。
【０００５】
上述のとおりMNMFやILRMAでは各音源のパワースペクトログラムを二つの非負値行列の積（低ランクの行列）でモデル化するが、IVAは各音源のパワースペクトログラムを非負値ベクトルの直積（ランク１の行列）でモデル化した特殊ケースと見なせる。ILRMAのIVAに対する音源分離精度の優位性は、両モデル間の表現能力の差によるところが大きい。これはすなわち、より柔軟で高い表現能力をもつスペクトログラムモデルを導入することができれば、さらなる高精度化が望めることを示唆している。行列積では実際に表現可能なスペクトログラムの範囲は限定的である（音声をはじめ多くの音源のスペクトログラムを必ずしも正確に表現することができない）ため、パワースペクトログラムのモデル化には改良の余地が残されている。
【０００６】
非特許文献２では、行列積に代わるパワースペクトログラムモデルとしてニューラルネットワーク(Neural Network; NN)を用いることでILRMAの改良を試みた手法が提案されている。この手法では、単一フレームのパワースペクトルを出力するNNを各音源のサンプルを用いて事前学習し、音源分離アルゴリズムにおいて、学習したNNのフィードフォワード計算により各音源のパワースペクトログラムを更新する方法をとっている。NNがもつ豊かな関数表現能力により、非特許文献２の実験ではILRMA に比べて高い音源分離精度が得られている。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】北村大地, 小野順貴, 澤田宏, 亀岡弘和, 猿渡洋, "独立低ランク行列分析に基づくブラインド音源分離,"IEICE Technical Report, EA2017-56, vol. 117, no. 255, pp. 73-80, Oct. 2017.
【非特許文献２】北村大地, 角野隼斗, 高宗典玄, 高道慎之介, 猿渡洋, 小野順貴, "独立深層学習行列分析に基づく多チャネル音源分離の実験的評価," IEICE Technical Report, EA2017-104, vol. 117, no. 515, pp. 13-20, Mar. 2018.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、上記の手法では、各音源のパワースペクトログラムを更新する際に尤度関数を増大させる保証がないため、ILRMA やIVA と異なり音源分離アルゴリズムの収束性は保証されず、分離行列の局所解や停留点を得る保証がない点が解決すべき課題となっている。
【０００９】
本発明は、上記課題を解決するために成されたものであり、各構成音が混合した混合信号から、各構成音を精度よく分離することができる信号解析装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明に係る信号解析装置は、各構成音が混合された観測信号を入力として、各構成音についての、潜在ベクトル系列を入力として前記構成音のスペクトログラムの分散を生成するための予め学習されたデコーダによって生成される、前記構成音のスペクトログラムの分散と、スケールパラメータとから算出される、前記構成音のスペクトログラム、各構成音のスペクトログラムのスケールパラメータ、時間周波数領域で各構成音が混合された混合音を各構成音に分離するための分離行列、及び前記観測信号を各構成音に分離した信号を用いて表される目的関数を最適化するように、前記分離行列と、前記潜在ベクトル系列と、前記スケールパラメータとを推定するパラメータ推定部を含んで構成されている。
【００１１】
また、本発明に係る信号解析方法は、パラメータ推定部が、各構成音が混合された観測信号を入力として、各構成音についての、潜在ベクトル系列を入力として前記構成音のスペクトログラムの分散を生成するための予め学習されたデコーダによって生成される、前記構成音のスペクトログラムの分散と、スケールパラメータとから算出される、前記構成音のスペクトログラム、各構成音のスペクトログラムのスケールパラメータ、時間周波数領域で各構成音が混合された混合音を各構成音に分離するための分離行列、及び前記観測信号を各構成音に分離した信号を用いて表される目的関数を最適化するように、前記分離行列と、前記潜在ベクトル系列と、前記スケールパラメータとを推定する。
【００１２】
また、本発明に係るプログラムは、コンピュータを、上記発明に係る信号解析装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１３】
本発明の信号解析装置、方法、及びプログラムによれば、各構成音が混合された観測信号を入力として、予め学習されたデコーダによって生成される、前記構成音のスペクトログラムの分散と、スケールパラメータとから算出される、前記構成音のスペクトログラム、各構成音のスペクトログラムのスケールパラメータ、分離行列、及び前記観測信号を各構成音に分離した信号を用いて表される目的関数を最適化するように、前記分離行列と、前記潜在ベクトル系列と、前記スケールパラメータとを推定することにより、各構成音が混合した混合信号から、各構成音を精度よく分離することができる、という効果が得られる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態に係るエンコーダ及びデコーダの構成を説明するための概念図である。
【図２】本発明の実施の形態に係る信号解析装置の構成を示すブロック図である。
【図３】本発明の実施の形態に係る信号解析装置における学習処理ルーチンを示すフローチャートである。
【図４】本発明の実施の形態に係る信号解析装置におけるパラメータ推定処理ルーチンを示すフローチャートである。
【図５】（Ａ）音声のスペクトログラムを示す図、及び（Ｂ）行列積モデルを用いた手法により得られた音声のスペクトログラムを示す図である。
【図６】本発明の実施の形態の手法により得られた音声のスペクトログラムを示す図である。
【図７】本発明の実施の形態の手法と従来手法による、ＳＤＲ、ＳＩＲ、ＳＡＲの平均値を示す図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１６】
＜本発明の実施の形態に係る概要＞
まず、本発明の実施の形態における概要を説明する。
【００１７】
本発明の実施の形態に係る手法は、以下の特徴を備えている。
【００１８】
第一の特徴は、変分自己符号化器に基づく音源パワースペクトログラムのモデル化である。
【００１９】
変分自己符号化器(VariationalAutoencoder; VAE)または音源クラスラベルを補助入力とした条件付きVAE(ConditionalVAE; CVAE) により音源の複素スペクトログラムの生成モデルを記述し、ネットワークパラメータを各音源のサンプルを用いて事前学習する。エンコーダとデコーダのネットワークアーキテクチャを全層畳み込みネットワーク(Fully Convolutional Network; FCN) とすることで、非特許文献２のように単一フレームのみのパワースペクトルではなく、パワースペクトログラム全体を生成するようなモデル化が可能である。
【００２０】
第二の特徴は、音源分離アルゴリズムの収束性である。
【００２１】
上述のVAE音源モデルに基づき分離行列の尤度関数を定義し、音源分離アルゴリズムでは分離行列とVAEのデコーダネットワーク入力および音源クラスベクトルを尤度関数が上昇するように更新する。これにより、分離行列を停留点に収束させることができる。デコーダネットワーク入力の更新には誤差逆伝播法(Backpropagation) を用いる。
【００２２】
第三の特徴は、事前学習と音源分離の最適化規準の一貫性である。
【００２３】
事前学習に用いる音源モデルと音源分離に用いる音源モデルは同形の確率モデル（局所ガウス音源モデルの形）のため、事前学習と音源分離において同一規準により整合された最適化が行われる。
【００２４】
＜本発明の実施の形態の原理＞
＜問題の定式化＞
マイク数をM、音源数をM とし、マイクiの観測信号、音源jの信号の短時間フーリエ変換(Short-Time Fourier transform; STFT) をそれぞれxi(f,n)、 sj(f,n) とする。また、これらを要素としたベクトルを
【００２５】
【数１】
2020034870.tif 000003
【００２６】
【数２】
2020034870.tif 000004
【００２７】
とする。ただし、fとnはそれぞれ周波数および時間フレームのインデックスを表すものとし、xi(f,n) やsj(f,n) のような信号の時間周波数表現を複素スペクトログラムという。以下、音源信号ベクトル
2020034870.tif 000005
と観測信号ベクトル
2020034870.tif 000006
との間の関係式として瞬時分離系
【００２８】
【数３】
2020034870.tif 000007
【００２９】
【数４】
2020034870.tif 000008
【００３０】
を仮定する。
【００３１】
2020034870.tif 000009
は分離行列と呼ばれ、優決定条件のBSSではこれを推定することが目的となる。ただし、(・)T は行列またはベクトルの転置、(・)H は複素共役転置を表す。以上の瞬時混合系の仮定の下で、さらに音源jの複素スペクトログラムsj(f,n)を
【００３２】
【数５】
2020034870.tif 000010
【００３３】
のように平均が0、分散がuj(f,n)の複素ガウス分布に従う確率変数と仮定する。
2020034870.tif 000011
2020034870.tif 000012
より、
2020034870.tif 000013
は音源j のパワースペクトログラムを表す。このように各時間周波数点で異なる分散の複素ガウス分布に独立に従う複素スペクトログラムの生成モデルを局所ガウス音源モデルと呼ぶ。sj(f,n)とsj′(f, n)(j≠j′)が統計的に独立のとき、
2020034870.tif 000014
は
【００３４】
【数６】
2020034870.tif 000015
【００３５】
【数７】
2020034870.tif 000016
【００３６】
に従う。式(3)、(6)より
2020034870.tif 000017
は
【００３７】
【数８】
2020034870.tif 000018
【００３８】
に従う。従って、分離行列
2020034870.tif 000019
と各音源のパワースペクトログラム
2020034870.tif 000020
が与えられたもとでの観測データ
2020034870.tif 000021
の条件付分布の対数は
【００３９】
【数９】
2020034870.tif 000022
【００４０】
となる。式(11) は
2020034870.tif 000023
の対数尤度であり、式(11) が大きくなるように
2020034870.tif 000024
を求めることで周波数ごとの独立成分を得る分離行列
2020034870.tif 000025
を得ることができる。音源パワースペクトログラムuj(f,n)に制約がない場合は、式(11)は周波数fごとの項に分解されるため、式(11)により求まる
2020034870.tif 000026
で得られた分離信号のインデックスにはパーミュテーションの任意性が生じる。このため、同一音源に由来する周波数ごとの独立成分をグルーピングするパーミュテーション整合処理が後段で別途必要になる。IVAやILRMAは、音源パワースペクトログラムuj(f,n)に構造的制約を与えることで周波数ごとの音源分離とパーミュテーション整合を同時解決することを可能にしている。
【００４１】
＜先行技術１: 独立低ランク行列分析(ILRMA)（非特許文献１）＞
ここで、音源パワースペクトログラムuj(f,n) を
【００４２】
【数１０】
2020034870.tif 000027
【００４３】
のように非負の基底スペクトル
2020034870.tif 000028
の線形和で表現した場合の上述の枠組をILRMAと呼び、式(11) を
2020034870.tif 000029
の尤度関数として
2020034870.tif 000030
を推定するアルゴリズムが非特許文献１で提案されている。
【００４４】
式(11)を最大化する
2020034870.tif 000031
を解析的に求めることは難しいが、それぞれを反復的に式(11) が上昇するように更新することで、
2020034870.tif 000032
の停留点を探索することができる。
【００４５】
＜Ｗの更新＞
式(11) の中で
2020034870.tif 000033
に関係する項だけを取り出すと
【００４６】
【数１１】
2020034870.tif 000034
【００４７】
となる。ただし
2020034870.tif 000035
である。式(13)を上昇させる
2020034870.tif 000036
の更新は、自然勾配法、FastICAや反復射影法(IP)などを用いて行うことができる。導出は省略するが、IP による
2020034870.tif 000037
の更新則は以下で与えられる。
【００４８】
【数１２】
2020034870.tif 000038
【００４９】
ただし、
2020034870.tif 000039
はM×Mの単位行列
2020034870.tif 000040
の第j列ベクトルである。
【００５０】
＜
2020034870.tif 000041
の更新＞
【００５１】
式(11) において
2020034870.tif 000042
に関係する項は
【００５２】
【数１３】
2020034870.tif 000043
【００５３】
となる。式(16) を上昇させる
2020034870.tif 000044
の更新は、EMアルゴリズムや補助関数法を用いて行うことができる。導出は省略するが、補助関数法による
2020034870.tif 000045
の更新則は以下で与えられる。
【００５４】
【数１４】
2020034870.tif 000046
【００５５】
この手法では、uj(f,n)が式(12)の形に制約されるため、式(12)に従わないスペクトログラムをもつ音源を対象とした場合の分離性能は限定的となる。
【００５６】
＜先行技術２:独立深層学習行列分析(IDLMA)（非特許文献２）＞
上述のILRMAのアルゴリズムにおいて
2020034870.tif 000047
の更新を介して行われる
2020034870.tif 000048
の更新を、事前学習したニューラルネットワーク(Neural Network; NN) のフィードフォワード計算
【００５７】
【数１５】
2020034870.tif 000049
【００５８】
に置き換えた手法を独立深層学習行列分析(Independent Deeply Learned Matrix Analysis;IDLMA) と呼ぶ。ただし、
2020034870.tif 000050
はパラメータθのニューラルネットワークの出力を表し、入力
2020034870.tif 000051
は分離信号j のフレームnの振幅スペクトル
2020034870.tif 000052
、出力
2020034870.tif 000053
は音源jのフレームnのパワースペクトル
2020034870.tif 000054
である。式(20) の更新は式(11)を上昇させる保証はないため、
2020034870.tif 000055
の更新と式(20) の更新による反復アルゴリズムの収束性は保証されない。
【００５９】
＜本発明の実施の形態の方法＞
本発明の実施の形態は、各音源の複素スペクトログラムs(f,n)をVAEまたは音源クラスラベルを補助入力としたCVAEによりモデル化する点がポイントである。以下でまずVAEおよびCVAEの原理を説明し、VAE音源モデルを用いたBSS手法を定式化する。
【００６０】
＜変分自己符号化器(Variational Autoencoder; VAE)＞
VAEはエンコーダとデコーダのNNからなる確率的生成モデルである。エンコーダネットワークは入力データ
2020034870.tif 000056
が与えられた下での潜在変数
2020034870.tif 000057
の条件付分布
2020034870.tif 000058
のパラメータを出力するNNで、デコーダネットワークは潜在変数
2020034870.tif 000059
が与えられた下でのデータ
2020034870.tif 000060
の条件付分布
2020034870.tif 000061
のパラメータを出力するNNである。学習データを
2020034870.tif 000062
とすると、VAEはエンコーダ分布
2020034870.tif 000063
とデコーダ分布
2020034870.tif 000064
が無矛盾となるように、エンコーダ分布
2020034870.tif 000065
と、
2020034870.tif 000066
から導かれる事後分布
2020034870.tif 000067
ができるだけ一致するようにエンコーダとデコーダのNNパラメータφ，θを学習する。Jensenの不等式を用いることにより対数周辺尤度（エビデンス）
2020034870.tif 000068
の下界
【００６１】
【数１６】
2020034870.tif 000069
【００６２】
が得られる。式(21)の左辺と右辺の差は
2020034870.tif 000070
と
2020034870.tif 000071
のKullback-Leibler (KL) ダイバージェンス
2020034870.tif 000072
と等しく、
【００６３】
【数１７】
2020034870.tif 000073
【００６４】
のとき最小となる。よって、式(21) の右辺を大きくすることは
2020034870.tif 000074
と
2020034870.tif 000075
を近づけることに相当する。ここで、
2020034870.tif 000076
をパラメータφのエンコーダネットワークの出力、
2020034870.tif 000077
をパラメータθのデコーダネットワークの出力とし、
2020034870.tif 000078
をそれぞれこれらを平均と分散とした正規分布、
2020034870.tif 000079
を標準正規分布
【００６５】
【数１８】
2020034870.tif 000080
2020034870.tif 000081
【００６６】
と仮定すると、式(21) の右辺第一項は
【００６７】
【数１９】
2020034870.tif 000082
【００６８】
と書ける。ただし、[・]nはベクトルの第n要素を表す。ここで、
2020034870.tif 000083
という関係式を通して
2020034870.tif 000084
に変数変換できることを用いている。ただし、
2020034870.tif 000085
はベクトルの要素ごとの積を表す。式(26)は、
2020034870.tif 000086
に由来するランダム項を無視すると
2020034870.tif 000087
の重み付き二乗誤差の負となっていることが分かる。これがVAE（確率的な自己符号化器）と呼ばれる所以である。また、式(21)の右辺第二項は
2020034870.tif 000088
と
2020034870.tif 000089
のKLダイバージェンスの負で与えられ、エンコーダネットワークの出力の各要素が独立にかつ正規分布に従うよう強制する正則化項として働く。
【００６９】
条件付VAE(Conditional VAE; CVAE) は
【００７０】
【数２０】
2020034870.tif 000090
【００７１】
のようにエンコーダとデコーダを補助変数cを入力可能な形にしたVAEの拡張版である。このとき、最大化したい目的関数は、
【００７２】
【数２１】
2020034870.tif 000091
【００７３】
となる。ただし、
2020034870.tif 000092
は学習サンプル
2020034870.tif 000093
による標本平均を表す。
【００７４】
＜VAE音源モデルを用いたBSS＞
ある音源の複素スペクトログラムを
2020034870.tif 000094
とし、対応する音源の属性ラベルをcとする。ここで音源の属性は、音声の場合は話者ID、楽音の場合は楽器の種類などをさし、cは該当属性を示した1one-hotベクトルとする。まず、
2020034870.tif 000095
の生成モデルを、cを補助入力としたCVAEによりモデル化する。ここで、デコーダ分布
2020034870.tif 000096
を式(5) の局所ガウス音源モデルと同形とするため、平均が0の複素ガウス分布
【００７５】
【数２２】
2020034870.tif 000097
【００７６】
とし、分散
2020034870.tif 000098
のみを出力するネットワークをデコーダとする。ただし、ｇはパワースペクトログラムのスケールを表す変数であり、
2020034870.tif 000099
はデコーダ出力の
2020034870.tif 000100
の第(f,n)要素を表す。一方、エンコーダ分布
2020034870.tif 000101
は通常のCVAEと同様、
【００７７】
【数２３】
2020034870.tif 000102
【００７８】
とする。ただし、
2020034870.tif 000103
はそれぞれ
2020034870.tif 000104
の第k要素を表す。
【００７９】
上記の変分自己符号化器と同様に、デコーダとエンコーダのNNパラメータθ、φは各種属性の音源の複素スペクトログラム
2020034870.tif 000105
のサンプルを用いて
【００８０】
【数２４】
2020034870.tif 000106
【００８１】
を規準として学習する。ただし、
2020034870.tif 000107
は学習サンプル
2020034870.tif 000108
による標本平均を表す。以上により学習したデコーダ分布
2020034870.tif 000109
をVAE音源モデルと呼ぶ。図１に本発明の実施の形態におけるCVAEの概念図を示す。
【００８２】
VAE音源モデルは、学習サンプルに含まれる様々な属性の音源の複素スペクトログラムを表現可能なユニバーサルな生成モデルとなっており、VAEの特徴よりcは音源属性のカテゴリカルな特徴を調整する役割、zは属性内の変動を調整する役割を担った変数となっている。式(30)より、VAE音源モデルは
2020034870.tif 000110
をパラメータとした局所ガウス音源モデルと見なせるため、音源jの複素スペクトログラム
2020034870.tif 000111
の生成モデルを、
2020034870.tif 000112
を入力としたデコーダ分布
2020034870.tif 000113
により表現することで、式(11) と同形の尤度関数に帰着する。すなわち、最大化すべき尤度関数は式(11)のvj(f,n)に
2020034870.tif 000114
を代入した
【００８３】
【数２５】
2020034870.tif 000115
【００８４】
となる。従って、式(34)が大きくなるように分離行列
2020034870.tif 000116
、VAE音源モデルパラメータ
2020034870.tif 000117
、スケールパラメータgjを反復的に更新することで、式(34)の停留点を探索することができる。式(34)を上昇させる
2020034870.tif 000118
の更新は上記＜Ｗの更新＞と同様の方法、式(34)を上昇させる
2020034870.tif 000119
の更新は誤差逆伝播法(Backpropagation)、式(34)を上昇させる
2020034870.tif 000120
の更新は
【００８５】
【数２６】
2020034870.tif 000121
【００８６】
により行うことができる。ただし、cjの更新は、cjの要素の和が1となる制約の下で行う必要がある場合は、cjをソフトマックス層
【００８７】
【数２７】
2020034870.tif 000122
【００８８】
に置き換えた上で、その入力ujをcjの代わりのパラメータとして扱い最適化する方法が簡便である。また、式(35)は、
2020034870.tif 000123
が固定された下で式(11)を最大にするgjをgjの更新値とすることを意味する。以上より提案する音源分離アルゴリズムは以下のようにまとめられる。
【００８９】
1. 式(33)を学習規準としてθ、φを学習する。
【００９０】
2.
2020034870.tif 000124
を初期化する。
【００９１】
3. 各jについて下記ステップを繰り返す。
【００９２】
（a）式(14)、(15)により
2020034870.tif 000125
を更新する。
【００９３】
（b）式(34)を規準として誤差逆伝播法により
2020034870.tif 000126
または
2020034870.tif 000127
を更新する。
【００９４】
（c）式(35)によりgjを更新する。
【００９５】
＜本発明の実施の形態に係る信号解析装置の構成＞
次に、本発明の実施の形態に係る信号解析装置の構成について説明する。図２に示すように、本発明の実施の形態に係る信号解析装置１００は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチン及びパラメータ推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。この信号解析装置１００は、機能的には図２に示すように入力部１０と、演算部２０と、出力部９０と、を含んで構成されている。
【００９６】
入力部１０は、学習データとして、複数の構成音の各々について、当該構成音の信号の時系列データ及び当該構成音の信号の属性を示す属性ラベルを受け付ける。また、入力部１０は、解析対象データとして、複数の構成音が混じっている混合信号（以後、観測信号）の時系列データを受け付ける。なお、構成音の信号の属性を示す属性ラベルは、人手で与えておけばよい。また、構成音の信号の属性とは、例えば、性別、大人／子供、話者ＩＤなどである。
【００９７】
演算部２０は、時間周波数展開部２４と、学習部３２と、音源信号モデル記憶部３４と、パラメータ推定部３６と、を含んで構成されている。
【００９８】
時間周波数展開部２４は、構成音毎に、当該構成音の信号の時系列データに基づいて、各時刻のスペクトルを表すパワースペクトログラムを計算する。また、時間周波数展開部２４は、観測信号の時系列データに基づいて、各時刻のスペクトルを表すパワースペクトログラムを計算する。なお、本実施の形態においては、短時間フーリエ変換やウェーブレット変換などの時間周波数展開を行う。
【００９９】
学習部３２は、構成音毎に、当該構成音についてのパワースペクトログラム及び属性ラベルに基づいて、当該構成音のパワースペクトログラム及び属性ラベルを入力として潜在ベクトル系列を推定するエンコーダ、及び潜在ベクトル系列及び属性ラベルを入力として当該構成音のパワースペクトログラムを生成するデコーダを学習する。
【０１００】
具体的には、学習部３２は、構成音毎に、デコーダによって生成されたパワースペクトログラムと、元の構成音の信号におけるパワースペクトログラムとの誤差、並びに、エンコーダによって推定された潜在ベクトル系列と、元の構成音の信号における潜在ベクトル系列との距離を用いて表される、上記式（３３）の目的関数の値を最大化するように、エンコーダ及びデコーダを学習し、音源信号モデル記憶部３４に格納する。ここで、エンコーダ及びデコーダの各々は、畳み込みネットワーク又は再帰型ネットワークを用いて構成される。
【０１０１】
パラメータ推定部３６は、観測信号のパワースペクトログラムに基づいて、各構成音についての、デコーダによって生成される、当該構成音のパワースペクトログラムの分散とスケールパラメータとから算出される、当該構成音のパワースペクトログラム、各構成音のパワースペクトログラムのスケールパラメータ、時間周波数領域で各構成音が混合された混合音を各構成音に分離するための分離行列、及び観測信号を各構成音に分離した信号を用いて表される上記式（３４）式の目的関数を最大化するように、分離行列と、潜在ベクトル系列と、構成音の属性ラベルと、スケールパラメータとを推定する。
【０１０２】
具体的には、パラメータ推定部３６は、初期値設定部４０、分離行列更新部４２、潜在変数更新部４４、スケールパラメータ更新部４６、及び収束判定部４８を備えている。
【０１０３】
初期値設定部４０は、分離行列と、各構成音の潜在ベクトル系列と、各構成音の属性ラベルと、各構成音のスケールパラメータとに初期値を設定する。
【０１０４】
分離行列更新部４２は、観測信号のパワースペクトログラムと、前回更新された、又は初期値が設定された、各構成音の潜在ベクトル系列、各構成音の属性ラベル、各構成音のスケールパラメータ、及び分離行列とに基づいて、上記式（３４）に示す目的関数を大きくするように、上記式（１４）、（１５）に従って、分離行列を更新する。
【０１０５】
潜在変数更新部４４は、観測信号のパワースペクトログラムと、更新された分離行列と、前回更新された、又は初期値が設定された、各構成音の潜在ベクトル系列、各構成音の属性ラベル、各構成音のスケールパラメータとに基づいて、上記式（３４）に示す目的関数を大きくするように、誤差逆伝播法により、各構成音の潜在ベクトル系列と、各構成音の属性ラベルとを更新する。
【０１０６】
スケールパラメータ更新部４６は、観測信号のパワースペクトログラムと、更新された、各構成音の潜在ベクトル系列、各構成音の属性ラベル、各構成音のスケールパラメータ、及び分離行列とに基づいて、上記式（３４）に示す目的関数を大きくするように、上記式（３５）に従って、スケールパラメータを更新する。
【０１０７】
収束判定部４８は、収束条件を満たすか否かを判定し、収束条件を満たすまで、分離行列更新部４２における更新処理と、潜在変数更新部４４における更新処理と、スケールパラメータ更新部４６における更新処理とを繰り返させる。
【０１０８】
収束条件としては、例えば、繰り返し回数が、上限回数に到達したことを用いることができる。あるいは、収束条件として、上記式（３４）の目的関数の値と前回の目的関数の値との差分が、予め定められた閾値以下であることを用いることができる。
【０１０９】
出力部９０は、パラメータ推定部３６において取得した、各構成音の潜在ベクトル系列、各構成音の属性ラベル、各構成音のスケールパラメータとに基づいて、各構成音のデコーダを用いて生成される各構成音のパワースペクトログラムを求め、各構成音のパワースペクトログラムから、各構成音の信号を生成して出力する。
【０１１０】
＜本発明の実施の形態に係る信号解析装置の作用＞
次に、本発明の実施の形態に係る信号解析装置１００の作用について説明する。
【０１１１】
入力部１０において、学習データとして、複数の構成音の各々について、当該構成音の信号の時系列データ及び当該構成音の信号の属性を示す属性ラベルを受け付けると、信号解析装置１００は、図３に示す学習処理ルーチンを実行する。
【０１１２】
まず、ステップＳ１００において、構成音毎に、当該構成音の信号の時系列データに基づいて、各時刻のスペクトルを表すパワースペクトログラムを計算する。
【０１１３】
次のステップＳ１０２では、構成音毎に、当該構成音についてのパワースペクトログラム及び属性ラベルに基づいて、当該構成音のパワースペクトログラム及び属性ラベルを入力として潜在ベクトル系列を推定するエンコーダ、及び潜在ベクトル系列及び属性ラベルを入力として当該構成音のパワースペクトログラムを生成するデコーダを学習し、学習したエンコーダ及びデコーダのパラメータを、音源信号モデル記憶部３４に格納する。
【０１１４】
そして、入力部１０において、各構成音が混在した観測信号の時系列データを受け付けると、信号解析装置１００は、図４に示すパラメータ推定処理ルーチンを実行する。
【０１１５】
まず、ステップＳ１２０において、観測信号の時系列データに基づいて、各時刻のスペクトルを表すパワースペクトログラムを計算する。
【０１１６】
ステップＳ１２２では、初期値設定部４０は、分離行列と、各構成音の潜在ベクトル系列と、各構成音の属性ラベルと、各構成音のスケールパラメータとに初期値を設定する。
【０１１７】
ステップＳ１２４では、分離行列更新部４２は、上記ステップＳ１２０で計算された観測信号のパワースペクトログラムと、前回更新された、又は初期値が設定された、各構成音の潜在ベクトル系列、各構成音の属性ラベル、各構成音のスケールパラメータ、及び分離行列とに基づいて、上記式（３４）に示す目的関数を大きくするように、上記式（１４）、（１５）に従って、分離行列を更新する。
【０１１８】
ステップＳ１２６では、潜在変数更新部４４は、上記ステップＳ１２０で計算された観測信号のパワースペクトログラムと、更新された分離行列と、前回更新された、又は初期値が設定された、各構成音の潜在ベクトル系列、各構成音の属性ラベル、各構成音のスケールパラメータとに基づいて、上記式（３４）に示す目的関数を大きくするように、誤差逆伝播法により、各構成音の潜在ベクトル系列と、各構成音の属性ラベルとを更新する。
【０１１９】
ステップＳ１２８では、スケールパラメータ更新部４６は、上記ステップＳ１２０で計算された観測信号のパワースペクトログラムと、更新された、各構成音の潜在ベクトル系列、各構成音の属性ラベル、各構成音のスケールパラメータ、及び分離行列とに基づいて、上記式（３４）に示す目的関数を大きくするように、上記式（３５）に従って、スケールパラメータを更新する。
【０１２０】
次に、ステップＳ１３０では、収束条件を満たすか否かを判定する。収束条件を満たした場合には、ステップＳ１３２へ移行し、収束条件を満たしていない場合には、ステップＳ１２４へ移行し、ステップＳ１２４〜ステップＳ１２８の処理を繰り返す。
【０１２１】
ステップＳ１３２では、上記ステップＳ１２４〜Ｓ１２８で最終的に更新された、各構成音の潜在ベクトル系列、各構成音の属性ラベル、及び各構成音のスケールパラメータに基づいて、各構成音のデコーダを用いて各構成音のパワースペクトログラムを生成し、各構成音のパワースペクトログラムから、各構成音の信号を生成して、出力部９０から出力し、パラメータ推定処理ルーチンを終了する。
【０１２２】
＜実験結果＞
本発明の実施の形態の手法による音源分離効果を確認するため、図５と図６に音声のスペクトログラムに対して式(12)の行列積モデルをフィッティングした例と、本発明の実施の形態に係るVAE音源モデルをフィッティングした例を示す。行列積モデルに比べてVAE音源モデルの方が正確に音声のスペクトログラムを表現できていることが確認できる。
【０１２３】
また、本発明の実施の形態の手法の有効性を確認するため、VCTK2018の女性話者（SF1、SF2）と男性話者（SM1、SM2）の声を用いて音源分離実験を行った。音源数を2、マイク数を2として、鏡像法によりシミュレートした室内インパルス応答を用いて混合信号を生成した。ILRMA（非特許文献１）をベースラインとして、Signal-to-Distortion Ration (SDR)、Signal-to-Interference Ratio (SIR)、 Signal-to-Artifact Ratio (SAR) を指標として、本発明の実施の形態の手法（MVAE）とILRMAの分離精度を評価した。図７にその結果を示す。本発明の実施の形態の手法（MVAE）が従来手法に比べて高い分離性能を得られていることが確認できる。
【０１２４】
以上説明したように、本発明の実施の形態に係る信号解析装置によれば、各構成音が混合された観測信号を入力として、予め学習されたデコーダによって生成される、構成音のスペクトログラムの分散と、スケールパラメータとから算出される、構成音のスペクトログラム、各構成音のスペクトログラムのスケールパラメータ、分離行列、及び観測信号を各構成音に分離した信号を用いて表される目的関数を最適化するように、分離行列と、潜在ベクトル系列と、スケールパラメータとを推定することにより、各構成音が混合した混合信号から、各構成音を精度よく分離することができる。
【０１２５】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１２６】
例えば、属性ラベルを入力としないエンコーダ及びデコーダを用いてもよい。この場合、属性ラベルが不要なため、パラメータ推定部では、属性ラベルを推定しない。
【０１２７】
また、観測信号のパワースペクトログラムや構成音のパワースペクトログラムを計算する場合を例に説明したが、これに限定されるものではなく、観測信号の振幅スペクトログラムや構成音の振幅スペクトログラムを計算するようにしてもよい。この場合には、学習部３２は、構成音毎に、当該構成音の振幅スペクトログラム及び属性ラベルを入力として潜在ベクトル系列を推定するエンコーダ、及び潜在ベクトル系列及び属性ラベルを入力として当該構成音の振幅スペクトログラムを生成するデコーダを学習する。また、パラメータ推定部３６は、観測信号の振幅スペクトログラムに基づいて、各構成音についての、デコーダによって生成される、当該構成音の振幅スペクトログラムの分散とスケールパラメータとから算出される、当該構成音の振幅スペクトログラム、各構成音の振幅スペクトログラムのスケールパラメータ、分離行列、及び観測信号を各構成音に分離した信号を用いて表される目的関数を最大化するように、分離行列と、潜在ベクトル系列と、構成音の属性ラベルと、スケールパラメータとを推定する。
【０１２８】
また、更新するパラメータの順番には任意性があるため、上記の実施の形態の順番に限定されない。
【０１２９】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
【符号の説明】
【０１３０】
１０   入力部
２０   演算部
２４   時間周波数展開部
３２   学習部
３４   音源信号モデル記憶部
３６   パラメータ推定部
４０   初期値設定部
４２   分離行列更新部
４４   潜在変数更新部
４６   スケールパラメータ更新部
４８   収束判定部
９０   出力部
１００ 信号解析装置
【図１】
2020034870.tif 000128
【図２】
2020034870.tif 000129
【図３】
2020034870.tif 000130
【図４】
2020034870.tif 000131
【図５】
2020034870.tif 000132
【図６】
2020034870.tif 000133
【図７】
2020034870.tif 000134