(57)【要約】【課題】従来よりも適切に所望の音源だけを強調することができる音源強調装置等を提供する。【解決手段】音源強調装置は、N種類の、楽器の演奏または歌唱それぞれに係る音響信号Snを含む混合信号Xを線形フィルタ推定モデルに入力して、事前に用意したM個の線形フィルタの中から、強調したい音響信号Sに対するSNRを最大化する線形フィルタを推定し、推定した線形フィルタを用いて、混合信号Xをフィルタリングし、第一強調信号^Gを求める線形雑音抑圧部と、第一強調信号^Gとパラメータpとを入力とし、第一強調信号^Gに対する雑音抑圧量を推定する雑音抑圧量推定部と、第一強調信号^Gと雑音抑圧量の推定値Wとを用いて、第一強調信号^Gに含まれる音響信号Sを強調した強調信号^Sを求める音源強調部とを含む。【選択図】図８
2018138936.tif 000002
【特許請求の範囲】
【請求項１】
M及びNをそれぞれ1以上の整数の何れかとし、n=1,2,…,Nとし、N種類の、楽器の演奏または歌唱それぞれに係る音響信号Snを含む混合信号Xを線形フィルタ推定モデルに入力して、事前に用意したM個の線形フィルタWmの中から、強調したい音響信号Sに対するSNRを最大化する線形フィルタWm^*を推定し、推定した線形フィルタWm^*を用いて、前記混合信号Xをフィルタリングし、第一強調信号^Gを求める線形雑音抑圧部を含み、M個の前記線形フィルタWmは、それぞれ異なる方向から到来する音を抑圧または強調する線形フィルタであり、前記線形フィルタ推定モデルのパラメータは、(i)N種類の、楽器の演奏または歌唱それぞれに係る学習用音響信号SL,nを含む学習用混合信号XLに基づく情報と、(ii)強調したい学習用音響信号SLに対するSNRを最大化する線形フィルタに対応する情報とを用いて、事前に学習されたものであり、
前記第一強調信号^Gとパラメータpとを入力とし、第一強調信号^Gに対する雑音抑圧量を推定する雑音抑圧量推定部と、
前記第一強調信号^Gと雑音抑圧量の推定値Wとを用いて、前記第一強調信号^Gに含まれる音響信号Sを強調した強調信号^Sを求める音源強調部とを含み、
前記雑音抑圧量推定部において前記雑音抑圧量の推定値Wを推定する際に用いるモデルのパラメータpは、(i)前記学習用音響信号SLに対して線形雑音抑圧処理を行った信号Wm^*SLと、(ii)前記学習用混合信号XLに対して線形雑音抑圧処理を行った信号Wm^*XLと、(iii)前記学習用混合信号XLに含まれる雑音を抑圧する量を示す、前記信号Wm^*SLに対して付与される雑音抑圧量参照値とを用いて、事前に学習されたものである、
音源強調装置。
【請求項２】
請求項１の音源強調装置であって、
前記線形雑音抑圧部は、前記混合信号Xを線形フィルタ推定モデルに入力して、事前に用意したM個の線形フィルタWmの中から、各音響信号Snに対するSNRを最大化する線形フィルタWm^*_nを推定し、N個の推定した線形フィルタWm^*_nを用いて、前記混合信号Xをフィルタリングし、N個の第一強調信号^Gnを求め、
前記線形フィルタ推定モデルのパラメータは、(i)前記学習用混合信号XLに基づく情報と、(ii)N個の強調したい学習用音響信号SL,nに対するSNRを最大化する線形フィルタに対応する情報とを用いて、事前に学習されたものであり、
前記雑音抑圧量推定部は、N個の第一強調信号^Gn(τ,ω)とパラメータpとを入力とし、前記混合信号Xと、N個の前記第一強調信号^Gnに含まれる音響信号Snをそれぞれ強調したN個の強調信号^Snの総和と、の差分が小さくなるように、各音響信号Snに対する雑音抑圧量を推定し、
前記音源強調部は、N個の前記第一強調信号^Gnと雑音抑圧量のN個の推定値Wnとを用いて、N個の前記強調信号^Snを求め、
前記雑音抑圧量推定部において前記雑音抑圧量の推定値Wnを推定する際に用いるモデルのパラメータpは、(i)前記学習用音響信号SL,nに対して線形雑音抑圧処理を行った信号Wm^*_nSL,nと、(ii)前記学習用混合信号XLに対して線形雑音抑圧処理を行った信号Wm^*_nXLと、(iii)学習用混合信号XLに含まれる雑音を抑圧する量を示す、前記信号Wm^*_nSL,nに対して付与される雑音抑圧量参照値とを用いて、事前に学習されたものである、
音源強調装置。
【請求項３】
M及びNをそれぞれ1以上の整数の何れかとし、n=1,2,…,Nとし、N種類の、楽器の演奏または歌唱それぞれに係る音響信号Snを含む混合信号Xを線形フィルタ推定モデルに入力して、事前に用意したM個の線形フィルタWmの中から、強調したい音響信号Sに対するSNRを最大化する線形フィルタWm^*を推定し、推定した線形フィルタWm^*を用いて、前記混合信号Xをフィルタリングし、第一強調信号^Gを求める線形雑音抑圧ステップを含み、M個の前記線形フィルタWmは、それぞれ異なる方向から到来する音を抑圧または強調する線形フィルタであり、前記線形フィルタ推定モデルのパラメータは、(i)N種類の、楽器の演奏または歌唱それぞれに係る学習用音響信号SL,nを含む学習用混合信号XLに基づく情報と、(ii)強調したい学習用音響信号SLに対するSNRを最大化する線形フィルタに対応する情報とを用いて、事前に学習されたものであり、
前記第一強調信号^Gとパラメータpとを入力とし、第一強調信号^Gに対する雑音抑圧量を推定する雑音抑圧量推定ステップと、
前記第一強調信号^Gと雑音抑圧量の推定値Wとを用いて、前記第一強調信号^Gに含まれる音響信号Sを強調した強調信号^Sを求める音源強調ステップとを含み、
前記雑音抑圧量推定ステップにおいて前記雑音抑圧量の推定値Wを推定する際に用いるモデルのパラメータpは、(i)前記学習用音響信号SLに対して線形雑音抑圧処理を行った信号Wm^*SLと、(ii)前記学習用混合信号XLに対して線形雑音抑圧処理を行った信号Wm^*XLと、(iii)前記学習用混合信号XLに含まれる雑音を抑圧する量を示す、前記信号Wm^*SLに対して付与される雑音抑圧量参照値とを用いて、事前に学習されたものである、
音源強調装置が実行する音源強調方法。
【請求項４】
請求項３の音源強調方法であって、
前記線形雑音抑圧ステップは、前記混合信号Xを線形フィルタ推定モデルに入力して、事前に用意したM個の線形フィルタWmの中から、各音響信号Snに対するSNRを最大化する線形フィルタWm^*_nを推定し、N個の推定した線形フィルタWm^*_nを用いて、前記混合信号Xをフィルタリングし、N個の第一強調信号^Gnを求め、
前記線形フィルタ推定モデルのパラメータは、(i)前記学習用混合信号XLに基づく情報と、(ii)N個の強調したい学習用音響信号SL,nに対するSNRを最大化する線形フィルタに対応する情報とを用いて、事前に学習されたものであり、
前記雑音抑圧量推定ステップは、N個の第一強調信号^Gn(τ,ω)とパラメータpとを入力とし、前記混合信号Xと、N個の前記第一強調信号^Gnに含まれる音響信号Snをそれぞれ強調したN個の強調信号^Snの総和と、の差分が小さくなるように、各音響信号Snに対する雑音抑圧量を推定し、
前記音源強調ステップは、N個の前記第一強調信号^Gnと雑音抑圧量のN個の推定値Wnとを用いて、N個の前記強調信号^Snを求め、
前記雑音抑圧量推定ステップにおいて前記雑音抑圧量の推定値Wnを推定する際に用いるモデルのパラメータpは、(i)前記学習用音響信号SL,nに対して線形雑音抑圧処理を行った信号Wm^*_nSL,nと、(ii)前記学習用混合信号XLに対して線形雑音抑圧処理を行った信号Wm^*_nXLと、(iii)学習用混合信号XLに含まれる雑音を抑圧する量を示す、前記信号Wm^*_nSL,nに対して付与される雑音抑圧量参照値とを用いて、事前に学習されたものである、
音源強調方法。
【請求項５】
請求項１または請求項２の音源強調装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、様々な音源の音を含む音響信号から特定の音源の音を強調する技術に関する。例えば、楽曲信号(1chにMIXされたものを想定する)から各楽器音(e.g.ギター、ベース、ドラム、キーボード)、歌声(ボーカル)を強調し、抽出する技術に関する。なお、抽出した音は、そのまま出力してもよいし、楽曲定位操作系において使用しユーザの好みに応じてリミックスして出力してもよい。
【背景技術】
【０００２】
1chにMIXされた音響信号から特定の音源の音を強調し、抽出する従来技術として、非特許文献１が知られている。
【０００３】
図１は、非特許文献１の機能ブロック図を示す。特定の音源の音信号（強調したい音響信号）をs(t)、強調したい音源以外の雑音の音信号(以下、雑音信号ともいう)をn(t)と表す。例えば、楽曲信号からギターの音だけを抽出したい場合には、ギターの音響信号をs(t)、雑音信号（その他の音源(ベース、ドラム、キーボード、ボーカルなど)が混合された音信号）をn(t)として扱うことを意味する。tは時間のインデックスを表す。s(t)、n(t)の周波数領域に展開された信号をS(τ,ω)、N(τ,ω)と表す。ここで、τ,ωは、時間フレーム、周波数のインデックスを表す。この時、強調前の音響信号（混合信号）X(τ,ω)は、以下のように表現される。
X(τ,ω) = S(τ,ω) + N(τ,ω)    (1)
なお、混合信号X(τ,ω)の時間領域表現は、x(t)である。
【０００４】
楽曲の場合にはステレオ信号であることが多いので、その場合、加算したり、重み付け加算してシングルチャネル化されたモノラル信号を利用する。
【０００５】
周波数領域変換部部９３は、時間領域の混合信号x(t)を入力として、周波数領域の混合信号X(τ,ω)に変換し、出力する。
【０００６】
バイナリマスク推定部９４では、混合信号X(τ,ω)を入力として、バイナリマスクI(τ,ω)を出力する。なお、バイナリマスクI(τ,ω)の推定方法については、例えば、DNN(Deep Neural Networks、CNN(Convolutional Neural Networks)、RNN(Recurrent Neural Networks)といった機械学習を利用することを前提としている。事前に教師あり学習を実施し、各音源ごとに最適化されたパラメータpをDNN、CNN、RNN等の機械学習において用いる。なお、ギターの音以外に、ベース、ドラム、キーボード、ボーカルなどをそれぞれ抽出し、強調する場合には、パラメータpは各音源(ベース、ドラム、キーボード、ボーカルなど)に対して、異なるものを用いる。つまり、各楽器についてパラメータpは最適化されているとする。
【０００７】
音源強調部９５は、混合信号X(τ,ω)とバイナリマスクI(τ,ω)とを入力として、次式により、特定の音源を強調した音響信号(強調信号)^S(τ,ω)を求め、出力する。
^S(τ,ω)=I(τ,ω)X(τ,ω)    (2)
時間領域変換部９６は、強調信号^S(τ,ω)を入力とし、時間領域の強調信号^s(t)に変換し、出力する。
【０００８】
データベース部９０には、学習用の混合信号XL(τ,ω)と、それを構成する強調したい学習用の音響信号SL(τ,ω)と、学習用の雑音信号NL(τ,ω)とが格納されている。なお、例えば、ギターの音を強調するようなバイナリマスクを推定する場合、学習用の音響信号SL(τ,ω)がギターの音のみが入った音響信号であり、学習用の雑音信号NL(τ,ω)はその他楽器/ボーカルの音響信号を加算した信号である。
【０００９】
特徴量−ラベル生成部９１では、学習用の音響信号SL(τ,ω)、学習用の雑音信号NL(τ,ω)を入力として、特徴量とラベルとを出力する。特徴量の設計方法は様々あるが、最も単純な例として、学習用の音響信号SL(τ,ω)のパワースペクトル|SL(τ,ω)|2、学習用の雑音信号NL(τ,ω)のパワースペクトル|NL(τ,ω)|2やそれを平滑化した値を利用する。また、ラベルの設計方法も様々あるが、最も単純な例として、バイナリマスクIL(τ,ω)を用意する。パワースペクトル|SL(τ,ω)|2、|NL(τ,ω)|2やバイナリマスクIL(τ,ω)は、各フレーム時間、各周波数ごとに用意する。バイナリマスクIL(τ,ω)は、以下のように計算する。
【００１０】
【数１】
2018138936.tif 000003
【００１１】
ここで、SNRは観測時点のSN比であり、θはバイナリマスクの値(0 or 1)を決定する際に用いる閾値である。ラベル[0,1]は周波数ωごと、あるいは周波数帯域ごとに書かれることになる。閾値は例えばθ=0dBのように選択することが多い。これは、該当する周波数−時間フレームτで、目的とする音源(e.g. ギター)が最も主要な音源か否かを判断することに対応する。また、フロア値は、式(3)では0を利用したが、0<α<1を満たす値αを用いることが多い(例えば0.1〜0.3 程度の値)。なお、SNRは、以下のように計算される。
【００１２】
【数２】
2018138936.tif 000004
【００１３】
事前学習部９２は、特徴量とラベル（例えばパワースペクトル|SL(τ,ω)|2、|NL(τ,ω)|2とバイナリマスクIL(τ,ω)）とを入力とし、DNN、CNN、RNN用のパラメータpを学習し、出力する。なお、パラメータpは、バイナリマスク推定部９４で使用するためのパラメータであり、強調したい音源ごと(例えば、ギター、ベース、ドラム等)に事前に学習する。一実装として、DNNであれば、重み行列やバイアスを表すベクトルが格納される。
【先行技術文献】
【非特許文献】
【００１４】
【非特許文献１】Y. Wang, A. Narayanan and D.L.Wang, "On training targets for supervised speech separation", IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 22, pp. 1849-1858, 2014.
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、従来技術には、出力される強調信号の歪が大きくなってしまうという問題がある。バイナリマスクを利用して音源の強調を行う場合、特定の時間周波数チャネルにおいて、音が存在するか(1)、または、存在しないか(0)の二択しか行うことができない。楽曲信号では、一つ時間周波数チャネルに、多くの音が混合していることが想定される。その場合、バイナリマスクでは、所望の音源だけを強調するために、十分な性能を得ることができない可能性が高い。
【００１６】
本発明は、従来よりも適切に所望の音源だけを強調することができる音源強調装置、その方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記の課題を解決するために、本発明の一態様によれば、音源強調装置は、M及びNをそれぞれ1以上の整数の何れかとし、n=1,2,…,Nとし、N種類の、楽器の演奏または歌唱それぞれに係る音響信号Snを含む混合信号Xを線形フィルタ推定モデルに入力して、事前に用意したM個の線形フィルタWmの中から、強調したい音響信号Sに対するSNRを最大化する線形フィルタWm^*を推定し、推定した線形フィルタWm^*を用いて、混合信号Xをフィルタリングし、第一強調信号^Gを求める線形雑音抑圧部を含む。M個の線形フィルタWmは、それぞれ異なる方向から到来する音を抑圧または強調する線形フィルタであり、線形フィルタ推定モデルのパラメータは、(i)N種類の、楽器の演奏または歌唱それぞれに係る学習用音響信号SL,nを含む学習用混合信号XLに基づく情報と、(ii)強調したい学習用音響信号SLに対するSNRを最大化する線形フィルタに対応する情報とを用いて、事前に学習されたものである。さらに、音源強調装置は、第一強調信号^Gとパラメータpとを入力とし、第一強調信号^Gに対する雑音抑圧量を推定する雑音抑圧量推定部と、第一強調信号^Gと雑音抑圧量の推定値Wとを用いて、第一強調信号^Gに含まれる音響信号Sを強調した強調信号^Sを求める音源強調部とを含み、雑音抑圧量推定部において雑音抑圧量の推定値Wを推定する際に用いるモデルのパラメータpは、(i)学習用音響信号SLに対して線形雑音抑圧処理を行った信号Wm^*SLと、(ii)学習用混合信号XLに対して線形雑音抑圧処理を行った信号Wm^*XLと、(iii)学習用混合信号XLに含まれる雑音を抑圧する量を示す、信号Wm^*SLに対して付与される雑音抑圧量参照値とを用いて、事前に学習されたものである。
【００１８】
上記の課題を解決するために、本発明の他の態様によれば、音源強調装置が実行する音源強調方法は、M及びNをそれぞれ1以上の整数の何れかとし、n=1,2,…,Nとし、N種類の、楽器の演奏または歌唱それぞれに係る音響信号Snを含む混合信号Xを線形フィルタ推定モデルに入力して、事前に用意したM個の線形フィルタWmの中から、強調したい音響信号Sに対するSNRを最大化する線形フィルタWm^*を推定し、推定した線形フィルタWm^*を用いて、混合信号Xをフィルタリングし、第一強調信号^Gを求める線形雑音抑圧ステップを含む。M個の線形フィルタWmは、それぞれ異なる方向から到来する音を抑圧または強調する線形フィルタであり、線形フィルタ推定モデルのパラメータは、(i)N種類の、楽器の演奏または歌唱それぞれに係る学習用音響信号SL,nを含む学習用混合信号XLに基づく情報と、(ii)強調したい学習用音響信号SLに対するSNRを最大化する線形フィルタに対応する情報とを用いて、事前に学習されたものである。さらに、音源強調方法は、第一強調信号^Gとパラメータpとを入力とし、第一強調信号^Gに対する雑音抑圧量を推定する雑音抑圧量推定ステップと、第一強調信号^Gと雑音抑圧量の推定値Wとを用いて、第一強調信号^Gに含まれる音響信号Sを強調した強調信号^Sを求める音源強調ステップとを含み、雑音抑圧量推定ステップにおいて雑音抑圧量の推定値Wを推定する際に用いるモデルのパラメータpは、(i)学習用音響信号SLに対して線形雑音抑圧処理を行った信号Wm^*SLと、(ii)学習用混合信号XLに対して線形雑音抑圧処理を行った信号Wm^*XLと、(iii)学習用混合信号XLに含まれる雑音を抑圧する量を示す、信号Wm^*SLに対して付与される雑音抑圧量参照値とを用いて、事前に学習されたものである。
【発明の効果】
【００１９】
本発明によれば、従来よりも適切に所望の音源だけを強調することができるという効果を奏する。
【図面の簡単な説明】
【００２０】
【図１】従来技術を説明するための図。
【図２】第一実施形態に係る音源強調装置の機能ブロック図。
【図３】第一実施形態、第二実施形態に係る音源強調装置の処理フローの例を示す図。
【図４】第二実施形態に係る音源強調装置の機能ブロック図。
【図５】第三実施形態に係る音源強調装置を説明するための図。
【図６】第三実施形態に係る音源強調装置の機能ブロック図。
【図７】第三実施形態に係る音源強調装置の処理フローの例を示す図。
【図８】第四実施形態に係る音源強調装置の機能ブロック図。
【図９】第四実施形態、第五実施形態に係る音源強調装置の処理フローの例を示す図。
【図１０】第五実施形態に係る音源強調装置の機能ブロック図。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「^」等は、本来直後の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直前に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。
【００２２】
＜第一実施形態のポイント＞
第一実施形態では、以下の点において、従来技術と異なる。
【００２３】
バイナリマスクではなく、雑音抑圧量を連続値で表現する。例えば、4段階程度に離散化された雑音抑圧量に対して重みづけ加算することで連続値を表現する。このような構成により、複数の音源が時間周波数チャネルに混在している場合でも、より高精度に目的音を雑音から分離し、強調できることが期待される。
【００２４】
このような構成により、楽曲信号などといった、より一般的かつ多数の音が混合しているような音に対して特定の音源の強調精度が高まることが期待される。
【００２５】
＜第一実施形態＞
図２は第一実施形態に係る音源強調装置の機能ブロック図を、図３はその処理フローを示す。
【００２６】
音源強調装置１００は、N種類の、楽器の演奏または歌唱それぞれに係る音源の音響信号sn(t)を含む混合信号x(t)を入力とし、N種類の音響信号sn(t)の内、強調対象の音響信号s(t)に対応する強調信号^s(t)を出力する。ただし、n=1,2,…,Nであり、Nは1以上の整数の何れかである。混合信号x(t)は、背景技術で説明した通りである。
【００２７】
音源強調装置１００は、周波数領域変換部１０２、雑音抑圧量推定部１０３、音源強調部１０４、時間領域変換部１０５、データベース部１９０、特徴量−ラベル生成部１９１及び事前学習部１９２を含む。
【００２８】
＜周波数領域変換部１０２＞
周波数領域変換部１０２は、時間領域の混合信号x(t)を入力とし、時間領域の混合信号x(t)を周波数領域の混合信号X(τ,ω)に変換し（Ｓ１０２）、出力する。時間領域の信号を周波数領域の信号に変換する方法として、例えば、短時間フーリエ変換等を用いる。
【００２９】
＜データベース部１９０＞
データベース部１９０には、学習用の混合信号XL(τ,ω)と、それを構成する強調したい学習用の音響信号SL(τ,ω)と、学習用の雑音信号NL(τ,ω)とが格納されている。なお、例えば、ギターの音を強調するような雑音抑圧量を推定する場合、学習用の音響信号SL(τ,ω)がギターの音のみが入った音響信号であり、学習用の雑音信号NL(τ,ω)はその他楽器/ボーカルの音響信号を加算した信号である。なお、XL(τ,ω)=SL(τ,ω)+NL(τ,ω)であり、データベース部１９０には、XL(τ,ω),SL(τ,ω),NL(τ,ω)のうちの何れか二つを記憶しておき、残りの1つをデータベース部１９０または特徴量−ラベル生成部１９１で計算により求めてもよい。また、データベース部１９０には、学習用の混合信号XL(τ,ω)を構成するN種類の、楽器の演奏または歌唱それぞれに係る音源の学習用の音響信号sL,n(t)が格納されてもよい。この場合、データベース部１９０または特徴量−ラベル生成部１９１が、N種類の学習用の音響信号sL,n(t)から、学習用の音響信号SL(τ,ω)と、学習用の雑音信号NL(τ,ω)とを計算により求める。
【００３０】
＜特徴量−ラベル生成部１９１＞
特徴量−ラベル生成部１９１は、背景技術の特徴量−ラベル生成部９１と同様の処理を行うが、以下の点において異なる。
【００３１】
従来方式では、周波数ごとに特徴量-ラベルを用意していた。本実施形態では、複数の周波数を集約化した周波数バンドごとに特徴量-ラベルを用意するような実装を行う。なお、ΩO個のバンドで構成されるとし、そのインデックス集合をΩ={1,…,ΩO}と表す。従来方式ではラベルを2値化しているため、周波数ごとにラベルを用意している。一方、本実施形態では、ラベルを2値以上のパターン(例えば4段階[1,0.5,0.3,0.1])となるように実装している。ラベルの値は、どの程度雑音を抑圧したらよいかを表している。2値以上のパターンでラベルの値を表すことになるので、以後、この値のことをマスクではなく雑音抑圧量と表現することにする。なお、ラベルの値を雑音抑圧量参照値ともいう。雑音抑圧量参照値のパターン数は、実験では4程度で利用しているが、これはパターン数を多くし過ぎると、どのパターンに属するかについての推定精度が悪くなる、または、学習データの量が膨大になることが想定されるためである。
【００３２】
特徴量−ラベル生成部１９１では、学習用の音響信号SL(τ,ω)、学習用の雑音信号NL(τ,ω)を入力として、特徴量とラベルとを出力する。特徴量の設計方法は様々あるが、最も単純な例として、学習用の音響信号SL(τ,ω)のパワースペクトル|SL(τ,ω)|2、学習用の雑音信号NL(τ,ω)のパワースペクトル|NL(τ,ω)|2やそれを平滑化した値を利用する。また、ラベルの設計方法も様々あるが、最も単純な例として、複数の離散値からなる学習用雑音抑圧量WL(τ,ω)を設定する方法がある。パワースペクトル|SL(τ,ω)|2、|NL(τ,ω)|2や学習用雑音抑圧量WL(τ,ω)は、各フレーム時間、各周波数ごとに用意する。学習用雑音抑圧量WL(τ,ω)は、以下のように計算する。
【００３３】
【数３】
2018138936.tif 000005
【００３４】
ここで、SNRLは観測時点のSN比であり、θ1、θ2、…、θC-1は学習用雑音抑圧量WLの値(q1、q2、…、qC)を決定する際に用いる閾値であり、θ1<θ2<…<θC-1であり、0≦q1<q2<…<qC-1≦1である。ラベル[q1,q2,…,qC]は周波数ωごとに書かれる。閾値θ1、θ2、…、θC-1は実験等により適切な値を求めておく。これは、該当する周波数−時間フレームτで、目的とする音源(e.g. ギター)がどの程度の割合を示す音源かを示す。また、フロア値q1は、背景技術で示したように、0を利用してもよいし、0<q1<q2<…<qC-1≦1を満たす値q1を用いてもよい。例えばq1を0.1〜0.3 程度の値とする。フロア値q1を0より大きな値とすることで、「プッ」っと音が途切れるような音響信号が再生されるのを防ぐことができる。なお、SNRLは、以下のように計算される。
【００３５】
【数４】
2018138936.tif 000006
【００３６】
このようにして、特徴量−ラベル生成部１９１は、特徴量(例えば、パワースペクトル|SL(τ,ω)|2、|NL(τ,ω)|2やそれを平滑化した値)とラベル(学習用雑音抑圧量WL(τ,ω))とを求め、出力する。
【００３７】
＜事前学習部１９２＞
事前学習部１９２は、特徴量(例えば、パワースペクトル|SL(τ,ω)|2、|NL(τ,ω)|2やそれを平滑化した値)とラベル(学習用雑音抑圧量WL(τ,ω))とを入力とし、雑音抑圧量推定部１０３で雑音抑圧量を推定するために必要となるパラメータpを求め、出力する。2値以上の値を利用して連続的な雑音抑圧量を表す点において、従来方式との差分がある。
【００３８】
連続的な雑音抑圧量を表す方式について簡潔に説明する。例えば、C段階の雑音抑圧量参照値(q=[q1,q2,…,qC]T)と音響信号S(τ,ω)(時間フレームτ、周波数ω)のC段階の雑音抑圧量参照値に対する出力確率をo(τ,ω)=[o1(τ,ω),…,oC(τ,ω)]Tとするとき、音響信号S(τ,ω)(時間フレームτ、周波数ω)に対する連続量で表した雑音抑圧量の推定値W(τ,ω)は、以下で書くことができる。
W(τ,ω)=qTo(τ,ω)      (5)
よって、雑音抑圧量の推定値W(τ,ω)は、出力確率o(τ,ω)を重みとする2個以上の離散値(雑音抑圧量参照値(q=[q1,q2,…,qC]T))の重み付け加算により連続値で表現される。なお、出力確率o(τ,ω)は、雑音抑圧量推定部１０３を構成するニューラルネットワークの出力値であり、以下の関係が成立するように正規化されて出力される。
【００３９】
【数５】
2018138936.tif 000007
【００４０】
誤差逆伝搬法(参考文献１参照)に則って、ニューラルネットのパラメータを最適化する方法について簡略的に説明する。
（参考文献１）岡谷貴之, “深層学習,” 講談社, 2015, p.7-54.
【００４１】
一つの例として、全結合型DNNをNN構築に用いた場合についてのみ説明する。なお、この部分は、従来のCNN、RNN等で置き換え可能である。まず、順方向のニューラルネットの計算について説明する。なお、この順方向のニューラルネットの計算は、最適化されたパラメータpと入力信号(上述の混合信号に相当)X(τ,ω)を入力として、雑音抑圧量推定部１０３にて行う演算に対応する。入力信号X(τ,ω)をΩO個の周波数バンドに分割し、式(10)のように特徴量化する。
q(1)=[|X(τ,1)|2,…,|X(τ,ΩO)|2]T        (10)
【００４２】
ここで、|X(τ,Ω)|2は、Ω番目の周波数バンド、時間フレームτにおける入力信号のバンドパワーを表す。Ω={1,…,ΩO}とする。ψ層目のノード数をJψと表すとき、J1=ΩOである。つまり、1層目のノード数と周波数バンドの総数ΩOとが一致する。また、層の総数をΨとし、ψ=1,2,…,Ψとする。パラメータpは、ニューラルネットで用いられるパラメータであり、重み行列{P(2),…,P(Ψ)}とバイアス{b(2),…,b(Ψ)}とが含まれる。以下の計算をΨ-1回繰り返すことでパラメータpが得られる。
u(ψ)=P(ψ)q(ψ-1)+b(ψ)        (11)
q(ψ)=f(ψ)(u(ψ))        (12)
ここで、各変数の次元は、u(ψ)∈RJ_ψ×1、q(ψ)∈RJ_ψ×1、P(ψ)∈RJ_ψ×J_(ψ-1)、b(ψ)∈RJ_ψ×1である。なお、上付き添え字X_YはXYを意味する。また、f(ψ)(・)はψ層目の活性化関数である。例えばΨ-1層目までの計算では、ランプ関数(ReLU)を用いることが多い。
f(ψ)(u(ψ))=max(0,u(ψ))    (ψ=2,…,Ψ-1)        (13)
最終層では、各周波数バンドごとに確率値(C種類の雑音抑圧量参照値に対する出現確率値)を算出する必要がある。周波数バンドΩに対応するノード(C種類の雑音抑圧量参照値に対する出現確率値)のインデックスをVi,1,…,Vi,Cとする。そして、u(ψ)の対応する要素をuV_i,1,…,uV_i,Cとする。ただし、下付き添え字X_YはXYを意味する。その場合、最終層の出力値はソフトマックス関数で表すことができる。
【００４３】
【数６】
2018138936.tif 000008
【００４４】
なお、
o(τ,ω)=q(Ψ)        (15)
である。また、JΨ=C×ΩOである。
【００４５】
次に、誤差逆伝搬法に則って、パラメータpを最適化する計算について説明する。学習用のサンプル総数をDとする。つまり、Dフレーム分のデータを使用する。D個のサンプルに対して、式(11)、(12)の処理を実施する場合、以下のような行列形式で表される。
U(ψ)=P(ψ)Q(ψ-1)+b(ψ)1TD         (16)
Q(ψ)=f(ψ)(U(ψ))        (17)
ここで、U(ψ)∈RJ_ψ×D、Q(ψ)∈RJ_ψ×Dである。ネットワークパラメータの勾配は、出力層から入力層の順に計算される。正解値に最も近いC種類の雑音抑圧量参照値にのみ1を立てたベクトルをΞとするとき、ψ層目の勾配Δ(ψ)は以下で計算される。
【００４６】
【数７】
2018138936.tif 000009
【００４７】
ネットワークパラメータの勾配は、
【００４８】
【数８】
2018138936.tif 000010
【００４９】
となるので、以下のように逐次的に更新される。
P(ψ)←P(ψ)+ΔP(ψ)        (21)
b(ψ)←b(ψ)+Δb(ψ)        (22)
ここで、
ΔP(ψ)=μΔP(ψ)*-γ(∂P(ψ)+λP(ψ))        (23)
Δb(ψ)=μΔb(ψ)*-γ∂b(ψ)        (24)
であり、ΔP(ψ)*とΔb(ψ)*は前回の更新における摂動であり、γは学習係数、μはモメンタム、λは重み減衰である。
【００５０】
よって、パラメータpは、(i)強調対象と同じ種類の学習用音響信号SL(τ,ω)と、(ii)N種類の学習用音響信号SL,nを含む学習用混合信号XL(τ,ω)と、(iii)強調対象と同じ種類の学習用音響信号SL(τ,ω)に対して付与される雑音抑圧量参照値(q=[q1,q2,…,qC]T))とを用いて、事前に学習されたものと言える。なお、雑音抑圧量参照値(q=[q1,q2,…,qC]T))は、学習用混合信号XL(τ,ω)に含まれる雑音を抑圧する量を示すものである。
【００５１】
＜雑音抑圧量推定部１０３＞
雑音抑圧量推定部１０３は、混合信号X(τ,ω)とパラメータpとを入力とし、音響信号S(τ,ω)に対する雑音抑圧量を推定し（Ｓ１０３）、推定値W(τ,ω)を出力する。例えば、混合信号X(τ,ω)は、特徴量−ラベル生成部１９１と同様の手順で特徴量化され、推定値W(τ,ω)は、式(5)に従って連続値として推定される。ここでは、式(10)-(15)の計算と、式(5)を行うことで、推定値W(τ,ω)を得る。つまり、混合信号X(τ,ω)を用いて、
q(1)=[|X(τ,1)|2,…,|X(τ,ΩO)|2]T        (10)
を求める。パラメータpに含まれる重み行列{P(2),…,P(Ψ)}とバイアス{b(2),…,b(Ψ)}とを用いて、
u(ψ)=P(ψ)q(ψ-1)+b(ψ)        (11)
q(ψ)=f(ψ)(u(ψ))        (12)
を計算する。前述の通り、f(ψ)(・)はψ層目の活性化関数であり、例えば、Ψ-1層目までの計算では、ランプ関数(ReLU)を用いる。
f(ψ)(u(ψ))=max(0,u(ψ))    (ψ=2,…,Ψ-1)        (13)
このようにして、q(2),q(3),…,q(Ψ-1)を求める。最終層では、各周波数バンドごとに確率値(C種類の雑音抑圧量参照値に対する出現確率値)を算出する必要がある。その場合、最終層の出力値はソフトマックス関数で表すことができる。よって、
【００５２】
【数９】
2018138936.tif 000011
【００５３】
なお、
o(τ,ω)=q(Ψ)        (15)
である。以上の処理により、o(τ,ω)を求め、次式により、雑音抑圧量の推定値Wψ(τ,ω)を求め、音源強調部１０４に出力する。
【００５４】
W(τ,ω)=qTo(τ,ω)      (5)
q=[q1,q2,…,qC]T
o(τ,ω)=[o1(τ,ω),o2(τ,ω),…,oC(τ,ω)]T
【００５５】
よって、雑音抑圧量の推定値W(τ,ω)は、(i)C個の雑音抑圧量参照値q=[q1,q2,…,qC]Tと、(ii)音響信号S(τ,ω)の雑音抑圧量参照値qに対する出力確率o(τ,ω)と、の重み付け加算により表現されるものと言える。出力確率o(τ,ω)は、前述の通り、混合信号X(τ,ω)とパラメータpとに基づき得られる値である。
【００５６】
＜音源強調部１０４＞
音源強調部１０４は、混合信号X(τ,ω)と推定値W(τ,ω)とを入力とし、次式により、混合信号X(τ,ω)に含まれる音響信号S(τ,ω)を強調した強調信号^S(τ,ω)を求め（Ｓ１０４）、出力する。
^S(τ,ω)=W(τ,ω)X(τ,ω)
【００５７】
＜時間領域変換部１０５＞
時間領域変換部１０５は、強調信号^S(τ,ω)を入力とし、周波数領域の強調信号^S(τ,ω)を時間領域の強調信号^s(t)に変換し（Ｓ１０５）、出力する。周波数領域の信号を時間領域の信号に変換する方法として、周波数領域変換部１０２に対応する方法を用いればよい。例えば、逆短時間フーリエ変換等を用いる。
【００５８】
＜効果＞
以上の構成により、従来よりも適切に所望の音源だけを強調することができる。楽曲信号に対して適用することで、楽器音を強調して抽出することができる。
【００５９】
＜変形例＞
本実施形態では、式(5),(6),(15)を周波数ωで行っているが、周波数バンドΩで同様の処理を行ってもよい。
【００６０】
本実施形態では、パラメータpを求める際に用いるモデルとしてニューラルネットワークを利用しているが、他のモデル(例えば、混合ガウス分布(GMM))を利用してもよい。
【００６１】
＜第二実施形態のポイント＞
第一実施形態と異なる部分を中心に説明する。
【００６２】
第一実施形態では、N種類の音響信号sn(t)の内、強調対象の音響信号s(t)に対応する強調信号^s(t)を求め、出力している。本実施形態では、N種類の音響信号sn(t)にそれぞれ対応するN個の強調信号^s(t)を全て求める。例えば、N種類の音響信号sn(t)を全て強調し、強調信号群を再合成する構成が考えられる。このような構成は、楽曲のリミックスやリマスタリング等に応用できる。しかしながら、第一実施形態の方法で求めたN個の強調信号^s(t)を単純に加算して再合成すると、元の混合信号x(t)とかけ離れた信号になってしまうことがある。楽曲定位操作系のように、分離した後で再合成して受聴するような使い方をする場合、分離性能とともに、再合成した際の元の信号との歪が大きくないほうが好ましいと考えられる。第一実施形態のように、個々の音源を独立に分離した場合、再合成した際の歪については考慮されていない。そのため、合成後の信号が歪んでしまう可能性がある。
【００６３】
そこで本実施形態では、各音源間の雑音抑圧量の出現確率値を相互調整するための機能を含む音源強調装置を提供する。本実施形態では、楽曲中に存在する全音源を一括で処理する。同時に、深層学習モデルパラメータ推定の際に、再合成時の歪最小化コストを導入することで、N個の強調信号を足しあわせが元の混合信号に近づくようにしている。
【００６４】
＜第二実施形態に係る音源強調装置＞
図４は第二実施形態に係る音源強調装置２００の機能ブロック図を示す。図３はその処理フローの例を示す。
【００６５】
音源強調装置２００は、N種類の、楽器の演奏または歌唱それぞれに係る音源の音響信号sn(t)を含む混合信号x(t)を入力とし、N種類の音響信号sn(t)に対応するN個の強調信号^sn(t)を出力する。
【００６６】
＜データベース部２９０＞
データベース部２９０には、学習用の混合信号XL(τ,ω)と、それを構成する強調したい学習用の音響信号SL,n(τ,ω)と、学習用の雑音信号NL,n(τ,ω)とが格納されている。n=1,2,…,Nであり、本実施形態では、N種類全ての、楽器の演奏または歌唱それぞれに係る音源に対して、学習用の音響信号SL,n(τ,ω)と学習用の雑音信号NL,n(τ,ω)とが用意され、格納されている。
【００６７】
＜特徴量−ラベル生成部２９１＞
特徴量−ラベル生成部２９１は、特徴量−ラベル生成部１９１と同様に、特徴量(例えば、パワースペクトル|SL,n(τ,ω)|2、|NL,n(τ,ω)|2やそれを平滑化した値)とラベル(学習用雑音抑圧量WL,n(τ,ω))とを求め、出力する。ただし、この演算はN個の音源nそれぞれに対して行う。
【００６８】
分離後の強調信号群(ギター、ベース、ドラム等)を再合成した際に、元の混合信号との歪を計算し、できるだけその歪を小さくなるようにしたい。よって、特徴量-ラベルのセットは、全ての音源分計算する必要がある。例えば、ボーカル、ギター、ベース、ドラム、キーボードの5つの音源に分類する場合には、音源数N=5であり、N=5組の特徴量-ラベルを用意する。
【００６９】
＜事前学習部２９２＞
事前学習部１９２と事前学習部２９２の処理内容は基本的に同様である。しかし、以下の点で異なる。
(差異1)
ラベルの作成時に、全目的音源に対する雑音抑圧量の推定値Wn(τ,ω)を同時に計算する。
(差異2)
再合成時の歪最小化コストを導入する。
【００７０】
事前学習部１９２は、特徴量(例えば、パワースペクトル|SL,n(τ,ω)|2、|NL,n(τ,ω)|2やそれを平滑化した値)とラベル(学習用雑音抑圧量WL,n(τ,ω))とを入力とし、雑音抑圧量推定部２０３で雑音抑圧量を推定するために必要となるパラメータpを求め、出力する。
【００７１】
N個の強調信号群を再合成した際に、元の混合信号との歪が小さくなるように雑音抑圧量の最適設定できるという点において、第一実施形態との差分がある。
【００７２】
再合成時の元の信号の再現性を保証するためのパラメータpを最適化する提案方式について説明する。まず、n番目の音源を強調した信号(以下、強調信号ともいう)を^Sn(τ,ω)と表す。強調信号^Sn(τ,ω)は、
^Sn(τ,ω)=Wn(τ,ω)X(τ,ω)=qTon(τ,ω)X(τ,ω)        (31)
となる。Wn(τ,ω)及びon(τ,ω)はそれぞれn番目の音響信号Sn(τ,ω)に対する雑音抑圧量の推定値及びC段階の雑音抑圧量参照値に対する出力確率である。
【００７３】
N個の強調信号を単純加算した信号と、元の混合信号X(τ,ω)との二乗誤差E(τ)を以下で定義する。
【００７４】
【数１０】
2018138936.tif 000012
【００７５】
以下のように、二乗誤差E(τ)をニューラルネットの出力層の値on(τ,ω)で微分することで、再合成信号の再現性を考慮して、パラメータpを最適化できるのではないかと考えた。
【００７６】
【数１１】
2018138936.tif 000013
【００７７】
その他の処理については、第一実施形態と同様であり、誤差逆伝搬法(参考文献１参照)に則って、ニューラルネットのパラメータを最適化する。
【００７８】
よって、本実施形態のパラメータpは、(i)N種類の、楽器の演奏または歌唱それぞれに係る学習用音響信号SL,n(τ,ω)と、(ii)N種類の学習用音響信号SL,nを含む学習用混合信号XL(τ,ω)と、(iii)N種類の学習用音響信号SL,n(τ,ω)に対して付与される雑音抑圧量参照値(q=[q1,q2,…,qC]T))とを用いて、事前に学習されたものと言える。なお、雑音抑圧量参照値(q=[q1,q2,…,qC]T))は、学習用混合信号XL(τ,ω)に含まれる雑音を抑圧する量を示すものである。
【００７９】
＜雑音抑圧量推定部２０３＞
雑音抑圧量推定部２０３は、雑音抑圧量推定部１０３と同様に、混合信号X(τ,ω)とパラメータpとを入力とし、混合信号X(τ,ω)と、N種類の音響信号Sn(τ,ω)にそれぞれ対応するN個の強調信号^Sn(τ,ω)の総和と、の差分が小さくなるように、各音響信号Sn(τ,ω)に対する雑音抑圧量を推定し（Ｓ２０３）、推定値Wn(τ,ω)を出力する。なお、式(10)-(15)の計算と、式(5)を行うことで、推定値Wn(τ,ω)を得る。強調信号^Sn(τ,ω)とは、混合信号X(τ,ω)に含まれる音響信号Sn(τ,ω)を強調した信号である。なお、この演算はN個の音源nそれぞれに対して行う。
【００８０】
＜音源強調部２０４＞
音源強調部２０４は、混合信号X(τ,ω)とN個の推定値Wn(τ,ω)とを入力とし、次式により、強調信号^Sn(τ,ω)を求め（Ｓ２０４）、出力する。
^Sn(τ,ω)=Wn(τ,ω)X(τ,ω)
なお、この演算はN個の音源nそれぞれに対して行う。
【００８１】
＜時間領域変換部２０５＞
時間領域変換部２０５は、強調信号^Sn(τ,ω)を入力とし、周波数領域の強調信号^Sn(τ,ω)を時間領域の強調信号^sn(t)に変換し（Ｓ２０５）、出力する。
【００８２】
＜効果＞
このような構成とすることで、強調信号群を再合成したときに合成後の信号の歪みを低減する。特に、楽曲信号などといった、より一般的かつ多数の音が混合しているような音に対して特定の音源の強調精度が高まることが期待される。例えば、楽曲のリミックスやリマスタリングなどに応用することができる。また、特定の楽器音を強調することができるため、逆に特定の楽器音を抑圧することも可能であり、カラオケや楽器の練習といった応用も考えられる。
【００８３】
なお、本実施形態では、式(31)-(33)を周波数ωで行っているが、周波数バンドΩで同様の処理を行ってもよい。
【００８４】
＜第三実施形態のポイント＞
第一実施形態と異なる部分を中心に説明する。
【００８５】
非線形雑音抑圧処理により雑音抑圧するフレームワークでは、時間周波数領域で十分に平滑化しないと、出力音が歪みやすいことが知られている。第一実施形態、第二実施形態の音源強調処理も非線形雑音抑圧処理の範囲にあり、出力音の品質が劣化する場合がある。
【００８６】
そこで、本実施形態では、非線形雑音抑圧処理の前段に、ステレオ楽曲信号に対して線形雑音抑圧処理を挿入することで、出力信号の品質を向上させることを目的とする。なお、線形雑音抑圧処理に用いる線形フィルタは、楽曲信号の入力により時間フレームに応じて自動的に選択、切り替えすることを想定する。線形フィルタは、所定の方向から到来する音を抑圧または強調するフィルタである。
【００８７】
一般的な楽曲信号では、空間的スパース性が高いことが多いため、線形雑音抑圧処理を挿入することとした。ここで、空間的スパース性が高いとは1つの時間-周波数-空間スロットに1つの音源信号に由来する成分のみが存在することを意味する。非線形雑音抑圧処理により出力音が歪む理由の一つは、時間-周波数領域のスパース性が低いことにある。例えば、空間領域での線形雑音抑圧処理により、とある1方向にある音源を抑圧することが可能である。例えば、楽曲のミキシングの場合、構成する音源信号群を左・中央・右といったいくつかの空間に定位させることが多いため、いくつかの音源信号群をまとめて抑圧することが期待できる。線形雑音抑圧処理によりいくつかの音源信号を抑圧できれば、時間-周波数領域のスパース性が向上する可能性が期待できる。さらに、時間フレームに応じて雑音抑圧する方向を適切に切り替えることができれば、時間-周波数領域のスパース性はより高まる。よって、非線形雑音抑圧処理による雑音抑圧量の推定精度が高まることが期待できる。例えば、図５のような環境(ギター８１を左、ボーカル８２とドラム８３を中央、キーボード８４を右に定位させた状況)で収音した楽曲信号においてギター８１の音を強調する場合を考える。ある時間-周波数領域において、ギター８１の音と、ボーカル８２の音やドラム８３の音とが混在している場合に非線形雑音抑圧を行うと、ボーカル８２の音やドラム８３の音を抑圧する際に強調対象のギター８１の音を一緒に抑圧してしまい、出力音が歪む可能性がある。そこで、非線形雑音抑圧を行う前に、線形雑音抑圧を行い、ボーカル８２とドラム８３の方向から到来する音を抑圧し、抑圧後の信号(以下、第一強調信号ともいう)に対して、非線形雑音抑圧を行う。第一強調信号においてボーカル８２の音とドラム８３の音は抑圧されているため(言い換えると、時間-周波数領域のスパース性が高まるため)、非線形雑音抑圧において、ボーカル８２の音やドラム８３の音を抑圧する際に強調対象のギターの音を一緒に抑圧してしまうという問題が生じずらくなる。また、抑圧する方向は、線形フィルタにより制御する。予め複数の異なる方向にそれぞれ対応する複数の線形フィルタを用意しておく。複数の線形フィルタを変更しながら、強調対象の音のSNRが最も高くなる線形フィルタを選択することで、時間-周波数領域のスパース性はより高まる。
【００８８】
なお、[背景技術]において、入力信号がステレオ信号の場合、加算したり、重み付け加算してシングルチャネル化されたモノラル信号を利用すると説明したが、本実施形態では、ステレオ信号をシングルチャネル化せずにそのまま利用する。よって、混合信号x(t)=[x(L)(t),x(R)(t)]Tとする。x(L)(t)はLチャネルの混合信号であり、x(R)(t)はRチャネルの混合信号である。
【００８９】
本実施形態では、線形雑音抑圧のみを行う音源強調装置について説明する。
【００９０】
＜第三実施形態に係る音源強調装置＞
図６は第三実施形態に係る音源強調装置３００の機能ブロック図を、図７はその処理フローの例を示す。
【００９１】
音源強調装置３００は、N種類の、楽器の演奏または歌唱それぞれに係る音源の音響信号sn(t)を含む混合信号x(t)=[x(L)(t),x(R)(t)]Tを入力とし、N種類の音響信号sn(t)の内、強調対象の音響信号s(t)に対応する第一強調信号^g(t)を出力する。ただし、n=1,2,…,Nであり、Nは1以上の整数の何れかである。
【００９２】
音源強調装置３００は、周波数領域変換部３０２、線形雑音抑圧部３０３、時間領域変換部３０５、データベース部３９０及び事前学習部３９２を含む。
【００９３】
＜周波数領域変換部３０２＞
周波数領域変換部３０２は、時間領域の混合信号x(t)=[x(L)(t),x(R)(t)]Tを入力とし、時間領域の混合信号x(t)を周波数領域の混合信号X(τ,ω)=[X(L)(τ,ω),X(R)(τ,ω)]Tに変換し（Ｓ３０２）、出力する。
【００９４】
＜線形雑音抑圧部３０３＞
線形雑音抑圧部３０３は、周波数領域の混合信号X(τ,ω)を受け取り、周波数領域の混合信号X(τ,ω)を線形フィルタ推定モデルに入力して、事前に用意したM個の線形フィルタWm(τ,ω)の中から、強調対象の強調したい音響信号S(τ,ω)に対するSNRを最大化する線形フィルタWm^*(τ,ω)を推定する。なお、下付き添え字m^*はm*を意味する。m=1,2,…,Mであり、m*は強調したい音響信号S(τ,ω)に対するSNRを最大化する線形フィルタのインデックスである。
【００９５】
次に、線形雑音抑圧部３０３は、線形フィルタWm^*(τ,ω)を用いて、混合信号X(τ,ω)をフィルタリングし、第一強調信号^G(τ,ω)を求め(Ｓ３０３)、出力する。例えば、第一強調信号^G(τ,ω)は次式で表される。
^G(τ,ω)=WTm^*(τ,ω)X(τ,ω)
【００９６】
線形フィルタ推定モデルの学習には様々な機械学習手法を利用できるが、今回はDNN、CNN、RNNといった深層学習モデルを利用することを考える。また、機械学習モデルのパラメータΨは事前に学習しておく。ここで、各線形フィルタに対するSNRは以下のように計算される。
【００９７】
【数１２】
2018138936.tif 000014
【００９８】
最適線形フィルタのインデックスm*は、強調したい音響信号S(τ,ω)以外の音響信号の発音に合わせて時間フレームごとに切り替えてもよい。例えば、図５の状況で収音した楽曲信号においてギター８１の音を強調する場合、ボーカル８２やドラム８３の音が大きい場合には中央から到来する音を抑圧する線形フィルタを用い、キーボード８４の音が大きい場合には右から到来する音を抑圧する線形フィルタを用いる構成等が考えられる。なお、各時間フレームごとに細かく切り替えることも可能ではあるが、頻繁に線形フィルタが切り替わると耳障りな音になる可能性が高いため、ある程度の時間(例えば500[ms]から1[s]程度)ごとにフィルタインデックスを切り替える構成としてもよい。
【００９９】
＜データベース部３９０＞
データベース部３９０には、深層学習モデルの学習のためのデータセット(以下、学習用データセットともいう)DLが格納されている。学習用データセットDLとしては、(i)N種類の、楽器の演奏または歌唱それぞれに係る学習用音響信号SL,nを含む学習用混合信号XLに基づく情報(入力データ)と、(ii)強調したい学習用音響信号SLに対するSNRを最大化する線形フィルタに対応する情報(ラベル)とを含む。
【０１００】
(i)学習用混合信号XLに基づく情報としては、例えば、以下のようなものがある。
【０１０１】
(a)学習用混合信号XL=[XL(L)(τ,ω),XL(R)(τ,ω)]やそのパワースペクトラム。
【０１０２】
(b)M個の異なる方向をそれぞれ強調するようなMパターンの線形フィルタWm(τ,ω)と学習用混合信号XL(τ,ω)とを掛け合わせた信号Wm(τ,ω)XL(τ,ω)やそのパワースペクトラム。
【０１０３】
(c)M個の異なる方向をそれぞれ抑圧するようなMパターンの線形フィルタWm(τ,ω)と学習用混合信号XL(τ,ω)とを掛け合わせた信号Wm(τ,ω)XL(τ,ω)やそのパワースペクトラム。
【０１０４】
(d)M/2個の異なる方向をそれぞれ強調するようなM/2パターンの線形フィルタWm(τ,ω)(ただし、Mは2以上の偶数であり、m=1,2,…,M/2)と学習用混合信号XL(τ,ω)とを掛け合わせた信号Wm(τ,ω)XL(τ,ω)やそのパワースペクトラムと、M/2個の異なる方向をそれぞれ抑圧するようなM/2パターンの線形フィルタWm(τ,ω)(ただし、m=(M/2)+1,(M/2)+2,…,M)と学習用混合信号XL(τ,ω)とを掛け合わせた信号Wm(τ,ω)XL(τ,ω)やそのパワースペクトラム。
【０１０５】
(ii)強調したい学習用音響信号SLに対するSNRを最大化する線形フィルタに対応する情報としては、例えば、以下のようなものがある。
【０１０６】
(A)強調したい学習用音響信号SLに対するSNRを最大化する線形フィルタのインデックス。
【０１０７】
(B)強調したい学習用音響信号SLに対するSNR。例えば、式(41)によりSNRを求める。
【０１０８】
(C)強調したい学習用音響信号SLに対するSNRを量子化した場合のインデックス。
【０１０９】
上述の(B)〜(C)の場合には、求めたM個のSNRまたはそのインデックスから、SNRを最大化する線形フィルタのインデックスを求めることができる。
【０１１０】
＜事前学習部３９２＞
事前学習部３９２は、学習用データセットDLを入力として、深層学習モデルのパラメータΨを学習し(参考文献１参照)、出力する。なお、この学習は、音源強調処理に先立って予め行っておき、パラメータΨは線形雑音抑圧部３０３に設定しておく。
【０１１１】
＜時間領域変換部３０５＞
時間領域変換部３０５は、第一強調信号^G(τ,ω)を入力とし、周波数領域の第一強調信号^G(τ,ω)を時間領域の第一強調信号^g(t)に変換し（Ｓ３０５）、出力する。周波数領域の信号を時間領域の信号に変換する方法として、周波数領域変換部３０２に対応する方法を用いればよい。
【０１１２】
＜効果＞
このような構成によっても、従来よりも適切に所望の音源だけを強調することができる。楽曲信号に対して適用することで、楽器音を強調して抽出することができる。
【０１１３】
＜第四実施形態に係る音源強調装置＞
本実施形態では、第一実施形態と第三実施形態とを組合せている。第三実施形態と異なる部分を中心に説明する。
【０１１４】
図８は第四実施形態に係る音源強調装置４００の機能ブロック図を、図９はその処理フローの例を示す。
【０１１５】
音源強調装置４００は、N種類の、楽器の演奏または歌唱それぞれに係る音源の音響信号sn(t)を含む混合信号x(t)=[x(L)(t),x(R)(t)]Tを入力とし、N種類の音響信号sn(t)の内、強調対象の音響信号s(t)に対応する強調信号^s(t)を出力する。
【０１１６】
音源強調装置４００は、周波数領域変換部３０２、線形雑音抑圧部３０３、データベース部３９０、事前学習部３９２、雑音抑圧量推定部４０３、音源強調部４０４、時間領域変換部１０５、データベース部４９０、特徴量−ラベル生成部４９１及び事前学習部４９２を含む。周波数領域変換部３０２、線形雑音抑圧部３０３、データベース部３９０、事前学習部３９２は第三実施形態で説明した通りである。雑音抑圧量推定部４０３、音源強調部４０４、データベース部４９０、特徴量−ラベル生成部４９１及び事前学習部４９２における処理は、それぞれ第一実施形態に係る雑音抑圧量推定部１０３、音源強調部１０４、データベース部１９０、特徴量−ラベル生成部１９１及び事前学習部１９２と同じである。ただし、混合信号X(τ,ω)及び混合信号X(τ,ω)に対応する信号に代えて、第一強調信号^G(τ,ω)及び第一強調信号^G(τ,ω)に対応する信号を用いる点が異なる。以下、処理の概要を説明する。
【０１１７】
＜雑音抑圧量推定部４０３＞
雑音抑圧量推定部４０３は、第一強調信号^G(τ,ω)とパラメータpとを入力とし、第一強調信号^G(τ,ω)に対する雑音抑圧量を推定し（Ｓ４０３）、推定値W(τ,ω)を出力する。雑音抑圧量推定部４０３の処理内容は、混合信号X(τ,ω)に代えて、第一強調信号^G(τ,ω)を用いる点を除けば、雑音抑圧量推定部１０３と同じである。
【０１１８】
＜音源強調部４０４＞
音源強調部４０４は、第一強調信号^G(τ,ω)と推定値W(τ,ω)とを入力とし、次式により、第一強調信号^G(τ,ω)に含まれる音響信号S(τ,ω)を強調した強調信号^S(τ,ω)を求め（Ｓ４０４）、出力する。
^S(τ,ω)=W(τ,ω)^G(τ,ω)
【０１１９】
＜データベース部４９０＞
データベース部４９０には、第一実施形態のデータベース部１９０と同等のデータが格納される。ただし、線形雑音抑圧処理後のデータが格納される点が異なる。
【０１２０】
例えば、データベース部４９０には、学習用の混合信号XL(τ,ω)に対して線形雑音抑圧処理を行った信号(Wm^*(τ,ω)XL(τ,ω)、ただし、Wm^*(τ,ω)は、線形雑音抑圧部３０３で用いる線形フィルタWm^*(τ,ω)と同じフィルタ。以下、学習用第一強調信号^GL(τ,ω)=Wm^*(τ,ω)XL(τ,ω)ともいう)と、学習用の混合信号XL(τ,ω)を構成する強調したい学習用の音響信号SL(τ,ω)に対して線形雑音抑圧処理を行った信号Wm^*(τ,ω)SL(τ,ω)と、学習用の雑音信号NL(τ,ω)に対して線形雑音抑圧処理を行った信号Wm^*(τ,ω)NL(τ,ω)とが格納されている。
【０１２１】
＜特徴量−ラベル生成部４９１＞
特徴量−ラベル生成部４９１では、特徴量−ラベル生成部１９１と同様の処理を行う。ただし、SL(τ,ω)に代えてWm^*(τ,ω)SL(τ,ω)を、NL(τ,ω)に代えてWm^*(τ,ω)NL(τ,ω)を用いる点が異なる。
【０１２２】
特徴量−ラベル生成部４９１では、強調したい学習用の音響信号SL(τ,ω)に対して線形雑音抑圧処理を行った信号Wm^*(τ,ω)SL(τ,ω)と、学習用の雑音信号NL(τ,ω)に対して線形雑音抑圧処理を行った信号Wm^*(τ,ω)NL(τ,ω)とを入力として、特徴量とラベルとを出力する。
【０１２３】
例えば、ラベル(学習用雑音抑圧量WL(τ,ω))は、以下のように計算する。
【０１２４】
【数１３】
2018138936.tif 000015
【０１２５】
このようにして、特徴量−ラベル生成部４９１は、特徴量(例えば、パワースペクトル|Wm^*(τ,ω)SL(τ,ω)|2、|Wm^*(τ,ω)NL(τ,ω)|2やそれを平滑化した値)とラベル(学習用雑音抑圧量WL(τ,ω))とを求め、出力する。
【０１２６】
＜事前学習部４９２＞
事前学習部４９２は、特徴量(例えば、パワースペクトル|Wm^*(τ,ω)SL(τ,ω)|2、|Wm^*(τ,ω)NL(τ,ω)|2やそれを平滑化した値)とラベル(学習用雑音抑圧量WL(τ,ω))とを入力とし、雑音抑圧量推定部４０３で雑音抑圧量を推定するために必要となるパラメータpを求め、出力する。SL(τ,ω)に代えて|Wm^*(τ,ω)SL(τ,ω)|2を、NL(τ,ω)に代えてWm^*(τ,ω)NL(τ,ω)を用いる点を除けば、事前学習部１９２と同様である。
【０１２７】
＜効果＞
このような構成により、非線形雑音抑圧処理の前段に、ステレオ楽曲信号に対して線形雑音抑圧処理を挿入することで、第一実施形態よりも強調信号^s(t)の品質向上が期待できる。
【０１２８】
＜変形例＞
事前学習部４９２では、特徴量として、パワースペクトル|Wm^*(τ,ω)SL(τ,ω)|2、|Wm^*(τ,ω)NL(τ,ω)|2やそれを平滑化した値を例示している。さらに、特徴量として、m*番目の方向に対して死角を形成する線形フィルタを掛け合わせた後の信号のパワースペクトルや、m*番目の方向以外の方向を強調する線形フィルタ(複数の線形フィルタであってもよい)を掛け合わせた後の信号のパワースペクトル等を前述のパワースペクトル|Wm^*(τ,ω)SL(τ,ω)|2、|Wm^*(τ,ω)NL(τ,ω)|2と一緒に特徴量として用いてもよい。なお、データベース部４９０には、事前学習部４９２で用いる値、または、用いる値を求めるための値を予め格納しておけばよい。
【０１２９】
＜第五実施形態に係る音源強調装置＞
本実施形態では、第三実施形態と第二実施形態とを組み合わせる。第三実施形態と異なる部分を中心に説明する。
【０１３０】
図１０は第五実施形態に係る音源強調装置５００の機能ブロック図を、図９はその処理フローの例を示す。
【０１３１】
音源強調装置５００は、N種類の、楽器の演奏または歌唱それぞれに係る音源の音響信号sn(t)を含む混合信号x(t)=[x(L)(t),x(R)(t)]Tを入力とし、N種類の音響信号sn(t)に対応するN個の強調信号^sn(t)を出力する。
【０１３２】
音源強調装置５００は、周波数領域変換部３０２、線形雑音抑圧部５０３、データベース部５９０、事前学習部５９２、雑音抑圧量推定部６０３、音源強調部６０４、時間領域変換部２０５、データベース部６９０、特徴量−ラベル生成部６９１及び事前学習部６９２を含む。
【０１３３】
線形雑音抑圧部５０３、データベース部５９０、事前学習部５９２における処理は、それぞれ第三実施形態に係る線形雑音抑圧部３０３、データベース部３９０、事前学習部３９２と同じである。ただし、本実施形態では、第二実施形態で説明した再合成時の歪最小化コストを導入する。そのため、全てのnに対応するN個の第一強調信号^Gn(τ,ω)を求める。
【０１３４】
雑音抑圧量推定部６０３、音源強調部６０４、データベース部６９０、特徴量−ラベル生成部６９１及び事前学習部６９２における処理は、それぞれ第二実施形態の雑音抑圧量推定部２０３、音源強調部２０４、データベース部２９０、特徴量−ラベル生成部２９１及び事前学習部２９２と同じである。ただし、混合信号X(τ,ω)及び混合信号X(τ,ω)に対応する信号に代えて、第一強調信号^Gn(τ,ω)及び第一強調信号^Gn(τ,ω)に対応する信号を用いる点が異なる。
【０１３５】
以下、各部の処理の概要を説明する。
【０１３６】
＜線形雑音抑圧部５０３＞
線形雑音抑圧部５０３は、周波数領域の混合信号X(τ,ω)を受け取り、周波数領域の混合信号X(τ,ω)を線形フィルタ推定モデルに入力して、事前に用意した複数の線形フィルタWm(τ,ω)の中から、強調対象の強調したい音響信号Sn(τ,ω)に対するSNRを最大化する線形フィルタWm^*_n(τ,ω)を推定する。なお、下付き添え字m^*_nはm*nを意味する。m=1,2,…,Mであり、m*nは強調したい音響信号Sn(τ,ω)に対するSNRを最大化する線形フィルタのインデックスである。ただし、n=1,2,…,Nであり、N個の線形フィルタWm^*_n(τ,ω)を推定する。
【０１３７】
次に、線形雑音抑圧部３０３は、N個の線形フィルタWm^*_n(τ,ω)を用いて、混合信号X(τ,ω)をフィルタリングし、N個の第一強調信号^Gn(τ,ω)を求め(Ｓ５０３)、出力する。例えば、第一強調信号^Gn(τ,ω)は次式で表される。
^Gn(τ,ω)=WTm^*_n(τ,ω)X(τ,ω)
【０１３８】
なお、線形雑音抑圧部３０３は、同時に(同じフレーム時刻τで)全目的音源に対する最適フィルタインデックスm*nを推定し、第一強調信号^Gn(τ,ω)を出力する。
【０１３９】
＜データベース部５９０＞
データベース部５９０には、第三実施形態のデータベース部３９０と同等のデータが格納策れる。ただし、ラベルとして各目的音源nに対してSNRを最大化する最適線形フィルタのインデックスm*nを全て(N個)格納する。学習用データセットDLとしては、(i)学習用混合信号XL(τ,ω)に基づく情報(入力データ)と、(ii)N個の強調したい学習用音響信号SL,n(τ,ω)に対するSNRを最大化する線形フィルタに対応する情報とを含む。n=1,2,…,Nである。
【０１４０】
＜事前学習部５９２＞
事前学習部５９２は、学習用データセットDLを入力として、深層学習モデルのパラメータΨを学習し、出力する。なお、この学習は、音源強調処理に先立って予め行っておき、パラメータΨは線形雑音抑圧部５０３に設定しておく。なお、単一の深層学習モデルから全目的音源に対する最適線形フィルタのインデックスが同時に推定されるように深層学習モデルが学習される。
【０１４１】
＜雑音抑圧量推定部６０３＞
雑音抑圧量推定部６０３は、N個の第一強調信号^Gn(τ,ω)とパラメータpとを入力とし、前記混合信号Xと、N個の強調信号^Sn(τ,ω)の総和と、の差分が小さくなるように、各音響信号Sn(τ,ω)に対する雑音抑圧量を推定し（Ｓ６０３）、推定値Wn(τ,ω)を出力する。なお、この演算はN個の音源nそれぞれに対して行う。なお、強調信号^Sn(τ,ω)とは、第一強調信号^Gn(τ,ω)に含まれる音響信号Sn(τ,ω)を強調した信号である。
【０１４２】
＜音源強調部６０４＞
音源強調部６０４は、第一強調信号^Gn(τ,ω)と推定値Wn(τ,ω)とを入力とし、次式により、強調信号^Sn(τ,ω)を求め（Ｓ６０４）、出力する。
^Sn(τ,ω)=Wn(τ,ω)^Gn(τ,ω)
なお、この演算はN個の音源nそれぞれに対して行う。
【０１４３】
＜データベース部６９０＞
データベース部６９０には、第二実施形態のデータベース部２９０と同等のデータが格納される。ただし、線形雑音抑圧処理後のデータが格納される点が異なる。
【０１４４】
例えば、データベース部６９０には、学習用の混合信号XL(τ,ω)に対して線形雑音抑圧処理を行った信号Wm^*_n(τ,ω)XL(τ,ω)(ただし、Wm^*_n(τ,ω)は、線形雑音抑圧部５０３で用いる線形フィルタWm^*_n(τ,ω)と同じフィルタ)と、学習用の音響信号SL,n(τ,ω)に対して線形雑音抑圧処理を行った信号Wm^*_n(τ,ω)SL,n(τ,ω)、学習用の雑音信号NL,n(τ,ω)に対して線形雑音抑圧処理を行った信号Wm^*_n(τ,ω)NL,n(τ,ω)とが格納されている。n=1,2,…,Nであり、本実施形態では、N種類全ての、楽器の演奏または歌唱それぞれに係る音源に対して、信号Wm^*_n(τ,ω)XL(τ,ω)、Wm^*_n(τ,ω)SL,n(τ,ω)、Wm^*_n(τ,ω)NL,n(τ,ω)が用意され、格納されている。
【０１４５】
＜特徴量−ラベル生成部６９１及び事前学習部６９２＞
特徴量−ラベル生成部６９１及び事前学習部６９２の処理内容は、それぞれ特徴量−ラベル生成部２９１及び事前学習部２９２の処理内容と同様である。ただし、SL,n(τ,ω)、NL,n(τ,ω)に代えて、それぞれWm^*_n(τ,ω)SL,n(τ,ω)、Wm^*_n(τ,ω)NL,n(τ,ω)を用いる。
【０１４６】
＜効果＞
このような構成により、第二実施形態及び第四実施形態と同様の効果を得ることができる。
【０１４７】
＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
【０１４８】
＜プログラム及び記録媒体＞
また、上記の実施形態及び変形例で説明した各装置における各種の処理機能をコンピュータによって実現してもよい。その場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
【０１４９】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【０１５０】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させてもよい。
【０１５１】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶部に格納する。そして、処理の実行時、このコンピュータは、自己の記憶部に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実施形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよい。さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【０１５２】
また、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2018138936.tif 000016
【図２】
2018138936.tif 000017
【図３】
2018138936.tif 000018
【図４】
2018138936.tif 000019
【図５】
2018138936.tif 000020
【図６】
2018138936.tif 000021
【図７】
2018138936.tif 000022
【図８】
2018138936.tif 000023
【図９】
2018138936.tif 000024
【図１０】
2018138936.tif 000025