(57)【要約】【課題】楽器音の特性を反映したDNNを用いて、高精度に音源強調をすることができる楽音強調技術を提供する。【解決手段】時間領域楽曲信号を周波数領域変換し、周波数領域楽曲信号を生成する周波数領域変換部と、周波数領域楽曲信号から所定の楽器音を強調するために用いるウィーナーフィルタを推定するウィーナーフィルタ推定部と、周波数領域楽曲信号とウィーナーフィルタから周波数領域強調楽音を生成する信号強調部と、周波数領域強調楽音から時間領域での強調楽音を生成する時間領域変換部とを含み、ウィーナーフィルタ推定部は、対数周波数領域での楽曲信号の振幅スペクトルを入力とし、対数周波数領域での楽曲信号の一部の信号の振幅スペクトルを出力する、2n層の畳み込みデノイジングオートエンコーダを含むディープニューラルネットワークを用いて、周波数領域楽曲信号からウィーナーフィルタを推定する。【選択図】図１
2019078864.tif 000002
【特許請求の範囲】
【請求項１】
モノラル混合楽曲信号である時間領域楽曲信号x(t)を周波数領域変換し、周波数領域楽曲信号X(ω,τ)を生成する周波数領域変換部と、
前記周波数領域楽曲信号X(ω,τ)から所定の楽器音を強調するために用いるウィーナーフィルタ^W(ω,τ)を推定するウィーナーフィルタ推定部と、
前記周波数領域楽曲信号X(ω,τ)と前記ウィーナーフィルタ^W(ω,τ)から、周波数領域強調楽音S’(ω,τ)を生成する信号強調部と、
前記周波数領域強調楽音S’(ω,τ)から時間領域での強調楽音s’(t)を生成する時間領域変換部と
を含む楽音強調装置であって、
前記ウィーナーフィルタ推定部は、
対数周波数領域での楽曲信号の振幅スペクトルを入力とし、対数周波数領域での楽曲信号の一部の信号の振幅スペクトルを出力する、2n層（nは1以上の整数）の畳み込みデノイジングオートエンコーダを含むディープニューラルネットワークを用いて、前記周波数領域楽曲信号X(ω,τ)から前記ウィーナーフィルタ^W(ω,τ)を推定する
楽音強調装置。
【請求項２】
請求項１に記載の楽音強調装置であって、
前記ウィーナーフィルタ推定部は、
前記周波数領域楽曲信号X(ω,τ)を対数周波数領域変換し、楽曲信号対数振幅スペクトル|X(ω’,τ)|を計算する対数振幅スペクトル計算部と、
対数周波数領域での楽曲信号の振幅スペクトルを入力とし、対数周波数領域での所定の楽器音の振幅スペクトルを出力する、2n層（nは1以上の整数）の畳み込みデノイジングオートエンコーダを含むディープニューラルネットワークを用いて、前記楽曲信号対数振幅スペクトル|X(ω’,τ)|から前記所定の楽器音の対数周波数領域における振幅スペクトルである推定目的音対数振幅スペクトル|^S(ω’,τ)|を計算する目的音畳み込みオートエンコーダ部と、
前記推定目的音対数振幅スペクトル|^S(ω’,τ)|を周波数領域変換し、推定目的音振幅スペクトル|^S(ω,τ)|を計算する対数−線形周波数変換部と、
前記周波数領域楽曲信号X(ω,τ)の振幅スペクトルである楽曲信号振幅スペクトル|X(ω,τ)|と前記推定目的音振幅スペクトル|^S(ω,τ)|から前記ウィーナーフィルタ^W(ω,τ)を計算するウィーナーフィルタ計算部と
を含む楽音強調装置。
【請求項３】
請求項１に記載の楽音強調装置であって、
前記ウィーナーフィルタ推定部は、
前記周波数領域楽曲信号X(ω,τ)を対数周波数領域変換し、楽曲信号対数振幅スペクトル|X(ω’,τ)|を計算する対数振幅スペクトル計算部と、
対数周波数領域での楽曲信号の振幅スペクトルを入力とし、対数周波数領域での所定の楽器音の振幅スペクトルを出力する、2n層（nは1以上の整数）の畳み込みデノイジングオートエンコーダを含むディープニューラルネットワークを用いて、前記楽曲信号対数振幅スペクトル|X(ω’,τ)|から前記所定の楽器音の対数周波数領域における振幅スペクトルである推定目的音対数振幅スペクトル|^S(ω’,τ)|を計算する目的音畳み込みオートエンコーダ部と、
対数周波数領域での楽曲信号の振幅スペクトルを入力とし、対数周波数領域での所定の楽器音以外のすべての音である雑音の振幅スペクトルを出力する、2n層（nは1以上の整数）の畳み込みデノイジングオートエンコーダを含むディープニューラルネットワークを用いて、前記楽曲信号対数振幅スペクトル|X(ω’,τ)|から前記所定の楽器音以外のすべての音である雑音の対数周波数領域における振幅スペクトルである推定雑音対数振幅スペクトル|^N(ω’,τ)|を計算する雑音畳み込みオートエンコーダ部と、
前記推定目的音対数振幅スペクトル|^S(ω’,τ)|を周波数領域変換し、推定目的音振幅スペクトル|^S(ω,τ)|を計算し、前記推定雑音対数振幅スペクトル|^N(ω’,τ)|を周波数領域変換し、推定雑音振幅スペクトル|^N(ω,τ)|を計算する対数−線形周波数変換部と、
前記推定目的音振幅スペクトル|^S(ω,τ)|と前記推定雑音振幅スペクトル|^N(ω,τ)|から前記ウィーナーフィルタ^W(ω,τ)を計算するウィーナーフィルタ計算部と
を含む楽音強調装置。
【請求項４】
請求項１に記載の楽音強調装置であって、
前記ウィーナーフィルタ推定部は、
前記周波数領域楽曲信号X(ω,τ)を対数周波数領域変換し、楽曲信号対数振幅スペクトル|X(ω’,τ)|を計算する対数振幅スペクトル計算部と、
対数周波数領域での楽曲信号の振幅スペクトルを入力とし、対数周波数領域での所定の楽器音の振幅スペクトルを出力する、2n層（nは1以上の整数）の畳み込みデノイジングオートエンコーダを含むディープニューラルネットワークを用いて、前記楽曲信号対数振幅スペクトル|X(ω’,τ)|から前記所定の楽器音の対数周波数領域における振幅スペクトルである推定目的音対数振幅スペクトル|^S(ω’,τ)|を計算する目的音畳み込みオートエンコーダ部と、
前記楽曲信号対数振幅スペクトル|X(ω’,τ)|と前記推定目的音対数振幅スペクトル|^S(ω’,τ)|から対数ウィーナーフィルタ^W(ω’,τ)を計算する対数ウィーナーフィルタ計算部と、
前記対数ウィーナーフィルタ^W(ω’,τ)を周波数領域変換し、前記ウィーナーフィルタ^W(ω,τ)を計算する対数−線形周波数変換部と
を含む楽音強調装置。
【請求項５】
請求項１に記載の楽音強調装置であって、
前記ウィーナーフィルタ推定部は、
前記周波数領域楽曲信号X(ω,τ)を対数周波数領域変換し、楽曲信号対数振幅スペクトル|X(ω’,τ)|を計算する対数振幅スペクトル計算部と、
対数周波数領域での楽曲信号の振幅スペクトルを入力とし、対数周波数領域での所定の楽器音の振幅スペクトルを出力する、2n層（nは1以上の整数）の畳み込みデノイジングオートエンコーダを含むディープニューラルネットワークを用いて、前記楽曲信号対数振幅スペクトル|X(ω’,τ)|から前記所定の楽器音の対数周波数領域における振幅スペクトルである推定目的音対数振幅スペクトル|^S(ω’,τ)|を計算する目的音畳み込みオートエンコーダ部と、
対数周波数領域での楽曲信号の振幅スペクトルを入力とし、対数周波数領域での所定の楽器音以外のすべての音である雑音の振幅スペクトルを出力する、2n層（nは1以上の整数）の畳み込みデノイジングオートエンコーダを含むディープニューラルネットワークを用いて、前記楽曲信号対数振幅スペクトル|X(ω’,τ)|から前記所定の楽器音以外のすべての音である雑音の対数周波数領域における振幅スペクトルである推定雑音対数振幅スペクトル|^N(ω’,τ)|を計算する雑音畳み込みオートエンコーダ部と、
前記推定目的音対数振幅スペクトル|^S(ω’,τ)|と前記推定雑音対数振幅スペクトル|^N(ω’,τ)|から対数ウィーナーフィルタ^W(ω’,τ)を計算する対数ウィーナーフィルタ計算部と、
前記対数ウィーナーフィルタ^W(ω’,τ)を周波数領域変換し、前記ウィーナーフィルタ^W(ω,τ)を計算する対数−線形周波数変換部と
を含む楽音強調装置。
【請求項６】
周波数領域でのモノラル混合楽曲信号である周波数領域楽曲信号X(ω,τ)を対数周波数領域変換し、楽曲信号対数振幅スペクトル|X(ω’,τ)|を計算し、前記周波数領域楽曲信号X(ω,τ)の一部の信号である周波数領域部分楽曲信号Y(ω,τ)を対数周波数領域変換し、部分楽曲信号対数振幅スペクトル|Y(ω’,τ)|を計算する対数振幅スペクトル計算部と、
現在最適化中のネットワークパラメータを設定した2n層（nは1以上の整数）の畳み込みデノイジングオートエンコーダを含むディープニューラルネットワークを用いて、前記楽曲信号対数振幅スペクトル|X(ω’,τ)|から推定部分楽曲信号対数振幅スペクトル|^Y(ω’,τ)|を計算する畳み込みオートエンコーダ計算部と、
前記部分楽曲信号対数振幅スペクトル|Y(ω’,τ)|と前記推定部分楽曲信号対数振幅スペクトル|^Y(ω’,τ)|を用いて、前記ネットワークパラメータを最適化するネットワークパラメータ最適化部と
を含む畳み込みオートエンコーダ学習装置。
【請求項７】
楽音強調装置が、モノラル混合楽曲信号である時間領域楽曲信号x(t)を周波数領域変換し、周波数領域楽曲信号X(ω,τ)を生成する周波数領域変換ステップと、
前記楽音強調装置が、前記周波数領域楽曲信号X(ω,τ)から所定の楽器音を強調するために用いるウィーナーフィルタ^W(ω,τ)を推定するウィーナーフィルタ推定ステップと、
前記楽音強調装置が、前記周波数領域楽曲信号X(ω,τ)と前記ウィーナーフィルタ^W(ω,τ)から、周波数領域強調楽音S’(ω,τ)を生成する信号強調ステップと、
前記楽音強調装置が、前記周波数領域強調楽音S’(ω,τ)から時間領域での強調楽音s’(t)を生成する時間領域変換ステップと
を含む楽音強調方法であって、
前記ウィーナーフィルタ推定ステップは、
対数周波数領域での楽曲信号の振幅スペクトルを入力とし、対数周波数領域での楽曲信号の一部の信号の振幅スペクトルを出力する、2n層（nは1以上の整数）の畳み込みデノイジングオートエンコーダを含むディープニューラルネットワークを用いて、前記周波数領域楽曲信号X(ω,τ)から前記ウィーナーフィルタ^W(ω,τ)を推定する
楽音強調方法。
【請求項８】
請求項１ないし５のいずれか１項に記載の楽音強調装置または請求項６に記載の畳み込みオートエンコーダ学習装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、様々な音源の音源信号が混合する音源信号から特定の音源の音源信号を強調する音源強調技術に関するものであり、特に複数の楽音信号で構成された楽曲信号から目的とする楽音信号を強調する楽音強調技術に関する。
【背景技術】
【０００２】
従来から様々な音源の音源信号が混合する音源信号から特定の音源の音源信号を強調する手法については広く研究されている。最近では、例えば、非特許文献１のように、ディープニューラルネットワーク（DNN: Deep Neural Networks）を用いた教師あり学習により、複数の変数間の射影を獲得するアプローチが多くとられている。
【０００３】
以下では、図１３〜図１４を参照して非特許文献１の音源強調装置９００を説明する（非特許文献１のFig.1参照）。音源強調装置９００は、マイクロホンで収音した観測信号中の目的音を音源強調した強調音を出力するものである。図１３は、音源強調装置９００の構成を示すブロック図である。図１４は、音源強調装置９００の動作を示すフローチャートである。図１３に示すように音源強調装置９００は、周波数領域変換部９１０と、ウィーナーフィルタ推定部９２０と、信号強調部９３０と、時間領域変換部９４０を含む。
【０００４】
音源強調装置９００は、学習結果記録部９９０に接続している。学習結果記録部９９０には事前に学習したDNNのネットワークパラメータの値が記録されている。DNNのネットワークパラメータは、重み行列WS(2),WS(3)とバイアスベクトルbS(2),bS(3))、重み行列WN(2),WN(3)とバイアスベクトルbN(2),bN(3)、重み行列W(4)である。
【０００５】
周波数領域変換部９１０は、時間領域混合音である観測信号x(t)を周波数領域変換し、周波数領域観測信号X(ω,τ)を生成する（Ｓ９１０）。ただし、tは時間のインデックス、ωは周波数ビン番号、τはフレーム番号である。
【０００６】
ウィーナーフィルタ推定部９２０は、学習結果記録部９９０から読み出したネットワークパラメータを用いて、周波数領域観測信号X(ω,τ)からウィーナーフィルタ^W(ω,τ)を推定する（Ｓ９２０）。以下、図１５〜図１６を参照してウィーナーフィルタ推定部９２０について説明する。図１５は、ウィーナーフィルタ推定部９２０の構成を示すブロック図である。図１６は、ウィーナーフィルタ推定部９２０の動作を示すフローチャートである。図１５に示すようにウィーナーフィルタ推定部９２０は、ビームフォーミング出力パワー計算部９２１と、目的音非負オートエンコーダ部９２２と、雑音非負オートエンコーダ部９２３と、相補減算部９２４と、ウィーナーフィルタ計算部９２５を含む。
【０００７】
まず、ビームフォーミング出力パワー計算部９２１は、周波数領域観測信号X(ω,τ)から目的音BF出力パワーφY_S(ω,τ)、雑音BF出力パワーφY_N(ω,τ)を計算する（Ｓ９２１）。
【０００８】
次に、目的音非負オートエンコーダ部９２２は、Ｓ９２１で計算した目的音BF出力パワーφY_S(ω,τ)を第1層の入力qS(1)とし、目的音スペクトル特性ベクトルqS(3)を計算する（Ｓ９２２）。目的音非負オートエンコーダ部９２２には、事前に学習したDNNのネットワークパラメータ（具体的には、重み行列WS(2),WS(3)とバイアスベクトルbS(2),bS(3))）が設定されている。
【０００９】
同様に、雑音非負オートエンコーダ部９２３は、Ｓ９２１で計算した雑音BF出力パワーφY_N(ω,τ)を第1層の入力qN(1)とし、雑音スペクトル特性ベクトルqN(3)を計算する（Ｓ９２３）。雑音非負オートエンコーダ部９２３には、事前に学習したDNNのネットワークパラメータ（具体的には、重み行列WN(2),WN(3)とバイアスベクトルbN(2),bN(3)）が設定されている。
【００１０】
次に、相補減算部９２４は、Ｓ９２２、Ｓ９２３で計算した目的音スペクトル特性ベクトルqS(3)、雑音スペクトル特性ベクトルqN(3)から、推定目的音PSD qS(4), 推定雑音PSD qN(4)を計算する（Ｓ９２４）。相補減算部９２４には、事前に学習したDNNのネットワークパラメータ（具体的には、重み行列W(4)）が設定されている。
【００１１】
最後に、ウィーナーフィルタ計算部９２５は、Ｓ９２４で計算した推定目的音PSD qS(4), 推定雑音PSD qN(4)から、ウィーナーフィルタ^W(ω,τ)を計算する（Ｓ９２５）。
【００１２】
信号強調部９３０は、周波数領域観測信号X(ω,τ)とＳ９２０で推定したウィーナーフィルタ^W(ω,τ)から次式により信号強調（音源強調）を実行し、周波数領域強調音S’(ω,τ)を生成する（Ｓ９３０）。
【００１３】
【数１】
2019078864.tif 000003
【００１４】
時間領域変換部９４０は、周波数領域強調音S’(ω,τ)から時間領域での推定音源信号である強調音s’(t)を生成する（Ｓ９４０）。
【００１５】
なお、音源強調装置９００では、非特許文献１の記載に従い、目的音以外の音を１つの雑音音源としてモデル化したが、目的音以外の音を音源ごとに複数の雑音音源としてモデル化してもよい。この場合、音源強調装置９００は、雑音音源の数と同じ数の雑音非負オートエンコーダ部９２３を含むことになる。例えば、ギター、ベース、ドラムスの３つの音源のうち、ギターの音を目的音として強調したい場合、ベースとドラムスの２つを１つの雑音音源としてモデル化してもよいし、ベースを雑音音源１、ドラムスを雑音音源２のように２つの雑音音源としてモデル化してもよい。
【先行技術文献】
【非特許文献】
【００１６】
【非特許文献１】K. Niwa, Y. Koizumi, T. Kawase, K. Kobayashi, and Y. Hioka, “Supervised source enhancement composed of nonnegative auto-encoders and complementarity subtraction”, Proc. of 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2017), pp.266-270, 2017.
【発明の概要】
【発明が解決しようとする課題】
【００１７】
非特許文献１の音源強調方法は、ウィーナーフィルタ推定部９２０に特徴がある。つまり、ウィーナーフィルタ推定部９２０は、オートエンコーダを用いて目的音スペクトル特性ベクトルqS(3)と雑音スペクトル特性ベクトルqN(3)を計算することにより、目的音スペクトルと雑音スペクトルをモデル化している。具体的には、DNNのネットワークパラメータである重み行列WS(2),WS(3),WN(2),WN(3)について、(i)各要素を非負に制約すること、(ii)２層目、３層目へ射影する重み行列が転置関係（つまり、WS(3)=WS(2)T、WN(3)=WN(2)T）になるように制約することに特徴がある。これらの特徴は、目的音や雑音を構成する基底群（特徴的なスペクトル）の行列とその基底がアクティベートする成分を表す行列の２つに分解することに相当するものであり、これにより目的音スペクトルや雑音スペクトルの物理的特性を反映したDNNを構成している。
【００１８】
しかし、非特許文献１の方法では、あらゆる種類の音を入力対象としているため、上記DNNの構成はかなり複雑なものとなっている。上述のギター、ベース、ドラムスから構成される音のように、入力を複数の楽器音で構成された楽曲信号に限定し、楽器音の特性を反映したDNNを構成することとすれば、目的音スペクトルや雑音スペクトルをより単純かつ効率的なDNNとして表現できると考えられる。また、そのようなDNNの構成とすることにより、音源強調の精度向上が図れるものと期待される。
【００１９】
そこで本発明では、楽器音の特性を反映したDNNを用いて、高精度に音源強調をすることができる楽音強調技術を提供することを目的とする。
【課題を解決するための手段】
【００２０】
本発明の一態様は、モノラル混合楽曲信号である時間領域楽曲信号x(t)を周波数領域変換し、周波数領域楽曲信号X(ω,τ)を生成する周波数領域変換部と、前記周波数領域楽曲信号X(ω,τ)から所定の楽器音を強調するために用いるウィーナーフィルタ^W(ω,τ)を推定するウィーナーフィルタ推定部と、前記周波数領域楽曲信号X(ω,τ)と前記ウィーナーフィルタ^W(ω,τ)から、周波数領域強調楽音S’(ω,τ)を生成する信号強調部と、前記周波数領域強調楽音S’(ω,τ)から時間領域での強調楽音s’(t)を生成する時間領域変換部とを含み、前記ウィーナーフィルタ推定部は、対数周波数領域での楽曲信号の振幅スペクトルを入力とし、対数周波数領域での楽曲信号の一部の信号の振幅スペクトルを出力する、2n層（nは1以上の整数）の畳み込みデノイジングオートエンコーダを含むディープニューラルネットワークを用いて、前記周波数領域楽曲信号X(ω,τ)から前記ウィーナーフィルタ^W(ω,τ)を推定する。
【発明の効果】
【００２１】
本発明によれば、複数の楽器音で構成された楽曲信号の特定の楽音を精度よく強調することが可能となる。
【図面の簡単な説明】
【００２２】
【図１】楽音強調装置１００の構成を示すブロック図。
【図２】楽音強調装置１００の動作を示すフローチャート。
【図３】ウィーナーフィルタ推定部１２０の構成を示すブロック図。
【図４】ウィーナーフィルタ推定部１２０の動作を示すフローチャート。
【図５】ウィーナーフィルタ推定部２２０の構成を示すブロック図。
【図６】ウィーナーフィルタ推定部２２０の動作を示すフローチャート。
【図７】ウィーナーフィルタ推定部３２０の構成を示すブロック図。
【図８】ウィーナーフィルタ推定部３２０の動作を示すフローチャート。
【図９】ウィーナーフィルタ推定部４２０の構成を示すブロック図。
【図１０】ウィーナーフィルタ推定部４２０の動作を示すフローチャート。
【図１１】畳み込みオートエンコーダ学習装置５００の構成を示すブロック図。
【図１２】畳み込みオートエンコーダ学習装置５００の動作を示すフローチャート。
【図１３】音源強調装置９００の構成を示すブロック図。
【図１４】音源強調装置９００の動作を示すフローチャート。
【図１５】ウィーナーフィルタ推定部９２０の構成を示すブロック図。
【図１６】ウィーナーフィルタ推定部９２０の動作を示すフローチャート。
【発明を実施するための形態】
【００２３】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００２４】
各実施形態の説明に先立って、この明細書における表記方法について説明する。
【００２５】
_（アンダースコア）は下付き添字を表す。例えば、xy_zはyzがxに対する上付き添字であり、xy_zはyzがxに対する下付き添字であることを表す。
【００２６】
＜技術的背景＞
以下、モノラル（１ｃｈ）の楽曲信号を扱うものとし、楽器音の特性を用いた目的音スペクトル・雑音スペクトルの推定フレームワークについて説明する。まず、楽器音のスペクトル特性に関するモデル（楽器音のスペクトルモデル）について説明する。次に、楽器音のスペクトルモデルを反映したDNNの構造について説明する。ここで説明するDNNの構造は、対数周波数スペクトルを畳み込みデノイジングオートエンコーダ(CDAE: Convolutional De-noising Auto-Encoder)に入力する構造に相当する。
【００２７】
周波数領域でのモノラル混合楽曲信号X(ω,τ)がN個（Nは1以上の整数）の音源信号Sn(ω,τ)の単純加算で表現されると仮定する。
【００２８】
【数２】
2019078864.tif 000004
【００２９】
ただし、nは各音源を表す番号、ωは周波数ビン番号（周波数のインデックス）、τはフレーム番号（時間フレームのインデックス）である。
【００３０】
なお、各音源はそれぞれ所定の楽器に対応しているものとする。
【００３１】
［楽器音のスペクトルモデル］
多くの楽器音のスペクトル特性Sn(ω’,τ)は、基本周波数及び楽器音に依存して変化するスペクトル基底の重みづけ和によって表現される。
【００３２】
【数３】
2019078864.tif 000005
【００３３】
ここで、Inは異なる基本周波数として考慮することのできるスペクトル基底の数、wi,n(ω’,τ), Hi,n(τ)はそれぞれn番目の楽器音におけるフレームτにおけるi番目の基本周波数に対応するスペクトル基底とそれに対応する重み（ゲイン）を表している。また、ω’は対数周波数ビン番号である。
【００３４】
なお、ここでは、cent領域の対数周波数を仮定する。例えば、周波数fk[Hz]からcentスケール上の対数周波数fcent[cents]へ変換する式は、以下のように表される。
【００３５】
【数４】
2019078864.tif 000006
【００３６】
なお、定数cの値はc=1200とすることが多い。
【００３７】
対数周波数ビン番号ω’は、この式による変換後のスケールでできるだけ等間隔になるように離散化することにより、得られる。
【００３８】
以下、Ω個の線形周波数ビン{ω1,…,ωΩ}をD個の対数周波数バンド{ω’1,…,ω’D}に変換する方法について説明する。
【００３９】
サンプリング周波数をFs[Hz]とし、k番目(1≦k≦Ω)の周波数ビンの中心周波数を対数変換すると以下のようになる。
【００４０】
【数５】
2019078864.tif 000007
【００４１】
同様に、d番目(1≦d≦D)の対数周波数バンドの中心周波数を対数変換すると以下のようになる。
【００４２】
【数６】
2019078864.tif 000008
【００４３】
次に、次式を用いてこれらが同一となるようなインデックスの対応関係(d,k)を求めると、対数周波数バンドへ変換することになる。なお、dとkは1対1対応ではなく、複数のインデックス群が一つの対数周波数バンドへ対応する。
【００４４】
【数７】
2019078864.tif 000009
【００４５】
議論を式(2)に戻す。n番目の楽器音のスペクトル基底wi,n(ω’,τ)は、次式のように基本周波数に依存して変化する調波構造成分Ci(ω’,τ)と楽器ごとに特性が異なる包絡構造成分Fn(ω’,τ)に分解することができる。
【００４６】
【数８】
2019078864.tif 000010
【００４７】
また、調波構造成分Ci(ω’,τ)、包絡構造成分Fn(ω’,τ)は、それぞれ以下のように基本周波数とその倍音に対応する周波数にピークを持つ関数、全極型関数によって表現される。
【００４８】
【数９】
2019078864.tif 000011
【００４９】
ただし、Rは調波構造成分の倍音成分の数、fω’[cents]は対数周波数ビンω'に対応する対数周波数、fo(i,τ)[cents]はフレームτにおけるi番目の調波構造成分の対数基本周波数、an, pはn番目の包絡構造成分の全極型関数の自己回帰フィルタ係数、ωi,r(τ)[rad]はフレームτにおけるi番目の調波構造成分のr次倍音に対応する正規化角周波数である。なお、jは虚数単位を表す。
【００５０】
式(4)より、調波構造成分は、基本周波数fo(i,τ)の変化が調波構造成分全体を対数周波数軸上でシフトすることによって表現できることがわかる。例えば、基本周波数をf[cents]増加させた場合の調波構造成分は、以下のように計算できる。
【００５１】
【数１０】
2019078864.tif 000012
【００５２】
ここで、調波構造成分Cf_o(i,τ)(fω’,τ)について基本周波数を任意の値fo[cents]に固定し、Hi,n(τ)を基本周波数fo(i,τ)に依存して変化する関数Hn(fo(i,τ),τ)とみなすと、式(2)を式(6)のように変形することができる。
【００５３】
【数１１】
2019078864.tif 000013
【００５４】
ただし、＊は畳み込み演算、δ(・)は単位インパルスを表し、変数同士の積をインパルスとの畳み込みとして表現している。
【００５５】
この式変形では、i番目の調波構造成分が基本周波数fo(i,τ)で決まることが明確となるようにiをfo(i,τ)に置き換え、対数周波数ビン番号ω'を対応する対数周波数fω' [cents]に書き直した。
【００５６】
式(6)より、ある楽器音のスペクトル特性は、任意の基本周波数foに対応する調波構造成分と各調波構造成分に対応するゲインおよび楽器固有の包絡構造成分の周波数fω'でのゲインに対応する大きさを持つインパルスの畳み込みで表現されることがわかる。
【００５７】
［楽器音のスペクトルモデルを反映したDNNの構造］
次に、楽器音のスペクトルモデルを反映したDNNの構造について説明する。
【００５８】
式(6)の楽器音スペクトルの畳み込み分解モデルを利用して、DNNを構築する。これにより、目的音（つまり、音源強調の目的とする楽器音）のスペクトルをDNNとして効率的に表現することができ、結果目的音のスペクトルを高精度に推定できるものと期待される。
【００５９】
具体的には、以下のような2段階の畳み込み積を有するDNNとして目的とする楽器音スペクトルを表現する。
【００６０】
【数１２】
2019078864.tif 000014
【００６１】
ただし、g(・)は活性化関数を表す。
【００６２】
ここで、楽器音スペクトル及びその分解成分は非負であるため、活性化関数g(・)として、例えば次式のReLU（ランプ関数）を利用することで、式(7)及び式(8)は式(6)と等価になると考えられる。
【００６３】
【数１３】
2019078864.tif 000015
【００６４】
つまり、式(6)の楽器音スペクトルの畳み込み分解モデルは、式(7)を計算するCDAEと式(8)を計算するCDAE、つまり2層のCDAEを含むDNNとして表現される。したがって、このDNNを用いることにより、混合楽曲スペクトルから楽器音スペクトルを効率的に獲得することができると考えられる。
【００６５】
なお、楽器音のスペクトルモデルを反映したDNNに含まれるCDAEは2層に限定する必要はなく、一般に、2n層（nは1以上の整数）としてもよい。
【００６６】
楽器音のスペクトルモデルを反映したDNNを、CDAEを含むDNNとして学習を行う場合には、適切なスペクトルモデルが獲得されたとしても、各層への対応関係は順不同であるため、包絡構造成分と調波構造成分が逆になって出力されることも考えられる。
【００６７】
また、楽器音のスペクトルモデルを反映したDNNを、2層のCDAEを含むDNNとして学習を行う場合には、各層における畳み込みフィルタの周波数方向の大きさ（フィルタサイズ）は入力スペクトルの周波数ビン数と同一であるべきと考えられる。実際、フィルタサイズが入力スペクトルよりも小さい場合について実験により検証したが、入力スペクトルと一致するときに最も性能が高いという結果が得られた。
【００６８】
＜第一実施形態＞
以下、図１〜図２を参照して楽音強調装置１００を説明する。図１は、楽音強調装置１００の構成を示すブロック図である。図２は、楽音強調装置１００の動作を示すフローチャートである。図２に示すように楽音強調装置１００は、周波数領域変換部９１０と、ウィーナーフィルタ推定部１２０と、信号強調部９３０と、時間領域変換部９４０を含む。
【００６９】
楽音強調装置１００は、音源強調装置９００と同様、学習結果記録部９９０に接続している。学習結果記録部９９０にはDNNの学習終了時のネットワークパラメータの値が記録されている。このネットワークパラメータは、ウィーナーフィルタ推定部１２０で用いられる。
【００７０】
周波数領域変換部９１０は、モノラル混合楽曲信号である時間領域楽曲信号x(t)を周波数領域変換し、周波数領域楽曲信号X(ω,τ)を生成する（Ｓ９１０）。ただし、tは時間のインデックス、ωは周波数ビン番号、τはフレーム番号である。
【００７１】
ウィーナーフィルタ推定部１２０は、学習結果記録部９９０から読み出したネットワークパラメータを用いて、周波数領域楽曲信号X(ω,τ)から所定の楽器音（以下、目的音という。）を強調するために用いるウィーナーフィルタ^W(ω,τ)を推定する（Ｓ１２０）。所定の楽器音とは、モノラル混合楽曲信号を作り出すために用いられている楽器の音である。例えば、モノラル混合楽曲信号がギター、ベース、ドラムスから作り出された音である場合、ギターの音を所定の楽器音とすることができる。
【００７２】
以下、図３〜図４を参照してウィーナーフィルタ推定部１２０について説明する。図３は、ウィーナーフィルタ推定部１２０の構成を示すブロック図である。図４は、ウィーナーフィルタ推定部１２０の動作を示すフローチャートである。図３に示すようにウィーナーフィルタ推定部１２０は、対数振幅スペクトル計算部１２１と、目的音畳み込みオートエンコーダ部１２２と、対数−線形周波数変換部１２３と、ウィーナーフィルタ計算部１２４を含む。
【００７３】
対数振幅スペクトル計算部１２１は、周波数領域楽曲信号X(ω,τ)を対数周波数領域変換し、楽曲信号対数振幅スペクトル|X(ω’,τ)|を計算する（Ｓ１２１）。楽曲信号対数振幅スペクトル|X(ω’,τ)|は、周波数領域楽曲信号X(ω,τ)を周波数領域から対数周波数領域への変換した信号である対数周波数領域楽曲信号X(ω’,τ)の振幅スペクトルである。周波数領域から対数周波数領域への変換は、＜技術的背景＞で説明したようにすればよい。
【００７４】
目的音畳み込みオートエンコーダ部１２２は、Ｓ１２１で計算した楽曲信号対数振幅スペクトル|X(ω’,τ)|から、所定の楽器音（目的音）の対数周波数領域における振幅スペクトルである推定目的音対数振幅スペクトル|^S(ω’,τ)|を計算する（Ｓ１２２）。目的音畳み込みオートエンコーダ部１２２は、対数周波数領域での楽曲信号の振幅スペクトルを入力とし、対数周波数領域での（楽曲信号の一部の信号である）所定の楽器音の振幅スペクトルを出力する、2n層のCDAEを含むDNNである。また、目的音畳み込みオートエンコーダ部１２２には、DNN学習終了時のネットワークパラメータ（すなわち、学習結果記録部９９０に記録されているネットワークパラメータ）が設定されている。具体的には、目的音畳み込みオートエンコーダ部１２２は、＜技術的背景＞で説明したような、式(7)及び式(8)を計算する2n層のCDAEを含むDNNとなる。なお、DNNのネットワークパラメータの学習については後述する。
【００７５】
対数−線形周波数変換部１２３は、Ｓ１２２で計算した推定目的音対数振幅スペクトル|^S(ω’,τ)|を周波数領域変換し、推定目的音振幅スペクトル|^S(ω,τ)|を計算する（Ｓ１２３）。推定目的音振幅スペクトル|^S(ω,τ)|は、推定目的音対数振幅スペクトル|^S(ω’,τ)|を対数周波数領域から周波数領域への変換した、推定周波数領域目的音^S(ω,τ)の振幅スペクトルである。対数周波数領域から周波数領域への変換は、＜技術的背景＞で説明したようにすればよい。
【００７６】
ウィーナーフィルタ計算部１２４は、Ｓ９１０で生成した周波数領域楽曲信号X(ω,τ)の振幅スペクトルである楽曲信号振幅スペクトル|X(ω,τ)|とＳ１２３で計算した推定目的音振幅スペクトル|^S(ω,τ)|からウィーナーフィルタ^W(ω,τ)を計算する（Ｓ１２４）。具体的には、次式によりウィーナーフィルタ^W(ω,τ)を計算する。
【００７７】
【数１４】
2019078864.tif 000016
【００７８】
信号強調部９３０は、Ｓ９１０で生成した周波数領域楽曲信号X(ω,τ)とＳ１２０で推定したウィーナーフィルタ^W(ω,τ)から次式により信号強調（音源強調）を実行し、周波数領域強調楽音S’(ω,τ)を生成する（Ｓ９３０）。
【００７９】
【数１５】
2019078864.tif 000017
【００８０】
時間領域変換部９４０は、周波数領域強調楽音S’(ω,τ)から時間領域での強調楽音s’(t)を生成する（Ｓ９４０）。
【００８１】
本実施形態の発明によれば、複数の楽器音で構成された楽曲信号の特定の楽音を精度よく強調することが可能となる。本実施形態の発明では、対数周波数スペクトルを入力とする2n層のCDAEを含むDNNを構成することにより、楽器音のスペクトル特性（つまり、スペクトルが調波−包絡成分に分解されること）を利用した目的音スペクトルの推定を可能としている。また、これにより、DNNの計算規模が限定されていても、精度の高いウィーナーフィルタの推定が可能となり、結果精度の高い楽音強調が可能となる。
【００８２】
（変形例）
ウィーナーフィルタ推定部１２０では、対数−線形周波数変換、ウィーナーフィルタ計算の順に計算し、ウィーナーフィルタを推定したが、この計算順序は逆でもよい。ここでは、このようなウィーナーフィルタ推定部２２０について説明する。この場合、楽音強調装置１００は、周波数領域変換部９１０と、ウィーナーフィルタ推定部２２０と、信号強調部９３０と、時間領域変換部９４０を含む（図１、図２参照）。
【００８３】
以下、図５〜図６を参照してウィーナーフィルタ推定部２２０について説明する。図５は、ウィーナーフィルタ推定部２２０の構成を示すブロック図である。図６は、ウィーナーフィルタ推定部２２０の動作を示すフローチャートである。図５に示すようにウィーナーフィルタ推定部２２０は、対数振幅スペクトル計算部１２１と、目的音畳み込みオートエンコーダ部１２２と、対数ウィーナーフィルタ計算部１２５、対数−線形周波数変換部１２３を含む。
【００８４】
対数振幅スペクトル計算部１２１は、周波数領域楽曲信号X(ω,τ)を対数周波数領域変換し、楽曲信号対数振幅スペクトル|X(ω’,τ)|を計算する（Ｓ１２１）。
【００８５】
目的音畳み込みオートエンコーダ部１２２は、Ｓ１２１で計算した楽曲信号対数振幅スペクトル|X(ω’,τ)|から、所定の楽器音（目的音）の対数周波数領域における振幅スペクトルである推定目的音対数振幅スペクトル|^S(ω’,τ)|を計算する（Ｓ１２２）。
【００８６】
対数ウィーナーフィルタ計算部１２５は、Ｓ１２１で計算した楽曲信号対数振幅スペクトル|X(ω’,τ)|とＳ１２２で計算した推定目的音対数振幅スペクトル|^S(ω’,τ)|から対数ウィーナーフィルタ^W(ω’,τ)を計算する（Ｓ１２５）。具体的には、次式により対数ウィーナーフィルタ^W(ω’,τ)を計算する。
【００８７】
【数１６】
2019078864.tif 000018
【００８８】
対数−線形周波数変換部１２３は、Ｓ１２５で計算した対数ウィーナーフィルタ^W(ω’,τ)を周波数領域変換し、ウィーナーフィルタ^W(ω,τ)を計算する（Ｓ１２３）。
【００８９】
＜第二実施形態＞
第一実施形態では、音源強調の目的となる楽音に対する対数周波数領域のスペクトルを推定する2n層のCDAEを含むDNNを用いて楽音強調を行ったが、目的となる楽音以外の音、つまり雑音に対する対数周波数領域のスペクトルを推定する2n層のCDAEを含むDNNも用いるようにして楽音強調を行うこともできる。ここでは、このようなウィーナーフィルタ推定部３２０について説明する。この場合、楽音強調装置１００は、周波数領域変換部９１０と、ウィーナーフィルタ推定部３２０と、信号強調部９３０と、時間領域変換部９４０を含む（図１、図２参照）。
【００９０】
以下、図７〜図８を参照してウィーナーフィルタ推定部３２０について説明する。図７は、ウィーナーフィルタ推定部３２０の構成を示すブロック図である。図８は、ウィーナーフィルタ推定部３２０の動作を示すフローチャートである。図７に示すようにウィーナーフィルタ推定部３２０は、対数振幅スペクトル計算部１２１と、目的音畳み込みオートエンコーダ部１２２と、雑音畳み込みオートエンコーダ部２２２と、対数−線形周波数変換部１２３と、ウィーナーフィルタ計算部２２４を含む。
【００９１】
対数振幅スペクトル計算部１２１は、周波数領域楽曲信号X(ω,τ)を対数周波数領域変換し、楽曲信号対数振幅スペクトル|X(ω’,τ)|を計算する（Ｓ１２１）。
【００９２】
目的音畳み込みオートエンコーダ部１２２は、Ｓ１２１で計算した楽曲信号対数振幅スペクトル|X(ω’,τ)|から、所定の楽器音（目的音）の対数周波数領域における振幅スペクトルである推定目的音対数振幅スペクトル|^S(ω’,τ)|を計算する（Ｓ１２２）。
【００９３】
同様に、雑音畳み込みオートエンコーダ部２２２は、Ｓ１２１で計算した楽曲信号対数振幅スペクトル|X(ω’,τ)|から、所定の楽器音（目的音）以外のすべての音である雑音の対数周波数領域における振幅スペクトルである推定雑音対数振幅スペクトル|^N(ω’,τ)|を計算する（Ｓ２２２）。雑音畳み込みオートエンコーダ部２２２は、対数周波数領域での楽曲信号の振幅スペクトルを入力とし、対数周波数領域での（楽曲信号の一部の信号である）所定の楽器音以外のすべての音である雑音の振幅スペクトルを出力する、2n層のCDAEを含むDNNである。また、雑音畳み込みオートエンコーダ部２２２には、DNN学習終了時のネットワークパラメータ（すなわち、学習結果記録部９９０に記録されているネットワークパラメータ）が設定されている。具体的には、雑音畳み込みオートエンコーダ部２２２は、＜技術的背景＞で説明したような、式(7)及び式(8)を計算する2n層のCDAEを含むDNNとなる。なお、DNNのネットワークパラメータの学習については後述する。
【００９４】
対数−線形周波数変換部１２３は、Ｓ１２２で計算した推定目的音対数振幅スペクトル|^S(ω’,τ)|を周波数領域変換し、推定目的音振幅スペクトル|^S(ω,τ)|を計算し、Ｓ２２２で計算した推定雑音対数振幅スペクトル|^N(ω’,τ)|を周波数領域変換し、推定雑音振幅スペクトル|^N(ω,τ)|を計算する（Ｓ１２３）。推定雑音振幅スペクトル|^N(ω,τ)|は、推定雑音対数振幅スペクトル|^N(ω’,τ)|を対数周波数領域から周波数領域への変換した、推定周波数領域雑音^N(ω,τ)の振幅スペクトルである。なお、ウィーナーフィルタ推定部３２０が図７に示すように２つの対数−線形周波数変換部１２３を持つように構成する代わりに、ウィーナーフィルタ推定部３２０を１つの対数−線形周波数変換部１２３を持つように構成し、推定目的音振幅スペクトル|^S(ω,τ)|と推定雑音振幅スペクトル|^N(ω,τ)|を１つの対数−線形周波数変換部１２３で計算するようにしてもよい。
【００９５】
ウィーナーフィルタ計算部２２４は、Ｓ１２３で計算した推定目的音振幅スペクトル|^S(ω,τ)|と推定雑音振幅スペクトル|^N(ω,τ)|からウィーナーフィルタ^W(ω,τ)を計算する（Ｓ１２４）。具体的には、次式によりウィーナーフィルタ^W(ω,τ)を計算する。
【００９６】
【数１７】
2019078864.tif 000019
【００９７】
本実施形態の発明によれば、複数の楽器音で構成された楽曲信号の特定の楽音を精度よく強調することが可能となる。本実施形態の発明では、対数周波数スペクトルを入力とする2n層のCDAEを含むDNNを構成することにより、楽器音のスペクトル特性（つまり、スペクトルが調波−包絡成分に分解されること）を利用した目的音スペクトル・雑音スペクトルの推定を可能としている。また、これにより、DNNの計算規模が限定されていても、精度の高いウィーナーフィルタの推定が可能となり、結果精度の高い楽音強調が可能となる。
【００９８】
特に、目的音・雑音・観測音の間で振幅領域における相補性が成り立つため、推定目的音振幅スペクトル|^S(ω,τ)|と推定雑音振幅スペクトル|^N(ω,τ)|のいずれか一方の推定精度が悪い場合においても他方の推定精度がよいと考えられることから、このような場合においても精度の高いウィーナーフィルタ^W(ω,τ)を推定することができる。
【００９９】
（変形例）
第一実施形態の変形例で説明したように、ウィーナーフィルタ推定部３２０では、対数−線形周波数変換、ウィーナーフィルタ計算の順に計算し、ウィーナーフィルタを推定したが、この計算順序は逆でもよい。ここでは、このようなウィーナーフィルタ推定部４２０について説明する。この場合、楽音強調装置１００は、周波数領域変換部９１０と、ウィーナーフィルタ推定部４２０と、信号強調部９３０と、時間領域変換部９４０を含む（図１、図２参照）。
【０１００】
以下、図９〜図１０を参照してウィーナーフィルタ推定部４２０について説明する。図９は、ウィーナーフィルタ推定部４２０の構成を示すブロック図である。図１０は、ウィーナーフィルタ推定部４２０の動作を示すフローチャートである。図９に示すようにウィーナーフィルタ推定部４２０は、対数振幅スペクトル計算部１２１と、目的音畳み込みオートエンコーダ部１２２と、雑音畳み込みオートエンコーダ部２２２と、対数ウィーナーフィルタ計算部２２５、対数−線形周波数変換部１２３を含む。
【０１０１】
対数振幅スペクトル計算部１２１は、周波数領域楽曲信号X(ω,τ)を対数周波数領域変換し、楽曲信号対数振幅スペクトル|X(ω’,τ)|を計算する（Ｓ１２１）。
【０１０２】
目的音畳み込みオートエンコーダ部１２２は、Ｓ１２１で計算した楽曲信号対数振幅スペクトル|X(ω’,τ)|から、所定の楽器音（目的音）の対数周波数領域における振幅スペクトルである推定目的音対数振幅スペクトル|^S(ω’,τ)|を計算する（Ｓ１２２）。
【０１０３】
同様に、雑音畳み込みオートエンコーダ部２２２は、Ｓ１２１で計算した楽曲信号対数振幅スペクトル|X(ω’,τ)|から、所定の楽器音（目的音）以外のすべての音である雑音の対数周波数領域における振幅スペクトルである推定雑音対数振幅スペクトル|^N(ω’,τ)|を計算する（Ｓ２２２）。
【０１０４】
対数ウィーナーフィルタ計算部２２５は、Ｓ１２２で計算した推定目的音対数振幅スペクトル|^S(ω’,τ)|とＳ２２２で計算した推定雑音対数振幅スペクトル|^N(ω’,τ)|から対数ウィーナーフィルタ^W(ω’,τ)を計算する（Ｓ２２５）。具体的には、次式により対数ウィーナーフィルタ^W(ω’,τ)を計算する。
【０１０５】
【数１８】
2019078864.tif 000020
【０１０６】
対数−線形周波数変換部１２３は、Ｓ２２５で計算した対数ウィーナーフィルタ^W(ω’,τ)を周波数領域変換し、ウィーナーフィルタ^W(ω,τ)を計算する（Ｓ１２３）。
【０１０７】
（変形例２）
これまでの説明では、音源強調の目的となる楽音以外の音を１つの雑音としてDNNを構成するようにしたが、音源強調の目的となる楽音以外の楽音それぞれを雑音として、各楽音に対して対数周波数領域のスペクトルを推定する2n層のCDAEを含むDNNを構成するようにしてもよい。この場合、楽音強調装置１００は、音源強調の目的となる楽音以外の楽音の数（楽器の数）と同じ数の雑音畳み込みオートエンコーダ部２２２を含むことになる。これらの雑音畳み込みオートエンコーダ部２２２で設定されるネットワークパラメータは、一般に異なるものとなる。
【０１０８】
＜第三実施形態＞
ここでは、目的音畳み込みオートエンコーダ部１２２や雑音畳み込みオートエンコーダ部２２２を構成するDNNのネットワークパラメータを学習する畳み込みオートエンコーダ学習装置５００について説明する。
【０１０９】
以下、図１１〜図１２を参照して畳み込みオートエンコーダ学習装置５００を説明する。図１１は、畳み込みオートエンコーダ学習装置５００の構成を示すブロック図である。図１２は、畳み込みオートエンコーダ学習装置５００の動作を示すフローチャートである。図１１に示すように畳み込みオートエンコーダ学習装置５００は、対数振幅スペクトル計算部１２１と、畳み込みオートエンコーダ計算部５１０と、ネットワークパラメータ最適化部５２０を含む。
【０１１０】
畳み込みオートエンコーダ学習装置５００は、学習データ記録部５９０に接続している。学習データ記録部５９０には、学習に用いる周波数領域でのモノラル混合楽曲信号である周波数領域楽曲信号X(ω,τ)とその一部の信号である周波数領域部分楽曲信号Y(ω,τ)が学習データとして記録されている。周波数領域部分楽曲信号Y(ω,τ)は、例えば、周波数領域楽曲信号X(ω,τ)を構成する音源強調の目的となる楽音である周波数領域目的音S(ω,τ)、周波数領域楽曲信号X(ω,τ)を構成する音源強調の目的となる楽音以外の音である周波数領域雑音N(ω,τ)である。
【０１１１】
畳み込みオートエンコーダ学習装置５００は、周波数領域楽曲信号X(ω,τ)と周波数領域部分楽曲信号Y(ω,τ)の組を学習データとして入力し、楽曲信号対数振幅スペクトルを入力とし推定部分楽曲信号対数振幅スペクトルを出力する2n層のCDAEを含むDNNのネットワークパラメータを出力する。つまり、畳み込みオートエンコーダ学習装置５００は、周波数領域目的音S(ω,τ)や周波数領域雑音N(ω,τ)を周波数領域部分楽曲信号Y(ω,τ)として学習することにより、目的音畳み込みオートエンコーダ部１２２や雑音畳み込みオートエンコーダ部２２２を構成するDNNのネットワークパラメータを学習することができる。
【０１１２】
対数振幅スペクトル計算部１２１は、周波数領域楽曲信号X(ω,τ)を対数周波数領域変換し、楽曲信号対数振幅スペクトル|X(ω’,τ)|を計算し、周波数領域部分楽曲信号Y(ω,τ)を対数周波数領域変換し、部分楽曲信号対数振幅スペクトル|Y(ω’,τ)|を計算する（Ｓ１２１）。
【０１１３】
畳み込みオートエンコーダ計算部５１０は、現在学習（最適化）中のネットワークパラメータを設定した2n（nは1以上の整数）層のCDAEを含むDNNを用いて、Ｓ１２１で計算した楽曲信号対数振幅スペクトル|X(ω’,τ)|から推定部分楽曲信号対数振幅スペクトル|^Y(ω’,τ)|を計算する（Ｓ５１０）。
【０１１４】
ネットワークパラメータ最適化部５２０は、Ｓ１２１で計算した部分楽曲信号対数振幅スペクトル|Y(ω’,τ)|とＳ５１０で計算した推定部分楽曲信号対数振幅スペクトル|^Y(ω’,τ)|を用いて、Ｓ５１０で用いたネットワークパラメータを最適化する（Ｓ５２０）。ネットワークパラメータの最適化には、例えば、|Y(ω’,τ)|と|^Y(ω’,τ)|の二乗和誤差を利用した誤差逆伝播法などを用いればよい。
【０１１５】
Ｓ１２１〜Ｓ５２０の処理は学習データの数だけ繰り返される。あるいは学習終了条件を定めておき、適当なところで学習を中止し、ネットワークパラメータを出力するようにしてもよい。
【０１１６】
これにより、目的音畳み込みオートエンコーダ部１２２や雑音畳み込みオートエンコーダ部２２２で用いるネットワークパラメータが学習される。
【０１１７】
本実施形態の発明によれば、楽器音の特性を反映したDNN、つまり2n層のCDAEを含むDNNのネットワークパラメータを学習することができる。この学習で得られたネットワークパラメータを用いた第一実施形態や第二実施形態の発明により、複数の楽器音で構成された楽曲信号の特定の楽音を精度よく強調することが可能となる。
【０１１８】
＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【０１１９】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【０１２０】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
【０１２１】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【０１２２】
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【０１２３】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【０１２４】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１２５】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【０１２６】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2019078864.tif 000021
【図２】
2019078864.tif 000022
【図３】
2019078864.tif 000023
【図４】
2019078864.tif 000024
【図５】
2019078864.tif 000025
【図６】
2019078864.tif 000026
【図７】
2019078864.tif 000027
【図８】
2019078864.tif 000028
【図９】
2019078864.tif 000029
【図１０】
2019078864.tif 000030
【図１１】
2019078864.tif 000031
【図１２】
2019078864.tif 000032
【図１３】
2019078864.tif 000033
【図１４】
2019078864.tif 000034
【図１５】
2019078864.tif 000035
【図１６】
2019078864.tif 000036