(57)【要約】【課題】より高精度の音源分離を行う。【解決手段】音信号処理方法は、特定の音源の音を分離するための教師信号を取得するステップ（Ｓ１１）と、教師信号に対し、非負値行列因子分解によりアクティベーション行列（Ｇ１）を計算するステップ（Ｓ１４）と、教師信号と異なる妨害音信号を取得するステップ（Ｓ２１）と、教師信号および妨害音信号を合成し、合成音信号を生成するステップ（Ｓ２２）と、合成音信号に対し、アクティベーション行列（Ｇ１）を用いた非負値行列因子分解により基底行列（Ｆｓ）を計算するステップとを有する。【選択図】図６
2017151228.tif 000002
【特許請求の範囲】
【請求項１】
特定の音源の音を分離するための教師用の第１音信号を取得するステップと、
前記第１音信号に対し、非負値行列因子分解によりアクティベーション行列を計算するステップと、
前記第１音信号と異なる第２音信号を取得するステップと、
前記第１音信号および前記第２音信号を合成し、第３音信号を生成するステップと、
前記第３音信号に対し、前記アクティベーション行列を用いた前記非負値行列因子分解により基底行列を計算するステップと
を有する音信号処理方法。
【請求項２】
音信号から分離された音源の音を合成するための第１基底行列を取得するステップと、
前記音信号から前記音源の音を分離するための第２基底行列を取得するステップと、
処理対象の音信号に対し、前記第２基底行列を用いた非負値行列因子分解により第１アクティベーション行列を計算するステップと、
前記第１基底行列および前記第１アクティベーション行列の行列積から、前記音源の合成音を得るステップと
を有する音信号処理方法。
【請求項３】
前記音源を分離するための教師用の第１音信号を取得するステップと、
前記第１音信号に対し、前記非負値行列因子分解により第２アクティベーション行列を計算するステップと、
前記第１音信号と異なる第２音信号を取得するステップと、
前記第１音信号および前記第２音信号を合成し、第３音信号を生成するステップと、
前記第３音信号に対し、前記第２アクティベーション行列を用いた前記非負値行列因子分解により前記第２基底行列を計算するステップと
を有する請求項２に記載の音信号処理方法。
【請求項４】
音信号から分離された音源の音を合成するための第１基底行列を取得する第１取得手段と、
前記音信号から前記音源の音を分離するための第２基底行列を取得する第２取得手段と、
処理対象の音信号に対し、前記第２基底行列を用いた非負値行列因子分解によりアクティベーション行列を計算する計算手段と、
前記第１基底行列および前記アクティベーション行列の行列積から、前記音源の合成音を得る合成手段と
を有する音信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の音源の音が含まれた音信号から、特定の音源の音を分離する技術に関する。
【背景技術】
【０００２】
複数の音源の音が含まれた音信号から特定の音源の音を分離する技術として、半教師有りの非負値行列因子分解（Nonnegative Matrix Factorization、ＮＭＦ）が知られている（特許文献１および２並びに非特許文献１および２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−３３１９６号公報
【特許文献２】米国特許出願公開第２０１５／０３４８５３７号明細書
【非特許文献】
【０００４】
【非特許文献１】Smaragdis P, Raj B, Shashanka MV. Supervised and Semi-supervised Separation of Sounds from Single-Channel Mixtures, In: ICA. 2007. p. 414-421
【非特許文献２】Daichi Kitamura, Hiroshi Saruwatari, Kosuke Yagi, Kiyohiro Shikano, Yu Takahashi, Kazunobu Kondo, "Music signal separation beased on supervised nonnegative matrix factorization with orthogonality and maximum-divergence penalties", IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences, vol. E97-A, no. 5, pp. 111-1118, 2014
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１および２並びに非特許文献１および２に記載された技術においては、教師信号の学習時に対象となる楽器の音のみを含む音信号を解析することにより、教師信号に含まれる代表的なスペクトルパターンを抽出している。しかし、このスペクトルパターンは、必ずしも音源分離に有効なものとは限らず、音源分離が適切に行われないという問題があった。
【０００６】
これに対し本発明は、より高精度の音源分離を行う技術を提供する。
【課題を解決するための手段】
【０００７】
本発明は、特定の音源の音を分離するための教師用の第１音信号を取得するステップと、前記第１音信号と異なる第２音信号を取得するステップと、前記第１音信号および前記第２音信号を合成し、第３音信号を生成するステップと、前記第３音信号に対し、非負値行列因子分解により基底行列を計算するステップとを有する音信号処理方法を提供する。
【０００８】
また、本発明は、音信号から分離された音源の音を合成するための第１基底行列を取得するステップと、前記音信号から前記音源の音を分離するための第２基底行列を取得するステップと、処理対象の音信号に対し、前記第２基底行列を用いた非負値行列因子分解によりアクティベーション行列を計算するステップと、前記第１基底行列および前記アクティベーション行列の行列積から、前記音源の合成音を得るステップとを有する音信号処理方法を提供する。
【０００９】
この音信号処理方法は、前記音源を分離するための教師用の第１音信号を取得するステップと、前記第１音信号と異なる第２音信号を取得するステップと、前記第１音信号および前記第２音信号を合成し、第３音信号を生成するステップと、前記第３音信号に対し、前記非負値行列因子分解により前記第２基底行列を計算するステップとを有してもよい。
【００１０】
さらに、本発明は、音信号から分離された音源の音を合成するための第１基底行列を取得する第１取得手段と、前記音信号から前記音源の音を分離するための第２基底行列を取得する第２取得手段と、処理対象の音信号に対し、前記第２基底行列を用いた非負値行列因子分解によりアクティベーション行列を計算する計算手段と、前記第１基底行列および前記アクティベーション行列の行列積から、前記音源の合成音を得る合成手段とを有する音信号処理装置を提供する。
【発明の効果】
【００１１】
本発明によれば、より高精度の音源分離を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】振幅スペクトログラムを例示する図。
【図２】振幅スペクトログラムに対するＮＭＦの概要を示す図。
【図３】本発明の概要を示す図。
【図４】本発明の一実施形態に係るアルゴリズムを例示するフローチャート。
【図５】再現用基底作成処理の詳細を例示する図。
【図６】分離用基底作成処理の詳細を例示する図。
【図７】分離処理の詳細を示す図。
【図８】再現処理の詳細を示す図。
【図９】一実施形態に係る音源分離システム１の機能構成を例示する図。
【図１０】音源分離システム１の装置構成を例示する図。
【図１１】音源分離システム１の例１に係る動作を示すシーケンスチャート。
【図１２】音源分離システム１の例２に係る動作を示すシーケンスチャート。
【発明を実施するための形態】
【００１３】
１．ＮＭＦを用いた音源分離の概要と問題点
１−１．ＮＭＦ
本発明の実施形態の説明に先立ち、非負値行列因子分解（Nonnegative Matrix Factorization、ＮＭＦ）を用いた音源分離の概要を説明する。ＮＭＦとは、非負値の行列を２つの非負値の行列の積に分解する低ランク近似アルゴリズムである。非負値行列とは、その成分が全て非負値（すなわちゼロまたは正値）である行列をいう。一般にＮＭＦは次式（１）で表される。
【数１】
2017151228.tif 000003
ここでＹは与えられた行列すなわち観測行列（ｍ行ｎ列）を示す。Ｈを基底行列（ｍ行ｋ列）といい、Ｕをアクティベーション（または係数）行列（ｋ行ｎ列）という。すなわちＮＭＦは、観測行列Ｙを、基底行列Ｈとアクティベーション行列Ｕとの積で近似する処理である。
【００１４】
音源分離とは、複数の音源（例えば楽器）の音が混合された音信号（以下「入力信号」といい、入力信号により表される音を「混合音」という）を入力として、その入力信号から抽出の対象となる特定の音源（以下「特定音源」という）の音を分離し、分離されたその特定音源の音信号を出力する処理をいう。ＮＭＦを音源分離に適用するため、観測行列Ｙとして音信号の振幅スペクトログラムを表す行列を用いることを考える。振幅スペクトログラムとは、音信号の周波数スペクトルの時間変化を表すもので、時間、周波数、および振幅からなる３次元の情報である。
【００１５】
図１は、振幅スペクトログラムを例示する図である。この例では、横軸が時間を、縦軸が周波数を、それぞれ表している。また、各点の色（この図ではハッチングの濃さ）が振幅を表している。ここでは図面が煩雑になるのを避けるために振幅スペクトログラムを簡易的に図示している。振幅スペクトログラムは、例えば、音信号を時間領域で標本化し、これを短時間フーリエ変換することによって得られる複素スペクトログラムに対して絶対値を取ることにより得られる。ここで、横軸をｎ個に、縦軸をｍ個に分割し、分割された各領域における振幅を数値化すると、振幅スペクトログラムを行列として表すことができる。この行列は、行方向には時間的な情報を、列方向には周波数的な情報を、各成分の値は振幅に関する情報を含んでいる。振幅の値は非負値なので、この行列は非負値行列である。
【００１６】
図２は、振幅スペクトログラムに対するＮＭＦの概要を示す図である。ここでは、図１の振幅スペクトログラムを観測行列ＹとしてＮＭＦを適用した例を示している。基底行列Ｈは振幅スペクトログラムに含まれる代表的スペクトルパターンの集合を表し、アクティベーション行列Ｕはその代表的スペクトルパターンが「どのタイミングで」「どのくらいの強さで」現れているかを表していると考えることができる。より具体的には、基底行列Ｈは、それぞれ異なる音源に対応する複数（図２の例では２つ）の基底ベクトルｈを含んでいる。各基底ベクトルは、ある音源の代表的な周波数スペクトルを示している。例えば、基底ベクトルｈ（１）はフルートの代表的なスペクトルパターンを示し、基底ベクトルｈ（２）はクラリネットの代表的なスペクトルパターンを示している。また、アクティベーション行列Ｕは、各音源に対応する複数（図２の例では２つ）のアクティベーションベクトルｕを含んでいる。例えば、アクティベーションベクトルｕ（１）はフルートのスペクトルパターンが現れるタイミングおよびその強さを表しており、アクティベーションベクトルｕ（２）はクラリネットのスペクトルパターンが現れるタイミングおよびその強さを表している（図２の例では、図面を簡単にするため、アクティベーションベクトルｕの成分の値はオンまたはオフの２値である）。
【００１７】
ＮＭＦは、観測行列Ｙが既知のときに基底行列Ｈおよびアクティベーション行列Ｕを計算するものである。詳細には、ＮＭＦは、次式（２）のように、行列Ｙと行列積ＨＵとの距離Ｄを最小化する問題として定義される。距離Ｄとしては、例えば、ユークリッド距離、一般化ＫＬ距離、板倉斎藤距離、またはβダイバージェンスが用いられる。式（２）の解を閉形式で得ることはできないが、効率的な反復解法がいくつか知られている（例えば、Lee D. D., & Sueng, H. S. (2001), Algorithms for non-negative matrix factorization. Advances in neural information processing systems, 13(1) V621-V624）。
【数２】
2017151228.tif 000004
なお、上式は、距離Ｄを最小にする行列ＨおよびＵを計算することを意味する。以降の式についても同様である。
【００１８】
ＮＭＦによれば、観測行列Ｙを基底行列Ｈとアクティベーション行列Ｕとに分解できる。逆に言うと、基底行列Ｈおよびアクティベーション行列Ｕが分かれば、観測行列Ｙすなわち音信号を再現することができる。さらに、基底行列Ｈにおいて代表的スペクトルパターンを適切にクラスタリング（グルーピング）できれば、特定音源に対応する基底ベクトルを得ることができる。特定音源の基底ベクトルおよびこれに対応するアクティベーションベクトルが得られれば、これらの積から、特定音源だけを抽出した音信号を再現することができる。
【００１９】
１−２．半教師有りＮＭＦ（ＳＮＭＦ）
特定音源だけを抽出するには、基底行列Ｈを適切にクラスタリングする必要があるが、観測行列Ｙだけから基底行列Ｈのクラスタリングを行うことは一般には困難である。また、基底行列Ｈを構成する一の基底ベクトルが、複数の音源の成分を含んでしまう可能性があるという問題もある。これらの問題を解決するために、半教師有りＮＭＦ（Semi Supervise NMF、ＳＮＭＦ）が提案されている（例えば非特許文献１）。半教師有りＮＭＦでは、特定音源があらかじめ分かっており、さらに、その特定音源だけが含まれる信号から基底行列を学習しておく（すなわち基底行列をあらかじめ計算しておく）。基底行列があらかじめ分かっているので、基底行列のクラスタリングに係る問題や、基底ベクトルに複数の音源の成分が含まれてしまう問題は生じない。
【００２０】
半教師有りＮＭＦでは、まず、教師信号が準備される。教師信号とは、特定音源の音のみを含む音信号をいう。教師信号は、抽出したい音源の音のみを含むものであれば、その内容はどのようなものでもよい。例えば、特定音源がギターである場合、教師信号は、他の楽器の音を含まない、ギターのみの演奏音を示すものであれば、演奏される曲はどのようなものであってもよい。
【００２１】
次に、教師信号を学習する。すなわち、教師信号の振幅スペクトログラムＹtをＮＭＦにより分解し、基底行列Ｆを得る（次式（３））。以下、事前の学習により得られた基底行列を「教師基底行列」という。なおここではアクティベーション行列Ｑも得られるが、アクティベーション行列Ｑは以降の処理では用いられない。
【数３】
2017151228.tif 000005
【００２２】
次に、教師基底行列Ｆを用いた次式（４）のＮＭＦを入力信号に対して適用する。
【数４】
2017151228.tif 000006
ここで、行列Ｙは観測行列すなわち入力信号の振幅スペクトログラムを表す行列であり、行列Ｇは基底行列Ｆに対するアクティベーション行列であり、行列Ｈは特定音源以外の音源に対応する基底行列であり、行列Ｕはそのアクティベーション行列である。教師基底行列Ｆは、学習により得られたものがそのまま用いられ、式（４）のＮＭＦにおいては一切更新されない。式（４）によるＮＭＦは、次式（５）のように、特定音源に対応する信号（式（５）の右辺第１項に相当）と、教師基底行列では表現できない信号（特定音源以外の音源に対応する信号）（式（５）の右辺第２項に相当）とに分離する処理であるといえる。
【数５】
2017151228.tif 000007
【００２３】
教師基底行列Ｆと、入力信号に対するＮＭＦから得られたアクティベーション行列Ｇとの積から、特定音源の音のみの信号を再現することができる。
【００２４】
１−３．直交化罰則付き半教師有りＮＭＦ（ＰＳＮＭＦ）
半教師有りＮＭＦを用いれば、基底行列のクラスタリング問題および基底ベクトルに複数の音源成分が含まれる問題は解決できる。しかし、ＮＭＦの性質上、式（５）の基底行列Ｈに、教師基底行列Ｆと同じ基底ベクトルが含まれないことは保証されない。教師基底行列Ｆと同じ基底ベクトルが基底行列Ｈに含まれるとどういう現象が起こるかというと、ある期間における特定音源の音が基底行列Ｈによって表現されてしまい、その期間、アクティベーション行列Ｇで表現される音が無音になってしまうという現象が起こる可能性がある。最も極端な例としては、Ｈ＝Ｆとなった場合、基底行列Ｈによって特定音源の音が全て表現されてしまい、アクティベーション行列Ｇはその成分が全てゼロとなることがある。この場合、教師基底行列Ｆとアクティベーション行列Ｇとの積を計算しても、特定音源の音を再現することはできない。
【００２５】
この問題の原因は、教師基底行列Ｆと基底行列Ｈとが同じ基底ベクトルを含んでしまうことにある。この問題を解決するために、直交化罰則付きＳＮＭＦ（ＰＳＮＭＦ）が提案されている（非特許文献２）。ＰＳＮＭＦでは、次式（６）のＮＭＦが行われる。
【数６】
2017151228.tif 000008
式（６）は、教師基底行列Ｆと基底行列Ｈとができる限り異なるように、これらが無相関となるような罰則の項（式（６）の第２項）を付与したものである。これによれば、教師基底行列Ｆと基底行列Ｈとが同じ基底ベクトルを含むことが抑制され、音源の分離性能を向上させることができる。
【００２６】
１−４．問題点と本発明の概要
しかし、ＰＳＮＭＦによっても、教師基底行列Ｆが、特定音源以外の成分を含んでしまう可能性は否定できない。教師基底行列Ｆに特定音源以外の成分が含まれていた場合、ＰＳＮＭＦによってアクティベーション行列Ｇを得たとしても、行列積ＦＧにより示される音には、特定音源以外の成分が混入していることになる。これはそもそも、学習時に各音源を良く表現する基底行列が、混合音から特定音源の音を分離するのには必ずしも最適とは限らないことに起因している。なおこの問題はＰＳＮＭＦだけに限られず、ＮＭＦによる音源分離が一般的に抱える問題である。
【００２７】
具体例として、チェロの教師基底行列を用いて、チェロとクラリネットの混合音からチェロの音を分離する例を考える。チェロの周波数スペクトルとクラリネットの周波数スペクトルとは、一部が異なり一部が共通する周波数成分を有している。この場合、共通する周波数成分の影響により、アクティベーション行列Ｇがチェロだけでなくクラリネットの音をも表してしまうことがある。この場合、基底行列Ｈがチェロとクラリネットとの音の差に相当する成分を有するように決定され、式（６）全体としては距離Ｄが最小となるものの、アクティベーション行列Ｇはチェロの音を適切に表していないことになる。
【００２８】
混合音から特定音源の音を分離することだけを考えると、教師基底行列は、特定音源の音を分離するために必要な成分のみを有していることが望ましい。すなわち先の例でいうと、混合音からチェロの音を分離する際には、チェロの教師基底行列は、チェロに特有の周波数成分だけを含み、クラリネットと共通の周波数成分を含まないものであることが望ましい。一方で、アクティベーション行列を用いて特定音源の音を再現する際には、チェロの教師基底行列は、チェロの音に含まれる全ての周波数成分含んでいることが望ましい。
【００２９】
図３は、本発明の概要を示す図である。従来、ＮＭＦ（ＳＮＭＦおよびＰＳＮＭＦを含む）においては、特定音源と他の音源との基底ベクトルとの成分の重複は特に配慮されていなかった（図３上段）。これに対し本発明では、他の音源と基底ベクトルの成分が重複しないような、分離用の基底行列を用いる（図３下段）。特定音源の音の再現については、再現用の基底行列が用いられる。なお、分離用の基底行列においては、他の音源との基底ベクトルの成分の重複が必ずしも完全に排除されている必要はなく、再現用の基底行列と比較して重複が少なければよい。
【００３０】
２．実施形態
２−１．アルゴリズム
図４は、本発明の一実施形態に係るアルゴリズムを例示するフローチャートである。このアルゴリズムの概要は以下のとおりである。第１に、このアルゴリズムにおいては、混合音から特定音源の音を分離する処理と、分離後に特定音源の音を再現する処理とで異なる教師基底行列が用いられる。第２に、分離用の教師基底行列を得る際には、教師信号に加え、教師信号とは異なる音信号が用いられる。詳細には以下のとおりである。
【００３１】
ステップＳ１において、再現用の教師基底行列を作成する処理（再現用基底作成処理）が行われる。ここで作成される教師基底行列は、特定音源の音の再現に用いられる再現用の教師基底行列であり、さらに、分離用の教師基底行列を計算する際の初期値としても用いられる。
【００３２】
図５は、再現用基底作成処理の詳細を例示する図である。ステップＳ１１において、教師信号が準備される。既に説明したように、教師信号は、抽出したい音源の音のみを含むものであれば、その内容はどのようなものでもよい。ステップＳ１２において、教師信号から、振幅スペクトログラムが計算される。ステップＳ１３において、この振幅スペクトログラムを示す行列Ｙ１が計算される。以下、振幅スペクトログラムを示す行列Ｙを単に「振幅スペクトログラムＹ」という。ステップＳ１４において、振幅スペクトログラムＹ１に対し次式（７）のＮＭＦが適用され、基底行列Ｆ１およびアクティベーション行列Ｇ１が計算される。ここで計算された基底行列Ｆ１は、以降、再現用の教師基底行列として用いられる。
【数７】
2017151228.tif 000009
【００３３】
再び図４を参照する。ステップＳ２において、分離用の教師基底行列を作成する処理（分離用基底作成処理）が行われる。
【００３４】
図６は、分離用基底作成処理の詳細を例示する図である。ステップＳ２１において、妨害音の音信号（以下「妨害音信号」という）が準備される。妨害音信号は、教師信号と異なる音信号の一例である。妨害音信号は教師信号と異なっていればよいが、入力信号に含まれるであろうことが予想される音の信号であることが望ましい。例えば、人間の歌声、ピアノ、ギター、ベース、およびドラムの音が含まれることが予想される入力信号からギターの音を分離する場合、妨害音信号は、人間の歌声、ピアノ、ベース、およびドラムのうち１つの音、または２つ以上の混合音であることが望ましい。ただし、入力信号に含まれる音を事前に予想することは必ずしも現実的ではないので、例えば、複数の音源の音信号を多めに準備しておき、これらの中から１つ以上の音信号を妨害音信号として選択して用いてもよい。この例では、全部でｐ個の妨害音信号が用いられる（ｐは１以上の自然数）。
【００３５】
ステップＳ２２において、教師信号と妨害音信号とが合成される。ステップＳ２３において、ステップＳ２２において得られた音信号の振幅スペクトログラムＹｄｅｖが計算される。振幅スペクトログラムは、ｐ個の妨害音信号のそれぞれについて計算される。ｉ番目の妨害音信号と教師信号の合成音に対応する振幅スペクトログラムＹｄｅｖ（ｉ）は、次式（８）で表される。
【数８】
2017151228.tif 000010
ここで、Ｙ２（ｉ）はｉ番目の妨害音の振幅スペクトログラムである（ｉ＝１、２、…、ｐ）。
【００３６】
ステップＳ２４において、振幅スペクトログラムＹｄｅｖに対し、ステップＳ１において得られたアクティベーション行列Ｇ１を用いて次式（９）のＮＭＦが適用され、基底行列Ｆｓ、基底行列Ｆ２、およびアクティベーション行列Ｇ２が計算される。
【数９】
2017151228.tif 000011
式（９）のＮＭＦの初期条件としては、Ｆｓ＝Ｆ１が用いられる。このＮＭＦでは、ステップＳ１で得られたアクティベーション行列Ｇ１は固定され（更新されず）、基底行列Ｆｓ、基底行列Ｆ２、およびアクティベーション行列Ｇ２が反復的に更新される。これらの行列はいずれも非負値行列であるため、アクティベーション行列Ｇ１を固定していると、基底行列Ｆ１で表現されていた周波数成分のうち妨害音信号にも含まれる周波数成分は、基底行列Ｆ２で表現されるようになっていく。式（９）により得られた基底行列Ｆｓは、分離用の教師基底行列として用いられる。
【００３７】
再び図４を参照する。ステップＳ３において、入力信号から特定音源の音を分離する処理（分離処理）が行われる。
【００３８】
図７は、分離処理の詳細を示す図である。ステップＳ３１において、入力信号の振幅スペクトログラムＹが計算される。ステップＳ３２において、振幅スペクトログラムＹに対して、ステップＳ３において得られた教師基底行列Ｆｓを用いて次式（１０）のＳＮＭＦが適用され、アクティベーション行列Ｇ、基底行列Ｈ、およびアクティベーション行列Ｕが計算される。なおここで、ＳＮＭＦに代えてＰＳＮＭＦが用いられてもよい。
【数１０】
2017151228.tif 000012
【００３９】
再び図４を参照する。ステップＳ４において、特定音源の音を再現する処理（再現処理）が行われる。
【００４０】
図８は、再現処理の詳細を示す図である。ステップＳ４１において、ステップＳ１で得られた再現用の教師基底行列Ｆ１およびステップＳ３で得られたアクティベーション行列Ｇを用いて、次式（１１）により、振幅スペクトログラムＹｒが計算される。
【数１１】
2017151228.tif 000013
【００４１】
ステップＳ４２において、式（１１）により得られた振幅スペクトログラムＹｒに対し位相が付与される。位相の付与は、例えば、入力信号と同じ位相を与えることにより、または、所定の位相回復アルゴリズムを適用することにより行われる。ステップＳ４３において、位相が付与された振幅スペクトログラムＹｒに対して短時間逆フーリエ変換を施すことにより、特定音源の音信号の波形が得られる。
【００４２】
２−２．システムへの適用
図９は、一実施形態に係る音源分離システム１の機能構成を例示する図である。音源分離システム１は、少なくとも、作成手段１１、作成手段１２、記憶手段１３、取得手段１４、取得手段１５、分離手段１６、再現手段１７、および出力手段１８を有する。作成手段１１は、教師信号を用いて再現用基底作成処理を行い、再現用の教師基底行列Ｆ１およびアクティベーション行列Ｇ１を計算する。作成手段１２は、妨害音信号を用いて分離用基底作成処理を行い、分離用の教師基底行列Ｆｓを計算する。記憶手段１３は、教師基底行列Ｆ１およびＦｓを記憶する。取得手段１４は、教師基底行列Ｆ１を取得する。取得手段１５は、教師基底行列Ｆｓを取得する。分離手段１６は、与えられた入力信号から、教師基底行列Ｆｓを用いて特定音源の音を分離する。再現手段１７は、教師基底行列Ｆ１を用いて特定音源の音を再現する。出力手段１８は、再現された特性音源の音を出力する。
【００４３】
図１０は、音源分離システム１の装置構成を例示する図である。音源分離システム１は、例えば、サーバ１０、クライアント端末２０、および提供者端末３０を有する。サーバ１０および提供者端末３０は、サービス提供事業者により管理されている。サーバ１０および提供者端末３０は、ネットワーク４０を介して接続されている。ネットワーク４０は、例えばインターネットまたは専用線である。サーバ１０およびクライアント端末２０は、ネットワーク５０を介して接続されている。ネットワーク５０は、例えばインターネットである。クライアント端末２０は、エンドユーザーにより使用される。サーバ１０、クライアント端末２０、および提供者端末３０はいずれもコンピュータ装置であり、ＣＰＵ（Central Processing Unit）、メモリ、ストレージ、および通信インターフェースを有する。クライアント端末２０はさらに、ユーザーインターフェースとなる入力装置（例えば、キーボード、タッチスクリーン、またはマイクロフォン）および出力装置（例えば、ディスプレイまたはスピーカ）を有する。
【００４４】
図９の機能は、サーバ１０、クライアント端末２０、および提供者端末３０のＣＰＵが、それぞれ対応するプログラムを実行することにより各装置に実装される。機能要素をどのハードウェアに実装するかによって、音源分離システム１にはいくつかのバリエーションがある。以下、それらを説明する。
【００４５】
２−２−１．例１
図１１は、音源分離システム１の例１に係る動作を示すシーケンスチャートである。この例では、提供者端末３０が作成手段１１および作成手段１２を有し、サーバ１０が記憶手段１３、分離手段１６、および再現手段１７を有し、クライアント端末２０が出力手段１８を有する。
【００４６】
ステップＳ１０１において、提供者端末３０のＣＰＵは、再現用基底作成処理を行う。提供者端末３０のストレージは、教師信号を生成するためのデータ（以下「教師データ」という）および妨害音信号を生成するためのデータ（以下「妨害音データ」という）等の各種データを記憶している。教師データは、例えば教師信号の波形を記録したデータであり、妨害音データは、例えば妨害音信号の波形を記録したデータである。提供者端末３０のストレージは、複数の音源の各々について教師データを記憶している。ＣＰＵは、ストレージから教師データを取得し、取得した教師データを用いて再現用の教師基底行列Ｆ１およびアクティベーション行列Ｇ１を計算する。ステップＳ１０１の処理は、作成手段１１の機能に相当する。
【００４７】
ステップＳ１０２において、提供者端末３０のＣＰＵは、分離用基底作成処理を行う。このＣＰＵは、ストレージから妨害音データを取得し、取得した妨害音データおよびステップＳ１０１で計算されたアクティベーション行列Ｇ１を用いて分離用の教師基底行列Ｆｓを計算する。ステップＳ１０１の再現用基底作成処理およびステップＳ１０２の分離用基底作成処理は、複数の音源の各々について行われる。ステップＳ１０２の処理は、作成手段１２の機能に相当する。ステップＳ１０３において、提供者端末３０の通信インターフェースは、複数組の教師基底行列Ｆ１およびＦｓをサーバ１０に送信する。
【００４８】
ステップＳ１０４において、サーバ１０の通信インターフェースは、教師基底行列Ｆ１およびＦｓを受信する。ステップＳ１０５において、サーバ１０は、教師基底行列Ｆ１およびＦｓをストレージに記憶する。ステップＳ１０５の処理は、記憶手段１３の機能に相当する。以上が、音源分離サービスの準備段階の処理であり、少なくとも音源分離サービスの開始前までに行われる。なお、教師信号の更新や、対応する特定音源の更新に伴って、音源分離サービスの開始後にステップＳ１０１〜Ｓ１０５の処理が行われてもよい。
【００４９】
ステップＳ１０６において、クライアント端末２０のＣＰＵは、入力信号すなわち混合音信号の入力を受け付ける。ステップＳ１０７において、このＣＰＵは、特定音源の指定を受け付ける。ステップＳ１０８において、クライアント端末２０の通信インターフェースは、特定音源の分離の要求（以下「分離要求」という）をサーバ１０に送信する。この分離要求は、データ化された入力信号（以下「入力音データ」という）および特定音源の識別子を含む。入力音データは、ＰＣＭ（Pulse Code Modulation）等、信号波形をデータ化したものであってもよいし、振幅スペクトログラムをデータ化したものであってもよい。
【００５０】
ステップＳ１０９において、サーバ１０の通信インターフェースは、分離要求を受信する。ステップＳ１１０において、サーバ１０のＣＰＵは、ストレージから教師基底行列Ｆｓを取得する。ステップＳ１１０の処理は取得手段１５の機能に相当する。
【００５１】
ステップＳ１１１において、サーバ１０のＣＰＵは、この要求に係る入力信号から特定音源の音を分離する分離処理を行う。このＣＰＵは、与えられた入力信号から特定音源の音を分離し、アクティベーション行列Ｇを計算する。分離処理においては、ステップＳ１１０で取得された教師基底行列Ｆｓが用いられる。ステップＳ１１１の処理は、分離手段１６の機能に相当する。
【００５２】
ステップＳ１１２において、サーバ１０のＣＰＵは、ストレージから教師基底行列Ｆ１を取得する。ステップＳ１１２の処理は取得手段１４の機能に相当する。
【００５３】
ステップＳ１１３において、サーバ１０のＣＰＵは、特定音源の音を再現する再現処理を行う。再現処理においては、ステップＳ１１１において計算されたアクティベーション行列ＧおよびステップＳ１１２で取得された教師基底行列Ｆ１が用いられる。すなわち、このＣＰＵは、特定音源の音を再現したデータ（以下「再現音データ」という）を生成する。再現音データは、信号波形をデータ化したものであってもよいし、振幅スペクトログラムをデータ化したものであってもよい。ステップＳ１１３の処理は、再現手段１７の機能に相当する。ステップＳ１１４において、サーバ１０の通信インターフェースは、再現音データを、分離要求の送信元であるクライアント端末２０に送信する。
【００５４】
ステップＳ１１５において、クライアント端末２０の通信インターフェースは、再現音データを受信する。ステップＳ１１６において、クライアント端末２０は、再現音データにより示される再現音を、スピーカから出力する。ステップＳ１１３の処理は、出力手段１８の機能に相当する。
【００５５】
２−２−２．例２
図１２は、音源分離システム１の例２に係る動作を示すシーケンスチャートである。この例では、提供者端末３０が作成手段１１および作成手段１２を有し、サーバ１０が記憶手段１３を有し、クライアント端末２０が分離手段１６、再現手段１７、および出力手段１８を有する。この例においても、準備段階の処理（ステップＳ１０１〜Ｓ１０５）は図１１と同様に行われるが、図１２において準備段階の処理は省略している。
【００５６】
ステップＳ２０１において、クライアント端末２０のＣＰＵは、入力信号すなわち混合音信号の入力を受け付ける。ステップＳ２０２において、このＣＰＵは、特定音源の指定を受け付ける。ステップＳ２０３において、クライアント端末２０の通信インターフェースは、教師基底行列の送信の要求（以下「基底要求」という）をサーバ１０に送信する。この基底要求は、特定音源の識別子を含む。
【００５７】
ステップＳ２０４において、サーバ１０の通信インターフェースは、基底要求を受信する。ステップＳ２０５において、サーバ１０のＣＰＵは、受信した基底要求に含まれる識別子に対応する教師基底行列Ｆ１およびＦｓを、基底要求の送信元であるクライアント端末２０に送信する。
【００５８】
ステップＳ２０６において、クライアント端末２０の通信インターフェースは、教師基底行列Ｆ１およびＦｓを受信する。ステップＳ２０６の処理は、取得手段１４および取得手段１５の機能に相当する。ステップＳ２０７において、クライアント端末２０の通信インターフェースは、入力信号から特定音源の音を分離する分離処理を行う。このＣＰＵは、与えられた入力信号から特定音源の音を分離し、アクティベーション行列Ｇを計算する。分離処理においては、ステップＳ２０６で取得された教師基底行列Ｆｓが用いられる。ステップＳ２０７の処理は、分離手段１６の機能に相当する。
【００５９】
ステップＳ２０８において、クライアント端末２０のＣＰＵは、特定音源の音を再現する再現処理を行う。再現処理においては、ステップＳ２０７において計算されたアクティベーション行列ＧおよびステップＳ２０６で取得された教師基底行列Ｆ１が用いられる。ステップＳ２０８の処理は、再現手段１７の機能に相当する。
【００６０】
ステップＳ２０９において、クライアント端末２０は、再現音データにより示される再現音を、スピーカから出力する。ステップＳ２０９の処理は、出力手段１８の機能に相当する。
【００６１】
３．変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。
【００６２】
音源分離システム１の装置構成および機能の分担は図１０〜１２で説明したものに限定されない。例えば、サーバ１０が提供者端末３０の機能を兼ね備えていてもよい。別の例で、単一の装置が、作成手段１１、作成手段１２、記憶手段１３、分離手段１６、再現手段１７、および出力手段１８を全て有してもよい。この場合、この装置は、例えば、マイクロフォンで周囲の環境音を継続的に収音し、この音を妨害音として用いてもよい。
【００６３】
教師音および妨害音は音源分離システム１において事前に準備されたものに限定されない。例えば、ユーザーが教師音および妨害音を準備し、音源分離システム１に対しこの教師音に対応する教師基底行列の作成を要求してもよい。音源分離システム１は、ユーザーから提供された教師音および妨害音を用いて教師基底行列Ｆ１およびＦｓを作成し、ユーザーに提供する。
【００６４】
分離用の教師基底行列を計算する際の初期値は、再現用の教師基底行列に限定されない。他の初期値が用いられてもよい。
【００６５】
図９に例示した機能はソフトウェアにより実装されるものに限定されない。これらの機能の少なくとも一部は、専用のハードウェアにより実装されてもよい。
【符号の説明】
【００６６】
１…音源分離システム、１１…作成手段、１２…作成手段、１３…記憶手段、１４…取得手段、１５…取得手段、１６…分離手段、１７…再現手段、１８…出力手段
【図１】
2017151228.tif 000014
【図２】
2017151228.tif 000015
【図３】
2017151228.tif 000016
【図４】
2017151228.tif 000017
【図５】
2017151228.tif 000018
【図６】
2017151228.tif 000019
【図７】
2017151228.tif 000020
【図８】
2017151228.tif 000021
【図９】
2017151228.tif 000022
【図１０】
2017151228.tif 000023
【図１１】
2017151228.tif 000024
【図１２】
2017151228.tif 000025