(57)【要約】【課題】分離性能を改善することが可能な音源分離技術を提供する。【解決手段】音を観測した観測信号を取得する取得部と、想定される複数の音源の各々に対応する係数ベクトル及び入力ベクトルの行列積に非線形関数を適用することで、前記取得部により取得された前記観測信号を前記複数の音源の各々に対応する複数の分離信号に分離する音源分離部と、を備える情報処理装置。【選択図】図５
2018042791.tif 000002
【特許請求の範囲】
【請求項１】
音を観測した観測信号を取得する取得部と、
想定される複数の音源の各々に対応する係数ベクトル及び入力ベクトルの行列積に非線形関数を適用することで、前記取得部により取得された前記観測信号を前記複数の音源の各々に対応する複数の分離信号に分離する音源分離部と、
を備える情報処理装置。
【請求項２】
前記係数ベクトルは、オートエンコーダのデコーダとして事前に学習される、請求項１に記載の情報処理装置。
【請求項３】
ある音源に対応する前記係数ベクトルは、当該音源から出力される音を観測した学習用観測信号をオートエンコーダへ入力することで学習される、請求項２に記載の情報処理装置。
【請求項４】
前記音源分離部は、複数の前記係数ベクトルに関し、前記係数ベクトル及び前記入力ベクトルの行列積への非線形関数の適用結果を新たな前記入力ベクトルとして、前記係数ベクトル及び前記入力ベクトルの行列積への非線形関数の適用を再帰的に繰り返す、請求項１に記載の情報処理装置。
【請求項５】
前記音源分離部は、前記観測信号と複数の前記分離信号との関係に基づいて前記入力ベクトルを逐次的に更新する、請求項１に記載の情報処理装置。
【請求項６】
前記音源分離部は、前記入力ベクトルの初期値を、デコーダと共に学習されたエンコーダに前記観測信号を入力することで生成する、請求項５に記載の情報処理装置。
【請求項７】
前記音源分離部は、前記入力ベクトルの初期値を乱数により生成する、請求項５に記載の情報処理装置。
【請求項８】
前記音源分離部は、前記観測信号と、前記係数ベクトル及び前記入力ベクトルの行列積に非線形関数を適用することで得られる中間分離信号を前記複数の音源に関して合成した信号と、の誤差がより小さくなるよう前記入力ベクトルを逐次的に更新する、請求項５に記載の情報処理装置。
【請求項９】
前記誤差は、時間周波数領域に変換された前記観測信号の各時刻における各周波数の振幅スペクトルと、前記複数の音源に関して得られる複数の時間周波数領域の前記中間分離信号の各時刻における各周波数の振幅スペクトルの和と、の二乗誤差である、請求項８に記載の情報処理装置。
【請求項１０】
前記音源分離部は、前記係数ベクトル及び前記入力ベクトルの行列積に非線形関数を適用することで得られる時間周波数領域の中間分離信号の各時刻における各周波数の振幅スペクトルを、前記複数の音源に関して得られた複数の前記中間分離信号の各時刻における各周波数の振幅スペクトルの和で割った値を、時間周波数領域に変換された前記観測信号の各時刻における各周波数の振幅スペクトルに掛けた信号を時間領域の信号に変換することで、前記分離信号を生成する、請求項１に記載の情報処理装置。
【請求項１１】
前記音源分離部は、前記行列積に非線形関数を適用することで得られる時間周波数領域の中間分離信号を時間領域の信号に変換することで、前記分離信号を生成する、請求項１に記載の情報処理装置。
【請求項１２】
音を観測した観測信号を取得することと、
想定される複数の音源の各々に対応する係数ベクトル及び入力ベクトルの行列積に非線形関数を適用することで、取得された前記観測信号を前記複数の音源の各々に対応する複数の分離信号に分離することと、
を含む、プロセッサにより実行される情報処理方法。
【請求項１３】
コンピュータを、
音を観測した観測信号を取得する取得部と、
想定される複数の音源の各々に対応する係数ベクトル及び入力ベクトルの行列積に非線形関数を適用することで、前記取得部により取得された前記観測信号を前記複数の音源の各々に対応する複数の分離信号に分離する音源分離部と、
として機能させるためのプログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法及び記録媒体に関する。
【背景技術】
【０００２】
複数の音源から出力された音が混在する観測信号を、個々の音源から出力された音に対応する分離信号に分離する、音源分離技術がある。音源分離技術は、多様な音が混在する環境下で対象とする音源の音を抽出することが可能であるので、例えば音声認識精度を向上させるために有用である。なお、音源とは、音声、楽器音又は雑音など、音を放射するオブジェクトを指す。【０００３】
音源分離技術のひとつとして、非負値行列因子分解（ＮＭＦ：（non-negative  matrix  factorization）を用いて音源を分離する手法がある。例えば、下記特許文献１に、ＮＭＦを用いて音源を分離する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２１５４６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＮＭＦを用いた音源分離技術では、音源のスペクトログラムが行列積として表現される。しかし、この表現方法で分離信号のスペクトルを正確に再現するには限界があり、分離性能の改善が求められていた。【０００６】
そこで、本開示では、分離性能を改善することが可能な音源分離技術を提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、音を観測した観測信号を取得する取得部と、想定される複数の音源の各々に対応する係数ベクトル及び入力ベクトルの行列積に非線形関数を適用することで、前記取得部により取得された前記観測信号を前記複数の音源の各々に対応する複数の分離信号に分離する音源分離部と、を備える情報処理装置が提供される。【０００８】
また、本開示によれば、音を観測した観測信号を取得することと、想定される複数の音源の各々に対応する係数ベクトル及び入力ベクトルの行列積に非線形関数を適用することで、取得された前記観測信号を前記複数の音源の各々に対応する複数の分離信号に分離することと、を含む、プロセッサにより実行される情報処理方法が提供される。【０００９】
また、本開示によれば、コンピュータを、音を観測した観測信号を取得する取得部と、想定される複数の音源の各々に対応する係数ベクトル及び入力ベクトルの行列積に非線形関数を適用することで、前記取得部により取得された前記観測信号を前記複数の音源の各々に対応する複数の分離信号に分離する音源分離部と、として機能させるためのプログラムが記録された記録媒体が提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、分離性能を改善することが可能な音源分離技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】オートエンコーダを説明するための図である。
【図２】ＮＭＦを用いた音源分離技術を説明するための図である。
【図３】本実施形態に係る音源分離技術の学習プロセスを説明するための図である。
【図４】本実施形態に係る音源分離技術の分離プロセスを説明するための図である。
【図５】本実施形態に係る情報処理装置の論理的な構成の一例を示すブロック図である。
【図６】本実施形態に係る情報処理装置の詳細な内部構成の一例を示すブロック図である。
【図７】本実施形態に係る情報処理装置の詳細な内部構成の一例を示すブロック図である。
【図８】本実施形態に係る情報処理装置の詳細な内部構成の一例を示すブロック図である。
【図９】本実施形態に係る中間分離信号の生成に関する第１の例を説明するための図である。
【図１０】本実施形態に係る中間分離信号の生成に関する第２の例を説明するための図である。
【図１１】本実施形態に係る中間分離信号の生成に関する第３の例を説明するための図である。
【図１２】本実施形態に係る情報処理装置の詳細な内部構成の一例を示すブロック図である。
【図１３】本実施形態に係る情報処理装置の詳細な内部構成の一例を示すブロック図である。
【図１４】本実施形態に係る情報処理装置の詳細な内部構成の一例を示すブロック図である。
【図１５】本実施形態に係る情報処理装置の詳細な内部構成の一例を示すブロック図である。
【図１６】本実施形態に係る情報処理装置において実行される音源分離処理の流れの一例を示すフローチャートである。
【図１７】本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．はじめに
１．１．ニューラルネット
１．２．技術的課題
２．アルゴリズムの概要
３．構成例
４．処理の流れ
５．ハードウェア構成例
６．まとめ
【００１４】
＜＜１．はじめに＞＞
＜１．１．ニューラルネット＞
ニューラルネットとは、脳機能を計算機上のシミュレーションを用いて表現したモデルである。ニューラルネットは、ニューロンを模したノード同士を、シナプスを模したリンクにより連結させた構成を有し、ニューロンからの出力を連結された他のニューロンに伝搬させながら最終的な出力を得る。あるノードから出力ｙは、入力元のＮ個のノードからの入力ｘ１，…，ｘＮ、各入力への重み付け係数ｗ１，…，ｗＮ、バイアスｗ０、及び活性化関数ｆを用いて、次式により表される。
【００１５】
【数１】
2018042791.tif 000003
【００１６】
ここで、重み付け係数及びバイアスは係数（又は係数ベクトル）とも総称される。ニューラルネットは、教師データを用いて係数を事前に学習しておくことで利用可能となる。
【００１７】
ニューラルネットワークは、ひとつ以上のノードを有する層を複数連結させた構成を有することも可能である。特に、多層構造のニューラルネットは、ディープニューラルネットとも称され、多層構造のニューラルネットを用いた学習はディープラーニングとも称される。膨大な計算量が要されるディープラーニングは、近年の計算機の性能向上により実用可能になったため、注目を集めている。
【００１８】
ニューラルネットの応用のひとつに、自己符号化器とも称されるオートエンコーダ（Auto-Encoder）がある。オートエンコーダを、図１を参照して詳しく説明する。
【００１９】
図１は、オートエンコーダを説明するための図である。図１に示したオートエンコーダは、入力層１１、隠れ層１２及び出力層１３を有する。入力層１１から隠れ層１２までのニューラルネットは、エンコーダとも称される。エンコーダは、係数をＷ、活性化関数をｆとすると、次式により表される。
【００２０】
【数２】
2018042791.tif 000004
【００２１】
また、隠れ層１２から出力層１３までのニューラルネットは、デコーダとも称される。デコーダは、係数をＷＴ、活性化関数をｇとすると、次式により表される。
【００２２】
【数３】
2018042791.tif 000005
【００２３】
オートエンコーダでは、入力ベクトルＸと出力ベクトルＸ´が一致するように、係数Ｗ及びＷＴの学習が行われる。学習の際にはエンコーダとデコーダとが組み合わされて使用される一方、学習以外の場面ではエンコーダとデコーダとが別々に使用されてもよい。
【００２４】
＜１．２．技術的課題＞
以下、ＮＭＦを用いた音源分離技術に関して説明し、その技術的課題を説明する。
【００２５】
図２は、ＮＭＦを用いた音源分離技術を説明するための図である。図２に示すように、ＮＭＦを用いた音源分離技術では、観測信号のスペクトログラムＸが、基底ベクトルＴと結合ベクトルＶとの行列積により表現される。なお、結合ベクトルＶは、基底ベクトルＴの使用度合いとして捉えることが可能である。
【００２６】
スペクトログラムとは、振幅スペクトル（即ち、振幅の利得）を時間方向に並べた形式の情報であり、横軸が時間であり、縦軸が周波数である。つまり、観測信号のスペクトログラムＸは、周波数方向のサイズがＩ、時間方向のサイズがＪである。また、基底ベクトルＴはＩ×Ｋの行列であり、結合ベクトルＶはＫ×Ｊの行列である。音の観測信号の振幅スペクトルは非負値であるので、スペクトログラムＸは非負値のみをとる行列とみなすことができる。そのため、ＮＭＦの枠組みにより、スペクトログラムＸを２つの行列ＴとＶとに分解し、それらを用いて音源分離を行うことが可能となる。
【００２７】
基底ベクトルＴの列数Ｋは、基底数を意味している。例えば、楽器音は発することができる音の種類が限られているので、少ない基底数の基底ベクトルＴと結合ベクトルＶとの行列積によりスペクトログラムＸを再現することが可能である。しかし音声では、個人差及び発話内容等によってスペクトル形状が大きく異るため、再現するために必要な基底数が膨大になる。基底数が増加すると、行列演算のコストが増加するだけでなく、適切なベクトルＴとＶとを計算することが困難になり、結果的に分離信号の品質劣化を引き起こしてしまう。更には、スペクトログラムＸを基底ベクトルＴと結合ベクトルＶとの線形演算では再現することが困難な場合もあると考えられる。
【００２８】
そこで、本開示では、ニューラルネットの枠組みを利用して、スペクトログラムを行列積及び非線形関数により表現することで、分離信号の再現性を向上させる技術を提供する。
【００２９】
＜＜２．アルゴリズムの概要＞＞
以下、図３及び図４を参照して、本開示の一実施形態に係る音源分離技術のアルゴリズムの概要を説明する。本実施形態に係る音源分離技術は、事前の学習プロセスと、音源分離する際の分離プロセスとに分かれる。以下では、音源が２つである場合を想定して説明するが、音源は３つ以上であってもよい。
【００３０】
図３は、本実施形態に係る音源分離技術の学習プロセスを説明するための図である。図３に示すように、想定される音源ごとにオートエンコーダが用意される。学習プロセスにおいては、音源ごとのオートエンコーダが学習される。例えば、第１の音源に対応するオートエンコーダに教師データＤ１（０、τ），…，Ｄ１（Ｆ、τ）が入力され、教師データＤ１（０、τ），…，Ｄ１（Ｆ、τ）と出力されるＥ１（０、τ），…，Ｅ１（Ｆ、τ）とが一致するようにエンコーダＵ１及びデコーダＴ１が学習される。また、第２の音源に対応するオートエンコーダに教師データＤ２（０、τ），…，Ｄ２（Ｆ、τ）が入力され、教師データＤ２（０、τ），…，Ｄ２（Ｆ、τ）と出力されるＥ２（０、τ），…，Ｅ２（Ｆ、τ）とが一致するようにエンコーダＵ２及びデコーダＴ２が学習される。
【００３１】
図４は、本実施形態に係る音源分離技術の分離プロセスを説明するための図である。分離プロセスにおいては、事前に学習されたデコーダを用いて音源分離が行われる。例えば、第１の音源に対応するデコーダＴ１に入力値Ｖ１が入力されることで信号Ｅ１（０、τ），…，Ｅ１（Ｆ、τ）が出力され、第２の音源に対応するデコーダＴ２に入力値Ｖ２が入力されることで信号Ｅ２（０、τ），…，Ｅ２（Ｆ、τ）が出力される。そして、これらの信号が合成された信号Ｙ（０，τ），…，Ｙ（Ｆ，τ）と観測信号Ｘ（０，τ），…，Ｘ（Ｆ，τ）との距離が最小化されるように、入力値Ｖ１及びＶ２が探索される。そして、デコーダＴ１に上記距離を最小化する入力値Ｖ１が入力されることで得られる信号Ｅ１（０、τ），…，Ｅ１（Ｆ、τ）、及びデコーダＴ２に上記距離を最小化する入力値Ｖ２が入力されることで得られる信号Ｅ２（０、τ），…，Ｅ２（Ｆ、τ）に基づいて、分離信号が生成される。
【００３２】
なお、Ｆは周波数帯域を示すインデックスであり、τはフレームインデックスである。アルゴリズムの詳細は、以下で詳しく説明する。
【００３３】
＜＜３．構成例＞＞
図５は、本実施形態に係る情報処理装置１００の論理的な構成の一例を示すブロック図である。図５に示すように、情報処理装置１００は、取得部１１０、音源分離部１２０及び出力部１３０を含む。
【００３４】
（１）取得部１１０
取得部１１０は、音を観測した観測信号を取得する機能を有する。以下、図６を参照して、取得部１１０の構成を説明する。
【００３５】
図６は、本実施形態に係る情報処理装置１００の詳細な内部構成の一例を示すブロック図である。図６に示すように、取得部１１０は、観測信号ｘ（ｎ）を出力する。ここで、ｎは観測信号のサンプル番号を表す。
【００３６】
例えば、取得部１１０は、マイクロフォン、エレクトレットコンデンサマイクロフォン、又はＭＥＭＳ（Micro  Electro  Mechanical  Systems）マイクロフォン等により収音された音を示す観測信号を取得する。他にも、取得部１１０は、ＣＤ（Compact  Disc）又はＨＤＤ（Hard  Disk  Drive）等の記録媒体に記録された観測信号を取得してもよいし、ネットワーク上からストリーミング等により受信された観測信号を取得してもよい。観測信号は、音響信号として捉えられてもよい。
【００３７】
（２）音源分離部１２０
音源分離部１２０は、取得部１１０により取得された観測信号を、想定される複数の音源の各々に対応する複数の分離信号に分離する機能を有する。図５に示すように、音源分離部１２０は、時間周波数変換部１２１、中間分離信号生成部１２２、係数ベクトル保持部１２３、誤差算出部１２４、入力ベクトル更新部１２５、分離信号算出部１２６、及び時間周波数逆変換部１２７を含む。
【００３８】
・時間周波数変換部１２１
時間周波数変換部１２１は、時間領域の観測信号を時間周波数領域の信号に変換する機能を有する。以下、図７を参照して、時間周波数変換部１２１の構成を説明する。
【００３９】
図７は、本実施形態に係る情報処理装置１００の詳細な内部構成の一例を示すブロック図である。図７に示すように、時間周波数変換部１２１は、取得部１１０から出力された観測信号ｘ（ｎ）が入力され、変換後の観測信号Ｘ（τ）を出力する。
【００４０】
例えば、時間周波数変換部１２１は、観測信号ｘ（ｎ）をフレームサイズＮサンプルごとにフレーム分割し、取り出したフレームに窓関数を適用し、次いでＦＦＴ（Fast  Fourier  Transform）を適用することで、ある区間の観測信号を周波数領域の信号に変換する。時間周波数変換部１２１は、フレーム分割においてＳサンプルずつ取り出す区間をシフトさせながら繰り返し変換することで、時間領域の観測信号を時間周波数領域の信号に変換する。例えば、時間周波数変換部１２１は、フレームサイズＮを１０２４、シフトサイズＳを５１２に設定し得る。時間周波数領域に変換された観測信号は、次式で表される。
【００４１】
【数４】
2018042791.tif 000006
【００４２】
ここで、ｆ及びＦは周波数帯域を示すインデックスであり、τはフレームインデックスである。
【００４３】
・中間分離信号生成部１２２
中間分離信号生成部１２２は、中間分離信号を生成する機能を有する。以下、図８を参照して、中間分離信号生成部１２２の構成を説明する。
【００４４】
図８は、本実施形態に係る情報処理装置１００の詳細な内部構成の一例を示すブロック図である。図８に示すように、中間分離信号生成部１２２は、係数ベクトル保持部１２３から出力された係数ベクトルＴ１、Ｔ２、及び後述する入力ベクトル更新部１２５から出力された入力ベクトルＶ１（τ）、Ｖ２（τ）が入力され、中間分離信号Ｅ１（τ）、Ｅ２（τ）を出力する。ここで、各変数の下付き文字で付されたインデックスは、音源のインデックスを意味する。以下では、一例として、想定される音源が、音声を発するオブジェクトと雑音を発するオブジェクトの２つであるものとする。もちろん、音源数は３以上の任意の数であってもよい。「１」が付された変数は音声に関する変数を意味し、「２」が付された変数は雑音に関する変数を意味するものとする。例えば、Ｅ１（τ）は、音声の中間分離信号であり、Ｅ２（τ）は、雑音の中間分離信号である。
【００４５】
また、想定される音源と、実際の観測信号に含まれる音の音源とは、一致していることが望ましいが、一致していなくてもよい。中間分離信号生成部１２２は、観測信号に含まれる音の音源を推定して、推定された音源を学習対象とした係数ベクトルを、参照する係数ベクトルとして選択してもよい。
【００４６】
音源の種類以外にも、係数ベクトルは、学習に用いられたオートエンコーダの種類に応じて異なり得る。そのため、中間分離信号生成部１２２は、学習されたオートエンコーダの種類に応じた演算により、中間分離信号を生成する。以下では、図９〜図１１を参照して、オートエンコーダの種類ごとの中間分離信号の生成の一例を説明する。
【００４７】
−第１の例
図９は、本実施形態に係る中間分離信号の生成に関する第１の例を説明するための図である。第１の例では、活性化関数が設定されないオートエンコーダが学習される。その場合、中間分離信号生成部１２２は、想定される複数の音源の各々に対応する係数ベクトル及び入力ベクトルの行列積を計算することで、複数の音源の各々に対応する中間分離信号を生成する。生成される中間分離信号は、次式により表される。
【００４８】
【数５】
2018042791.tif 000007
【００４９】
−第２の例
図１０は、本実施形態に係る中間分離信号の生成に関する第２の例を説明するための図である。第２の例では、非線形関数が活性化関数として設定されたオートエンコーダが学習される。その場合、中間分離信号生成部１２２は、想定される複数の音源の各々に対応する係数ベクトル及び入力ベクトルの行列積に非線形関数を適用することで、複数の音源の各々に対応する中間分離信号を生成する。生成される中間分離信号は、次式により表される。
【００５０】
【数６】
2018042791.tif 000008
【００５１】
ここで、ｇ（・）は、非線形関数である。採用され得る非線形関数としては、例えばシグモイド関数、又はＲｅＬＵ（Rectified  Linear  Unit）関数等が考えられる。
【００５２】
シグモイド関数は、入力値が大きくなり過ぎた場合又は小さくなり過ぎた場合に入力値を圧縮して出力する関数である。シグモイド関数が採用される場合、中間部分の再現性が向上する。シグモイド関数は、次式により表される。
【００５３】
【数７】
2018042791.tif 000009
【００５４】
ＲｅＬＵ関数は、負値を０に置き換える関数であり、入力値が負値であっても非負値の出力が担保される。なお、分離プロセスにおいて用いられる非線形関数は、学習プロセスにおいて用いられる非線形関数と同一である。ＲｅＬＵ関数は、次式により表される。
【００５５】
【数８】
2018042791.tif 000010
【００５６】
他にも、ソフトサイン、ソフトプラス、又はウェーブレット等の任意の非線形関数が採用されてもよい。
【００５７】
第２の例によれば、音源分離部１２０は、非線形関数を適用することで、ＮＭＦによる基底ベクトルＴと結合ベクトルＶとの線形演算では再現することが困難だった音声等の複雑なスペクトログラムを、より精度よく再現することが可能となる。なお、ＮＭＦにおける基底ベクトルは、本実施形態における係数ベクトルに対応し、ＮＭＦにおける結合ベクトルは、本実施形態における入力ベクトルに対応する。ここで、ＮＭＦでは、非線形関数を適用した非線形の演算モデルを学習する枠組みがないので、基底ベクトル及び結合ベクトルの行列積に非線形関数を適用することが困難だった。一方、本実施形態では、学習プロセスにおいてオートエンコーダを用いることにより、非線形の演算モデルの学習が可能となった。そのため、本実施形態では、分離プロセスにおいて非線形モデルを用いること、即ち係数ベクトル及び入力ベクトルの行列積に非線形関数を適用することが可能となった。
【００５８】
また、音源分離部１２０は、非線形関数を適用することにより、少ない係数ベクトルの数（ＮＭＦにおける基底ベクトルの基底数に対応）で複雑なスペクトログラムを再現することが可能である。従って、ＮＭＦを用いた分離技術と比較して演算量の削減が期待される。
【００５９】
なお、適用される非線形関数によって、分離信号の再現精度は変わり得る。例えば、シグモイド関数が適用される場合、その特性により音圧のブレが軽減可能である。
【００６０】
−第３の例
図１１は、本実施形態に係る中間分離信号の生成に関する第３の例を説明するための図である。第３の例では、非線形関数が活性化関数として設定され、且つ多層構造であるオートエンコーダが学習される。なお、ここでの多層構造のオートエンコーダは、エンコーダ及びデコーダがそれぞれ２層以上の多層構造を有するものとする。その場合、中間分離信号生成部１２２は、想定される複数の音源の各々に対応する係数ベクトル及び入力ベクトルの行列積に非線形関数を適用することを繰り返し行うことで、複数の音源の各々に対応する中間分離信号を生成する。より正確には、中間分離信号生成部１２２は、複数の係数ベクトルに関し、係数ベクトル及び入力ベクトルの行列積への非線形関数の適用結果を新たな入力ベクトルとして、係数ベクトル及び入力ベクトルの行列積への非線形関数の適用を再帰的に繰り返すことで、中間分離信号を生成する。例えば、図１１に示すように層数が２である場合、生成される中間分離信号は、次式により表される。
【００６１】
【数９】
2018042791.tif 000011
【００６２】
ここで、各変数の上付き文字で付されたインデックスは、行列の層（即ち、段目）のインデックスを意味する。例えば、Ｔ１１は、音声に関するデコーダの１層目の係数ベクトルであり、Ｔ１２は、音声に関するデコーダの２層目の係数ベクトルである。また、ｇ１は、１層目の活性化関数として設定された非線形関数であり、ｇ２は、２層目の活性化関数として設定された非線形関数である。
【００６３】
もちろん、オートエンコーダは、３層以上の多層構造であってもよい。例えば、３層構造の場合、生成される中間分離信号は、次式により表される。
【００６４】
【数１０】
2018042791.tif 000012
【００６５】
オートエンコーダが４層構造以上であった場合も、中間分離信号生成部１２２は、上記と同様にして中間分離信号を生成する。
【００６６】
第３の例によれば、音源分離部１２０は、多層構造のデコーダを用いることで、複雑なスペクトログラムを更に精度よく再現することが可能となる。ここで、活性化関数に非線形関数が設定されることにより、デコーダの多層化が可能となる。活性化関数が設定されない場合又は線形関数が設定される場合の多層構造のデコーダは、等価な単層構造のデコーダに圧縮可能なためである。
【００６７】
本実施形態では、少なくとも第２の例又は第３の例が採用されるものとする。即ち、本実施形態では、少なくとも、中間分離信号は、係数ベクトル及び入力ベクトルの行列積に非線形関数を適用することで得られるものとする。なお、中間分離信号は、時間周波数領域の信号である。
【００６８】
・係数ベクトル保持部１２３
係数ベクトル保持部１２３は、図３を参照して上述した学習プロセスにより事前に学習されたオートエンコーダの係数ベクトルを保持する機能を有する。とりわけ、保持される係数ベクトルは、オートエンコーダのデコーダとして事前に学習される。さらに、オートエンコーダのエンコーダとして事前に学習された係数ベクトルが保持されてもよい。係数ベクトル保持部１２３は、ＨＤＤ等の非一時的な記録媒体、又はバッファ等の一時的な記録媒体を含み得る。音源分離部１２０は、上述した学習プロセスを実行する学習部としての機能を有していてもよい。また、学習部は、他の装置に設けられてもよく、係数ベクトル保持部１２３は学習された係数ベクトルを取得し保持するのみであってもよい。
【００６９】
係数ベクトルは、想定される音源ごとに学習される。ある音源に対応する係数ベクトルは、当該音源から出力される音を観測した学習用観測信号（即ち、教師データ）をオートエンコーダへ入力することで学習される。以下、学習部による学習を詳しく説明する。
【００７０】
学習部は、分離したい音源数分の、即ち想定される音源数分のオートエンコーダ、及び教師データを用意する。例えば、音源として音声と雑音とが想定される場合、学習部は、音声の学習用観測信号を用いて音声用のオートエンコーダを学習し、雑音の学習用観測信号を用いて雑音用のオートエンコーダを学習する。一例として、学習プロセスを音声のオートエンコーダに関して説明する。音声の学習用観測信号をＤ１（０、τ），…，Ｄ１（Ｆ、τ）とし、オートエンコーダからの出力をＥ１（０、τ），…，Ｅ１（Ｆ、τ）とする。学習部は、Ｄ１（０、τ），…，Ｄ１（Ｆ、τ）とＥ１（０、τ），…，Ｅ１（Ｆ、τ）とが一致又は距離（例えば、二乗誤差）が最小化するように、内部の係数を学習する。学習部は、雑音に関しても同様に学習を行う。
【００７１】
学習により得られた係数のうち、隠れ層から出力層までを結ぶ部分が所謂デコーダ係数である。係数ベクトル保持部１２３は、音源ごとのオートエンコーダの学習により得られたデコーダ係数Ｔを、そのまま係数ベクトルＴとして保持する。この係数ベクトルＴは、中間分離信号生成部１２２による中間分離信号の生成のために用いられる。
【００７２】
また、学習により得られた係数のうち、入力層から隠れ層までを結ぶ部分が所謂エンコーダ係数である。係数ベクトル保持部１２３は、音源ごとのオートエンコーダの学習により得られたエンコーダ係数Ｕを保持し得る。このエンコーダ係数Ｕは、後述する入力ベクトル更新部１２５により更新される入力ベクトルの初期値の算出に用いられ得る。
【００７３】
・誤差算出部１２４
誤差算出部１２４は、観測信号と複数の分離信号との関係を示す指標を算出する機能を有する。以下、図１２を参照して、誤差算出部１２４の構成を説明する。
【００７４】
図１２は、本実施形態に係る情報処理装置１００の詳細な内部構成の一例を示すブロック図である。図１２に示すように、誤差算出部１２４は、観測信号Ｘ（τ）と中間分離信号Ｅ１（τ）、Ｅ２（τ）とが入力され、観測信号Ｘ（τ）と複数の分離信号Ｖ（τ）との関係を示す指標を出力する。この指標は、例えば観測信号と中間分離信号を複数の音源に関して合成した信号との誤差であってもよい。その場合、誤差算出部１２４は、例えば時間周波数変換部１２１から出力される時間周波数領域の観測信号Ｘ（τ）と中間分離信号生成部１２２から出力される中間分離信号Ｅ１（τ）、Ｅ２（τ）の総和との誤差を算出する。合成方法は、総和の他、重み付き和等の任意の方法が採用されてもよい。
【００７５】
距離尺度としては、二乗誤差、板倉−斉藤距離又はKullback-Leibler距離等の任意の距離尺度が採用され得る。二乗誤差が採用される場合、算出される誤差は、時間周波数領域に変換された観測信号の各時刻における各周波数の振幅スペクトルと、複数の音源に関して得られる複数の時間周波数領域の中間分離信号の各時刻における各周波数の振幅スペクトルの和と、の二乗誤差である。この場合、合成信号Ｙ（τ）及び誤差Ｊは、それぞれ次式により表される。
【００７６】
【数１１】
2018042791.tif 000013
【００７７】
・入力ベクトル更新部１２５
入力ベクトル更新部１２５は、観測信号と複数の分離信号との関係に基づいて、中間分離信号生成部１２２に出力する入力ベクトルを逐次的に更新する機能を有する。以下、図１３を参照して、入力ベクトル更新部１２５の構成を説明する。
【００７８】
図１３は、本実施形態に係る情報処理装置１００の詳細な内部構成の一例を示すブロック図である。図１３に示すように、入力ベクトル更新部１２５は、中間分離信号生成部１２２に出力する入力ベクトルＶ１（τ）、Ｖ２（τ）を更新して出力する。具体的には、入力ベクトル更新部１２５は、誤差算出部１２４により算出される、観測信号と中間分離信号を複数の音源に関して合成した信号との誤差がより小さくなるよう入力ベクトルを逐次的に更新する。例えば、入力ベクトル更新部１２５は、最小二乗法などの最適化手法を用いて入力ベクトルを逐次的に更新してもよい。
【００７９】
入力ベクトル更新部１２５は、入力ベクトルＶ１（τ）、Ｖ２（τ）の初期値を乱数により生成してもよい。また、入力ベクトル更新部１２５は、入力ベクトルＶ１（τ）、Ｖ２（τ）の初期値を、デコーダと共に学習されたエンコーダに観測信号を入力することで生成してもよい。前者より後者の方がより最適解に近い初期値が生成されるので、更新回数を削減することが可能である。後者の場合、初期値は次式により表される。
【００８０】
【数１２】
2018042791.tif 000014
【００８１】
ここで、Ｕ１は、音声に関するエンコーダの係数ベクトルであり、Ｕ２は、雑音に関するエンコーダの係数ベクトルである。
【００８２】
・分離信号算出部１２６
分離信号算出部１２６は、中間分離信号及び観測信号に基づいて分離信号を算出する機能を有する。以下、図１４を参照して、分離信号算出部１２６の構成を説明する。
【００８３】
図１４は、本実施形態に係る情報処理装置１００の詳細な内部構成の一例を示すブロック図である。図１４に示すように、分離信号算出部１２６は、観測信号Ｘ（τ）と中間分離信号Ｅ１（τ）、Ｅ２（τ）とが入力され、分離信号Ｚ１（ｆ，τ）、Ｚ２（ｆ，τ）を出力する。
【００８４】
具体的には、分離信号算出部１２６は、時間周波数領域の中間分離信号の各時刻における各周波数の振幅スペクトルを、複数の音源に関して得られた複数の中間分離信号の各時刻における各周波数の振幅スペクトルの和で割った値を、時間周波数領域に変換された観測信号の各時刻における各周波数の振幅スペクトルに掛けた信号を、分離信号として算出する。より簡易には、分離信号算出部１２６は、各時間周波数グリッドごとに中間分離信号の比を求め、その比を同グリッドの観測信号に掛けることで、各々の分離信号を算出する。算出される分離信号は、次式により表される。
【００８５】
【数１３】
2018042791.tif 000015
【００８６】
また、分離信号は、次式により表されてもよい。
【００８７】
【数１４】
2018042791.tif 000016
【００８８】
変形例として、分離信号算出部１２６は、時間周波数領域の中間分離信号を、そのまま分離信号として出力してもよい。この場合、上述した比を用いる方法と比較して、計算量を削減することが可能である。
【００８９】
・時間周波数逆変換部１２７
時間周波数逆変換部１２７は、分離信号算出部１２６から出力される時間周波数領域の信号である分離信号を、時間領域の信号へ変換することで、最終的な分離信号を生成する機能を有する。以下、図１５を参照して、時間周波数逆変換部１２７の構成を説明する。
【００９０】
図１５は、本実施形態に係る情報処理装置１００の詳細な内部構成の一例を示すブロック図である。図１５に示すように、時間周波数逆変換部１２７は、分離信号Ｚ１（ｆ，τ）、Ｚ２（ｆ，τ）を入力され、分離信号ｚ１（ｎ）、ｚ２（ｎ）を出力する。
【００９１】
具体的には、時間周波数逆変換部１２７は、フレームτごとの分離信号に逆ＦＦＴを適用することで得られるＮサンプルの信号を、Ｓサンプルずつシフトさせながら重ね合わせることで、時間領域の分離信号を生成する。時間周波数逆変換部１２７は、このような変換処理を、分離信号ごとに実施する。
【００９２】
以上、音源分離部１２０の各構成要素について説明した。
【００９３】
（３）出力部１３０
出力部１３０は、音源分離部１２０により得られた分離信号を出力する機能を有する。例えば、出力部１３０は、スピーカ又はイヤホン等へ分離信号を出力して再生させてもよい。他にも、出力部１３０は、ＨＤＤ等の記録媒体へ分離信号を出力して記録させてもよいし、ネットワークインタフェースに出力してネットワーク上の他の装置へ送信させてもよい。
【００９４】
＜＜４．処理の流れ＞＞
以上、本実施形態に係る情報処理装置１００の構成例を説明した。続いて、図１６を参照して、本実施形態に係る情報処理装置１００において実行される処理の流れの一例を説明する。
【００９５】
図１６は、本実施形態に係る情報処理装置１００において実行される音源分離処理の流れの一例を示すフローチャートである。
【００９６】
図１６に示すように、まず、取得部１１０は、観測信号を取得する（ステップＳ１０２）。ここで取得される観測信号は、時間領域の信号である。
【００９７】
次いで、時間周波数変換部１２１は、取得された観測信号を時間領域の信号から時間周波数領域の信号に変換する（ステップＳ１０４）。詳しくは、時間周波数変換部１２１は、取得された観測信号をフレーム分割して窓関数を適用し、次いでＦＦＴ適用することで、ある区間の観測信号を周波数領域の信号に変換する。時間周波数変換部１２１は、取り出す区間をシフトさせながら繰り返し変換することで、時間領域の観測信号を時間周波数領域の信号に変換する。
【００９８】
次に、中間分離信号生成部１２２は、係数ベクトル保持部１２３に保持された係数ベクトルを読み込む（ステップＳ１０６）。より詳しくは、中間分離信号生成部１２２は、想定される複数の音源の各々に対応するオートエンコーダのデコーダとして、事前に学習された係数ベクトルを係数ベクトル保持部１２３から読み込む。
【００９９】
次いで、入力ベクトル更新部１２５は、入力ベクトルを初期化する（ステップＳ１０８）。例えば、入力ベクトル更新部１２５は、入力ベクトルの初期値を乱数を用いて生成してもよい。また、入力ベクトル更新部１２５は、入力ベクトルの初期値を、デコーダと共に学習されたエンコーダに観測信号を入力することで生成してもよい。
【０１００】
次に、中間分離信号生成部１２２は、中間分離信号を生成する（ステップＳ１１０）。例えば、中間分離信号生成部１２２は、想定される複数の音源の各々に対応する係数ベクトル及び入力ベクトルの行列積に非線形関数を適用することで、中間分離信号を生成する。なお、ここでは上述した第２の例又は第３の例が採用されるものとする。
【０１０１】
次いで、誤差算出部１２４は、観測信号と複数の中間分離信号を合成した信号との誤差を算出する（ステップＳ１１２）。例えば、誤差算出部１２４は、誤差算出部１２４は、時間周波数領域の観測信号と複数の中間分離信号の総和との二乗誤差を算出する。
【０１０２】
次に、音源分離部１２０は、算出された誤差が規定値（即ち、閾値）よりも小さいか否かを判定する（ステップＳ１１４）。
【０１０３】
小さくないと判定された場合（ステップＳ１１４／ＮＯ）、入力ベクトル更新部１２５は、入力ベクトルを更新する（ステップＳ１１６）。その後、処理は再度ステップＳ１１０に戻る。
【０１０４】
小さいと判定された場合（ステップＳ１１４／ＹＥＳ）、分離信号算出部１２６は、中間分離信号及び観測信号に基づいて分離信号を算出する（ステップＳ１１８）。例えば、分離信号算出部１２６は、各時間周波数グリッドごとに中間分離信号の比を求め、その比を同グリッドの観測信号に掛けることで、各々の分離信号を算出する。
【０１０５】
次いで、時間周波数逆変換部１２７は、時間周波数領域の信号である分離信号を、時間領域の信号に変換する（ステップＳ１２０）。詳しくは、時間周波数逆変換部１２７は、フレームごとの分離信号に逆ＦＦＴを適用することで得られる時間領域の信号を、シフトさせながら重ね合わせることで、時間領域の分離信号を生成する。
【０１０６】
そして、出力部１３０は、生成された音源ごとの時間領域の分離信号を出力する（ステップＳ１２２）。
【０１０７】
＜＜５．ハードウェア構成例＞＞
最後に、図１７を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図１７は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図１７に示す情報処理装置９００は、例えば、図５に示した情報処理装置１００を実現し得る。本実施形態に係る情報処理装置１００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
【０１０８】
図１７に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、電気回路、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
【０１０９】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図５に示す音源分離部１２０、より詳しくは時間周波数変換部１２１、中間分離信号生成部１２２、誤差算出部１２４、入力ベクトル更新部１２５、分離信号算出部１２６、及び時間周波数逆変換部１２７を形成し得る。
【０１１０】
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【０１１１】
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。マイクロフォン等の音声入力装置は、例えば、図５に示す取得部１１０を形成し得る。
【０１１２】
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。上記音声出力装置は、例えば、図５に示す出力部１３０を形成し得る。
【０１１３】
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図５に示す係数ベクトル保持部１２３を形成し得る。
【０１１４】
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。ドライブ９０９は、図５に示す取得部１１０及び／又は出力部１３０を形成し得る。
【０１１５】
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。接続ポート９１１は、図５に示す取得部１１０及び／又は出力部１３０を形成し得る。
【０１１６】
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、図５に示す取得部１１０及び／又は出力部１３０を形成し得る。
【０１１７】
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【０１１８】
以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【０１１９】
なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【０１２０】
＜＜６．まとめ＞＞
以上、図１〜図１７を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る情報処理装置１００は、音を観測した観測信号を取得し、想定される複数の音源の各々に対応する係数ベクトル及び入力ベクトルの行列積に非線形関数を適用することで、取得された観測信号を複数の音源の各々に対応する複数の分離信号に分離する。情報処理装置１００は、非線形関数を適用することで、ＮＭＦによる基底ベクトルＴと結合ベクトルＶとの線形演算では再現することが困難だった音声等の複雑なスペクトログラムを、より精度よく再現することが可能となる。従って、情報処理装置１００は、ＮＭＦを用いた分離技術よりも、分離性能を改善することが可能となる。分離性能の改善により、分離信号の音質が向上して、例えば聴覚上違和感のない分離信号の出力が可能となる。また、情報処理装置１００は、非線形関数を適用することにより、少ない係数ベクトルの数（ＮＭＦにおける基底ベクトルの基底数に対応）で複雑なスペクトログラムを再現することが可能となる。従って、ＮＭＦを用いた分離技術と比較して演算量の削減が期待される。
【０１２１】
また、本実施形態では、分離信号の生成、より詳しくは中間分離信号の生成のために多層構造のデコーダが用いられてもよい。デコーダの多層化により、複雑なスペクトログラムを更に精度よく再現することが可能となる。
【０１２２】
また、本実施形態では、ニューラルネットの枠組みが用いられる。ニューラルネットに関しては、多くのハードウェア（例えば、ＧＰＵ（Graphics  Processing  Unit）、ＦＰＧＡ（Field−Programmable  Gate  Array）等）に最適化されたライブラリ（例えば、Theano、cuda−convnet、cuBLAS、Caffe等）等が充実している。そのため、本実施形態に係る音源分離技術は、容易な実装及び高速演算が可能である。
【０１２３】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１２４】
例えば、上記実施形態では、ニューラルネットの一例としてオートエンコーダを利用した例に説明したが、本技術はかかる例に限定されない。例えば、他の種類のニューラルネットにより、上述したデコーダとしての機能が実現されてもよい。
【０１２５】
また、上記実施形態に係る情報処理装置１００は、多様な装置として実現され得る。例えば、情報処理装置１００は、スマートフォン、ＩＣレコーダ、ゲーム機の外付けマイク、その他の音声認識を用いる機器として実現され得る。また、上記説明した音源分離技術は、アプリケーションとして提供されてもよい。例えば、上記説明した音源分離技術は、会議音声の録音、ハンズフリー通話、音声対話システム、又は音声コマンド入力に関する雑音除去機能として提供され得る。また、上記説明した音源分離技術は、自動採譜システム、又は楽器ごとの定位感操作に関する、楽曲に含まれる音（即ち、楽器）の個別分離機能として提供され得る。
【０１２６】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１２７】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
音を観測した観測信号を取得する取得部と、
想定される複数の音源の各々に対応する係数ベクトル及び入力ベクトルの行列積に非線形関数を適用することで、前記取得部により取得された前記観測信号を前記複数の音源の各々に対応する複数の分離信号に分離する音源分離部と、
を備える情報処理装置。
（２）
前記係数ベクトルは、オートエンコーダのデコーダとして事前に学習される、前記（１）に記載の情報処理装置。
（３）
ある音源に対応する前記係数ベクトルは、当該音源から出力される音を観測した学習用観測信号をオートエンコーダへ入力することで学習される、前記（２）に記載の情報処理装置。
（４）
前記音源分離部は、複数の前記係数ベクトルに関し、前記係数ベクトル及び前記入力ベクトルの行列積への非線形関数の適用結果を新たな前記入力ベクトルとして、前記係数ベクトル及び前記入力ベクトルの行列積への非線形関数の適用を再帰的に繰り返す、前記（１）〜（３）のいずれか一項に記載の情報処理装置。
（５）
前記音源分離部は、前記観測信号と複数の前記分離信号との関係に基づいて前記入力ベクトルを逐次的に更新する、前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記音源分離部は、前記入力ベクトルの初期値を、デコーダと共に学習されたエンコーダに前記観測信号を入力することで生成する、前記（５）に記載の情報処理装置。
（７）
前記音源分離部は、前記入力ベクトルの初期値を乱数により生成する、前記（５）に記載の情報処理装置。
（８）
前記音源分離部は、前記観測信号と、前記係数ベクトル及び前記入力ベクトルの行列積に非線形関数を適用することで得られる中間分離信号を前記複数の音源に関して合成した信号と、の誤差がより小さくなるよう前記入力ベクトルを逐次的に更新する、前記（５）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記誤差は、時間周波数領域に変換された前記観測信号の各時刻における各周波数の振幅スペクトルと、前記複数の音源に関して得られる複数の時間周波数領域の前記中間分離信号の各時刻における各周波数の振幅スペクトルの和と、の二乗誤差である、前記（８）に記載の情報処理装置。
（１０）
前記音源分離部は、前記係数ベクトル及び前記入力ベクトルの行列積に非線形関数を適用することで得られる時間周波数領域の中間分離信号の各時刻における各周波数の振幅スペクトルを、前記複数の音源に関して得られた複数の前記中間分離信号の各時刻における各周波数の振幅スペクトルの和で割った値を、時間周波数領域に変換された前記観測信号の各時刻における各周波数の振幅スペクトルに掛けた信号を時間領域の信号に変換することで、前記分離信号を生成する、前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記音源分離部は、前記行列積に非線形関数を適用することで得られる時間周波数領域の中間分離信号を時間領域の信号に変換することで、前記分離信号を生成する、前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１２）
音を観測した観測信号を取得することと、
想定される複数の音源の各々に対応する係数ベクトル及び入力ベクトルの行列積に非線形関数を適用することで、取得された前記観測信号を前記複数の音源の各々に対応する複数の分離信号に分離することと、
を含む、プロセッサにより実行される情報処理方法。
（１３）
コンピュータを、
音を観測した観測信号を取得する取得部と、
想定される複数の音源の各々に対応する係数ベクトル及び入力ベクトルの行列積に非線形関数を適用することで、前記取得部により取得された前記観測信号を前記複数の音源の各々に対応する複数の分離信号に分離する音源分離部と、
として機能させるためのプログラムが記録された記録媒体。
【符号の説明】
【０１２８】
１００    情報処理装置
１１０    取得部
１２０    音源分離部
１２１    時間周波数変換部
１２２    中間分離信号生成部
１２３    係数ベクトル保持部
１２４    誤差算出部
１２５    入力ベクトル更新部
１２６    分離信号算出部
１２７    時間周波数逆変換部
１３０    出力部
【図１】
2018042791.tif 000017
【図２】
2018042791.tif 000018
【図３】
2018042791.tif 000019
【図４】
2018042791.tif 000020
【図５】
2018042791.tif 000021
【図６】
2018042791.tif 000022
【図７】
2018042791.tif 000023
【図８】
2018042791.tif 000024
【図９】
2018042791.tif 000025
【図１０】
2018042791.tif 000026
【図１１】
2018042791.tif 000027
【図１２】
2018042791.tif 000028
【図１３】
2018042791.tif 000029
【図１４】
2018042791.tif 000030
【図１５】
2018042791.tif 000031
【図１６】
2018042791.tif 000032
【図１７】
2018042791.tif 000033
【国際調査報告】
2018042791.tif 000034
2018042791.tif 000035