(57)【要約】【課題】混合信号のうち特定の成分を強調するニューラルネットワークを適切に訓練する。【解決手段】機械学習装置は、第１成分と第２成分とを含む音響信号Ｘに対してニューラルネットワークＮを適用することで、第１成分が強調された音響信号Ｙを生成する成分強調部２１と、音響信号Ｙを加工することで音響信号Ｚを生成する信号加工部２２と、音響信号Ｚから算定される評価指標に応じてニューラルネットワークＮを訓練する学習処理部３０とを具備する。【選択図】図１３
2019212258.tif 000002
【特許請求の範囲】
【請求項１】
第１成分と第２成分とを含む混合信号に対してニューラルネットワークを適用することで、前記第１成分が強調された第１信号を生成し、
前記第１信号を加工することで第２信号を生成し、
前記第２信号から算定される評価指標に応じて前記ニューラルネットワークを訓練する
コンピュータにより実現される機械学習方法。
【請求項２】
前記第１信号に対する加工は、線形演算であり、
前記訓練においては、自動微分を利用した誤差逆伝播により前記ニューラルネットワークを訓練する
請求項１の機械学習方法。
【請求項３】
前記第１信号に対する加工は、ＦＩＲフィルタである
請求項１または請求項２の機械学習方法。
【請求項４】
前記評価指標は、前記第２信号と前記第１成分を表す正解信号とから算定される信号対歪比である
請求項１から請求項３の何れかの機械学習方法。
【請求項５】
第１成分と第２成分とを含む混合信号に対してニューラルネットワークを適用することで、前記第１成分が強調された第１信号を生成する成分強調部と、
前記第１信号を加工することで第２信号を生成する信号加工部と、
前記第２信号から算定される評価指標に応じて前記ニューラルネットワークを訓練する学習処理部と
を具備する機械学習装置。
【請求項６】
前記第１信号に対する加工は、線形演算であり、
前記学習処理部は、自動微分を利用した誤差逆伝播により前記ニューラルネットワークを学習する
請求項５の機械学習装置。
【請求項７】
前記信号加工部は、ＦＩＲフィルタである
請求項５または請求項６の機械学習装置。
【請求項８】
前記評価指標は、前記第２信号と前記第１成分を表す正解信号とから算定される信号対歪比である
請求項５から請求項７の何れかの機械学習装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ニューラルネットワークの機械学習に関する。
【背景技術】
【０００２】
複数の成分が混合された混合信号から特定の成分（以下「目的成分」という）が強調された信号を生成する信号処理技術が従来から提案されている。例えば非特許文献１には、ニューラルネットワークを利用して、混合信号における目的成分を強調する技術が開示されている。ニューラルネットワークからの出力信号と、既知の目的成分を表す正解信号との差異を表す評価指標が最適化されるように、ニューラルネットワークの機械学習が実行される。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Y. Koizumi, el al., "DNN-based source enhancement self-optimized by reinforcement learning using sound quality measurements," in Proc. ICASSP, 2017, p.81-85
【発明の概要】
【発明が解決しようとする課題】
【０００４】
目的成分を強調する技術が利用される現実の場面では、ニューラルネットワークにより目的成分が強調された信号について、周波数特性の調整等の各種の加工処理が実行される。従前の技術では、ニューラルネットワークからの出力信号に応じた評価指標が機械学習に利用されるから、目的成分の強調と後段の加工処理とを含む全体的な処理にとってニューラルネットワークが最適になるように訓練されるとは限らない。以上の事情を考慮して、本発明の好適な態様は、混合信号のうち特定の成分を強調するニューラルネットワークを適切に訓練することを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために、本発明の好適な態様に係る機械学習方法は、第１成分と第２成分とを含む混合信号に対してニューラルネットワークを適用することで、前記第１成分が強調された第１信号を生成し、前記第１信号を加工することで第２信号を生成し、前記第２信号から算定される評価指標に応じて前記ニューラルネットワークを訓練する。
【０００６】
本発明の好適な態様に係る機械学習装置は、第１成分と第２成分とを含む混合信号に対してニューラルネットワークを適用することで、前記第１成分が強調された第１信号を生成する成分強調部と、前記第１信号を加工することで第２信号を生成する信号加工部と、前記第２信号から算定される評価指標に応じて前記ニューラルネットワークを訓練する学習処理部とを具備する。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１実施形態に係る信号処理装置の構成を例示するブロック図である。
【図２】信号処理装置の機能的な構成を例示するブロック図である。
【図３】目的成分の算定に利用される行列の説明図である。
【図４】推定信号Ｓに対する直交射影の説明図である。
【図５】目的成分と残差成分との混合比を示す定数と信号対歪比との関係を示すグラフである。
【図６】機械学習の具体的な手順を例示するフローチャートである。
【図７】信号対歪比および信号対干渉比の測定結果である。
【図８】信号対歪比および信号対干渉比の測定結果である。
【図９】信号対歪比および信号対干渉比の測定結果である。
【図１０】第１成分の波形図である。
【図１１】対比例２における処理後の音響信号の波形図である。
【図１２】第１実施形態における処理後の音響信号の波形図である。
【図１３】第２実施形態における信号処理装置の機能的な構成を例示するブロック図である。
【図１４】第２実施形態における機械学習の具体的な手順を例示するフローチャートである。
【発明を実施するための形態】
【０００８】
＜第１実施形態＞
図１は、本発明の第１実施形態に係る信号処理装置１００の構成を例示するブロック図である。信号処理装置１００は、音響信号Ｘから音響信号Ｙを生成する音響処理装置である。音響信号Ｘは、第１成分と第２成分とを含む混合信号である。第１成分は、例えば特定の楽曲の歌唱により発音された音声を表す信号成分であり、第２成分は、例えば当該楽曲の伴奏音を表す信号成分である。音響信号Ｙは、音響信号Ｘにおける第１成分を第２成分に対して強調した信号（すなわち第２成分を第１成分に対して抑圧した信号）である。以上の説明から理解される通り、第１実施形態の信号処理装置１００は、音響信号Ｘに含まれる複数の成分のうち特定の第１成分を強調する。具体的には、歌唱音声と伴奏音との混合音を表す音響信号Ｘから、歌唱音声を表す音響信号Ｙが生成される。第１成分は、強調の対象となる目的成分であり、第２成分は、目的成分以外の非目的成分である。
【０００９】
図１に例示される通り、第１実施形態の信号処理装置１００は、制御装置１１と記憶装置１２と収音装置１３と放音装置１４とを具備するコンピュータシステムで実現される。例えば携帯電話機，スマートフォンまたはパーソナルコンピュータ等の各種の情報端末が、信号処理装置１００として利用される。
【００１０】
制御装置１１は、例えばＣＰＵ（Central Processing Unit）等の１個以上の処理回路で構成され、各種の演算処理および制御処理を実行する。記憶装置１２は、例えば磁気記録媒体または半導体記録媒体等の公知の記録媒体で構成されたメモリであり、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。なお、複数種の記録媒体の組合せにより記憶装置１２を構成してもよい。また、信号処理装置１００に対して着脱可能な可搬型の記憶回路、または信号処理装置１００が通信網を介して通信可能な外部記憶装置（例えばオンラインストレージ）を、記憶装置１２として利用してもよい。
【００１１】
収音装置１３は、周囲の音響を収音するマイクロホンである。第１実施形態の収音装置１３は、第１成分と第２成分との混合音の収音により音響信号Ｘを生成する。なお、音響信号Ｘをアナログからデジタルに変換するＡ/Ｄ変換器の図示は便宜的に省略した。なお、信号処理装置１００とは別体の収音装置１３を信号処理装置１００に有線または無線で接続してもよい。すなわち、信号処理装置１００から収音装置１３を省略してもよい。
【００１２】
放音装置１４は、音響信号Ｘから生成された音響信号Ｙが表す音響を再生する。すなわち、第１成分が強調された音響が放音装置１４から再生される。例えばスピーカまたはヘッドホンが放音装置１４として利用される。なお、音響信号Ｙをデジタルからアナログに変換するＤ/Ａ変換器、および、音響信号Ｙを増幅する増幅器の図示は、便宜的に省略した。信号処理装置１００とは別体の放音装置１４を信号処理装置１００に有線または無線で接続してもよい。すなわち、信号処理装置１００から放音装置１４を省略してもよい。
【００１３】
図２は、信号処理装置１００の機能的な構成を例示するブロック図である。図２に例示される通り、第１実施形態の制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、音響信号Ｘから音響信号Ｙを生成するための複数の機能（信号処理部２０Aおよび学習処理部３０）を実現する。なお、相互に別体で構成された複数の装置（すなわちシステム）で制御装置１１の機能を実現してもよいし、制御装置１１の機能の一部または全部を専用の電子回路で実現してもよい。
【００１４】
信号処理部２０Aは、収音装置１３が生成した音響信号Ｘから音響信号Ｙを生成する。信号処理部２０Aにより生成された音響信号Ｙが放音装置１４に供給されることで、第１成分が強調された音響が放音装置１４から再生される。図２に例示される通り、第１実施形態の信号処理部２０Aは、成分強調部２１を含んで構成される。
【００１５】
成分強調部２１は、音響信号Ｘから音響信号Ｙを生成する。図２に例示される通り、成分強調部２１による音響信号Ｙの生成にはニューラルネットワークＮが利用される。すなわち、成分強調部２１は、音響信号Ｘに対してニューラルネットワークＮを適用することで音響信号Ｙを生成する。ニューラルネットワークＮは、音響信号Ｘから音響信号Ｙを生成する統計的推定モデルである。具体的には、４層以上の多層で構成されたディープニューラルネットワーク（ＤＮＮ：Deep Neural Network）が好適に採用される。ニューラルネットワークＮは、音響信号Ｘのサンプルの時系列を入力として音響信号Ｙのサンプルの時系列を出力する演算を制御装置１１に実行させるプログラム（例えば人工知能ソフトウェアを構成するプログラムモジュール）と、当該演算に適用される複数の係数との組合せで実現される。
【００１６】
図２の学習処理部３０は、複数の教師データＤを利用してニューラルネットワークＮを訓練（train）する。学習処理部３０は、複数の教師データＤを利用した教師あり機械学習により、ニューラルネットワークＮを規定する複数の係数を設定する。機械学習により設定された複数の係数は記憶装置１２に記憶される。
【００１７】
複数の教師データＤは、収音装置１３が生成した未知の音響信号Ｘから音響信号Ｙを生成する前に用意されて記憶装置１２に記憶される。図１に例示される通り、複数の教師データＤの各々は、音響信号Ｘと正解信号Ｑとを含んで構成される。各教師データＤの音響信号Ｘは、第１成分と第２成分とを含む既知の信号である。各教師データＤの正解信号Ｑは、当該教師データＤの音響信号Ｘに含まれる第１成分を表す既知の信号である。すなわち、正解信号Ｑは、第２成分を含まない信号であり、音響信号Ｘにおける第１成分が理想的に抽出された信号（clean signal）とも換言される。
【００１８】
具体的には、各教師データＤの音響信号Ｘを暫定的なニューラルネットワークＮに入力したときに出力される音響信号Ｙが、当該教師データＤの正解信号Ｑに徐々に近付くように、当該ニューラルネットワークＮの複数の係数が繰返し更新される。複数の教師データＤを利用して各係数が更新されたニューラルネットワークＮが、機械学習済のニューラルネットワークＮとして成分強調部２１に利用される。したがって、学習処理部３０による機械学習済のニューラルネットワークＮは、複数の教師データＤにおける音響信号Ｘと正解信号Ｑとの間に潜在する関係のもとで、収音装置１３が生成した未知の音響信号Ｘに対して統計的に妥当な音響信号Ｙを出力する。以上に説明した通り、第１実施形態の信号処理装置１００は、音響信号Ｘの第１成分を強調する動作をニューラルネットワークＮに学習させる機械学習装置として機能する。
【００１９】
学習処理部３０は、機械学習において、教師データＤの正解信号Ｑと暫定的なニューラルネットワークＮが生成した音響信号Ｙとの間の誤差の指標（以下「評価指標」という）を算定し、当該評価指標が最適化されるようにニューラルネットワークＮを訓練する。第１実施形態の学習処理部３０は、正解信号Ｑと音響信号Ｙとの間の信号対歪比（ＳＤＲ：Signal-to-distortion ratio）Ｒを評価指標（損失関数）として算定する。信号対歪比Ｒは、音響信号Ｘの第１成分を強調する手段として暫定的なニューラルネットワークＮが妥当である度合の指標とも換言される。
【００２０】
信号対歪比Ｒは、例えば以下の数式(1)で表現される。
【数１】
2019212258.tif 000003
【００２１】
記号｜ ｜２は、信号のパワーを意味する。数式(1)の記号Ｓは、ニューラルネットワークＮが出力する音響信号Ｙを表すＮ個のサンプルの時系列を要素とするＭ次元ベクトル（以下「推定信号」という）である。記号Ｍは２以上の自然数である。数式(1)の記号Ｓt（ｔ：target）は、以下の数式(2)で表現されるＭ次元ベクトル（以下「目的成分」という）である。数式(2)の記号Ｔは行列の転置を意味する。
【数２】
2019212258.tif 000004
【００２２】
正解信号Ｑは、第１成分を表すＮ個のサンプルの時系列を要素とするＭ次元ベクトルで表現される。数式(2)の記号Ａは、図３に例示される通り、教師データＤの正解信号Ｑを表すベクトルを配列した(Ｍ＋Ｇ)行×Ｇ列の非対称テプリッツ（Toeplitz）行列である（Ｇは自然数）。数式(2)および図４から理解される通り、目的成分Ｓtは、図４に例示される通り、正解信号Ｑで規定される線形空間αに対する推定信号Ｓの直交射影（orthogonal projection）を意味する。
【００２３】
推定信号Ｓは、目的成分Ｓtと残差成分Ｓr（ｒ：residual）との混合として表現される。残差成分Ｓrは、例えば雑音成分とアルゴリズム歪成分とを包含する。信号対歪比Ｒを表す数式(1)の分子|Ｓt|２は、推定信号Ｓに含まれる目的成分Ｓt（すなわち第１成分）の成分量に相当する。また、数式(1)の分母|Ｓ−Ｓt|２は、推定信号Ｓのうち残差成分Ｓrの成分量に相当する。第１実施形態の学習処理部３０は、暫定的なニューラルネットワークＮが生成する音響信号Ｙ（推定信号Ｓ）と教師データＤの正解信号Ｑとを、以上に説明した数式(1)および数式(2)に適用することで信号対歪比Ｒを算定する。
【００２４】
推定信号Ｓは、以下の数式(3)の通り、目的成分Ｓtと残差成分Ｓrとの加重和として表現される。
【数３】
2019212258.tif 000005
【００２５】
数式(3)の定数γは１以下の非負値である（０≦γ≦１）。推定信号Ｓの絶対値｜Ｓ｜と目的成分Ｓtの絶対値｜Ｓt｜と残差成分Ｓrの絶対値｜Ｓr｜とが１であると仮定し、目的成分Ｓtと残差成分Ｓrとが直交することを考慮すると、信号対歪比Ｒを定数γにより表現する以下の数式(4)が導出される。
【数４】
2019212258.tif 000006
【００２６】
図５は、数式(4)で表現される信号対歪比Ｒ(γ)と定数γとの関係を示すグラフである。図５から理解される通り、定数γが０に近付くほど推定信号Ｓは目的成分Ｓtに近付く。したがって、信号対歪比Ｒが増加するほど、推定信号Ｓ（音響信号Ｙ）が目的成分Ｓtに近付くという関係が成立する。すなわち、前述の通り、ニューラルネットワークＮが出力する音響信号Ｙが正解信号Ｑに近付くほど信号対歪比Ｒは大きい数値となる。
【００２７】
以上の事情を考慮して、学習処理部３０は、信号対歪比Ｒが増加する（理想的には最大化する）ようにニューラルネットワークＮを訓練する。具体的には、第１実施形態の学習処理部３０は、信号対歪比Ｒの自動微分を利用した誤差逆伝播（backpropagation）により、信号対歪比Ｒが増加するように暫定的なニューラルネットワークＮの複数の係数を更新する。すなわち、連鎖律を利用した展開により信号対歪比Ｒの微分を導出することで、第１成分の割合が増加するようにニューラルネットワークＮの複数の係数が更新される。第１成分を強調する動作を以上の機械学習により習得したニューラルネットワークＮを利用して、収音装置１３が生成する未知の音響信号Ｘから音響信号Ｙが生成される。なお、自動微分を利用した機械学習については、例えば、A. G. Baydin, et al., "Automatic Differentiation in machine larning: a survey," arXiv preprint arXiv: 1502.05767, 2015にも開示されている。
【００２８】
図６は、機械学習の具体的な手順（機械学習方法）を例示するフローチャートである。例えば利用者からの指示を契機として図６の機械学習が開始される。機械学習を開始すると、成分強調部２１は、任意の１個の教師データＤの音響信号Ｘに対して暫定的なニューラルネットワークＮを適用することで音響信号Ｙを生成する（Ｓa1）。学習処理部３０は、音響信号Ｙと教師データＤの正解信号Ｑとから信号対歪比Ｒを算定する（Ｓa2）。学習処理部３０は、信号対歪比Ｒが増加するように暫定的なニューラルネットワークＮの各係数を更新する（Ｓa3）。信号対歪比Ｒに応じた各係数の更新には、前述の通り、自動微分を利用した誤差逆伝播が好適に利用される。以上に説明した処理（Ｓa1〜Ｓa3）が複数の教師データＤの各々について反復されることで、機械学習済のニューラルネットワークＮが生成される。
【００２９】
以上に説明した通り、第１実施形態では、信号対歪比Ｒを評価指標とした機械学習によりニューラルネットワークＮが訓練される。したがって、第１実施形態によれば、以下に詳述する通り、Ｌ１ノルムまたはＬ２ノルム等を評価指標として利用した従前の方法と比較して音響信号Ｘの第１成分を高精度に強調することが可能である。
【００３０】
図７から図９は、音響信号Ｘの信号対雑音比（ＳＮＲ：Signal-to-Noise Ratio）を相違させた複数の場合の各々について、成分強調部２１による処理後の音響信号Ｙの信号対歪比（ＳＤＲ）および信号対干渉比（ＳＩＲ：Signal-to-Interference Ratio）を測定した結果である。対比例１は、機械学習の評価指標としてＬ１ノルムを採用した場合であり、対比例２は、機械学習の評価指標としてＬ２ノルムを採用した場合である。図７ないし図９から理解される通り、評価指標として信号対歪比Ｒを採用した第１実施形態によれば、対比例１および対比例２と比較して、音響信号Ｘの信号対雑音比の大小に関わらず、信号対歪比はもちろん信号対干渉比も改善されることが確認できる。
【００３１】
図１０に例示された第１成分を含む音響信号Ｘを便宜的に想定する。図１０の音響信号Ｘに対する処理後の音響信号Ｙの波形が図１１および図１２に例示されている。図１１は、機械学習にＬ２ノルムを利用する対比例２の構成で生成された音響信号Ｙの波形である。図１２は、機械学習に信号対歪比Ｒを利用する第１実施形態の構成で生成された音響信号Ｙの波形である。図１０は、音響信号Ｙの理想的な波形に相当する。なお、対比例２および第１実施形態においては、信号対雑音比が１０ｄＢである音響信号Ｘを処理した場合が想定されている。
【００３２】
対比例２では、音響信号Ｙと正解信号Ｑとの間でサンプル値を近似させる傾向のみがニューラルネットワークＮに付与され、音響信号Ｙに含まれる雑音成分を抑圧する傾向は付与されない。すなわち、対比例２では、音響信号Ｘの雑音成分により第１成分を近似する傾向があっても排除されない。したがって、図１１から理解される通り、対比例２では、雑音成分を豊富に含む音響信号Ｙが生成される可能性がある。対比例２とは対照的に、信号対歪比Ｒを評価指標としてニューラルネットワークＮを機械学習させる第１実施形態によれば、対比例２と比較して、音響信号Ｙと正解信号Ｑとの間で波形が近似するだけでなく、音響信号Ｙに含まれる雑音成分が抑制されるようにニューラルネットワークＮが訓練される。したがって、図１２から理解される通り、第１実施形態によれば、雑音成分が有効に抑制された音響信号Ｙを生成することが可能である。なお、第１実施形態においては、音響信号Ｙの振幅が音響信号Ｘの振幅とは相違する場合がある。
【００３３】
＜第２実施形態＞
本発明の第２実施形態を説明する。なお、以下の各例示において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
【００３４】
図１３は、第２実施形態における信号処理装置１００の機能的な構成を例示するブロック図である。図１３に例示される通り、第２実施形態の信号処理装置１００は、第１実施形態の信号処理部２０Aを信号処理部２０Bに置換した構成である。信号処理部２０Bは、収音装置１３が生成した音響信号Ｘから音響信号Ｚを生成する。音響信号Ｚは、音響信号Ｙと同様に、音響信号Ｘにおける第１成分を第２成分に対して強調した信号（すなわち第２成分を第１成分に対して抑圧した信号）である。
【００３５】
第２実施形態の信号処理部２０Bは、成分強調部２１と信号加工部２２とを具備する。成分強調部２１の構成および動作は第１実施形態と同様である。すなわち、成分強調部２１は、機械学習済のニューラルネットワークＮを含んで構成され、第１成分が強調された音響信号Ｙ（第１信号の例示）を音響信号Ｘから生成する。
【００３６】
信号加工部２２は、成分強調部２１が生成する音響信号Ｙを加工することで音響信号Ｚ（第２信号の例示）を生成する。信号加工部２２が実行する処理（以下「加工処理」という）は、音響信号Ｙの信号特性を変化させる任意の信号処理である。具体的には、信号加工部２２は、音響信号Ｙの周波数特性を変化させるフィルタ処理を実行する。例えば特定の周波数特性を音響信号Ｙに付与することで音響信号Ｚを生成するＦＩＲ（Finite Impulse Response）フィルタが信号加工部２２として好適に利用される。信号加工部２２による加工処理は、音響信号Ｙに対して各種の音響的な効果を付与する効果付与処理（エフェクタ）とも換言される。第１実施形態の信号加工部２２による加工処理は、線形演算により表現される。加工処理後の音響信号Ｚが放音装置１４に供給される。すなわち、音響信号Ｘの第１成分が強調されるとともに特定の周波数特性が付与された音響が放音装置１４から再生される。
【００３７】
第１実施形態の学習処理部３０は、成分強調部２１が生成した音響信号Ｙから算定される評価指標に応じてニューラルネットワークＮを訓練する。第１実施形態とは異なり、第２実施形態の学習処理部３０は、信号加工部２２による処理後の音響信号Ｚから算定される評価指標に応じて成分強調部２１のニューラルネットワークＮを訓練する。学習処理部３０による機械学習には、第１実施形態と同様に、記憶装置１２に記憶された複数の教師データＤが利用される。第２実施形態の各教師データＤは、第１実施形態と同様に、音響信号Ｘと正解信号Ｑとを含んで構成される。音響信号Ｘは、第１成分と第２成分とを含む既知の信号である。各教師データＤの正解信号Ｑは、当該教師データＤの音響信号Ｘに含まれる第１成分に対して加工処理を実行した既知の信号である。
【００３８】
学習処理部３０は、各教師データＤの音響信号Ｘを入力したときに信号処理部２０Bから出力される音響信号Ｚが当該教師データＤの正解信号Ｑに近付くように、成分強調部２１のニューラルネットワークＮを規定する複数の係数を順次に更新する。したがって、学習処理部３０による機械学習済のニューラルネットワークＮは、複数の教師データＤにおける音響信号Ｘと正解信号Ｑとの間に潜在する関係のもとで、収音装置１３が生成した未知の音響信号Ｘに対して統計的に妥当な音響信号Ｚを出力する。
【００３９】
具体的には、第２実施形態の学習処理部３０は、教師データＤの正解信号Ｑと信号処理部２０Bが生成した音響信号Ｚとの間の誤差を表す評価指標を算定し、当該評価指標が最適化されるようにニューラルネットワークＮを訓練する。第２実施形態の学習処理部３０は、正解信号Ｑと音響信号Ｚとの間の信号対歪比Ｒを評価指標として算定する。前述の第１実施形態では、成分強調部２１が出力する音響信号Ｙが数式(1)の推定信号Ｓとして利用されるのに対し、第２実施形態では、信号加工部２２による加工処理後の音響信号Ｚを表すＮ個のサンプルの時系列が数式(1)の推定信号Ｓとして利用される。すなわち、第２実施形態の学習処理部３０は、暫定的なニューラルネットワークＮと信号加工部２２とが生成する音響信号Ｚ（推定信号Ｓ）と教師データＤの正解信号Ｑとを、以上に説明した数式(1)および数式(2)に適用することで信号対歪比Ｒを算定する。
【００４０】
前述の通り、第２実施形態の信号加工部２２が実行する加工処理は線形演算で表現される。したがって、ニューラルネットワークＮの機械学習には、自動微分を利用した誤差逆伝播を利用可能である。すなわち、第２実施形態の学習処理部３０は、第１実施形態と同様に、信号対歪比Ｒの自動微分を利用した誤差逆伝播により、信号対歪比Ｒが増加するように暫定的なニューラルネットワークＮの複数の係数を更新する。なお、信号加工部２２による加工処理に関する係数（例えばＦＩＲフィルタを規定する複数の係数）は固定値であり、学習処理部３０による機械学習では更新されない。
【００４１】
図１４は、第２実施形態における機械学習の具体的な手順（機械学習方法）を例示するフローチャートである。例えば利用者からの指示を契機として図１４の機械学習が開始される。機械学習を開始すると、成分強調部２１は、任意の１個の教師データＤの音響信号Ｘに対して暫定的なニューラルネットワークＮを適用することで音響信号Ｙを生成する（Ｓb1）。信号加工部２２は、成分強調部２１が生成した音響信号Ｙに対して加工処理を実行することで音響信号Ｚを生成する（Ｓb2）。学習処理部３０は、音響信号Ｙと教師データＤの正解信号Ｑとから信号対歪比Ｒを算定する（Ｓb3）。学習処理部３０は、信号対歪比Ｒが増加するように暫定的なニューラルネットワークＮの各係数を更新する（Ｓb4）。信号対歪比Ｒに応じた各係数の更新には、自動微分を利用した誤差逆伝播が好適に利用される。以上に説明した処理（Ｓb1〜Ｓb4）が複数の教師データＤの各々について反復されることで、機械学習済のニューラルネットワークＮが生成される。
【００４２】
第２実施形態においては、信号対歪比Ｒを評価指標とした機械学習によりニューラルネットワークＮが訓練されるから、第１実施形態と同様に、音響信号Ｘの第１成分を高精度に強調することが可能である。また、第２実施形態では、信号加工部２２による加工処理後の音響信号Ｚから算定される評価指標（具体的には信号対歪比Ｒ）に応じてニューラルネットワークＮが訓練される。したがって、成分強調部２１が出力する音響信号Ｙから算定される評価指標に応じてニューラルネットワークＮを訓練する第１実施形態と比較して、音響信号Ｘから音響信号Ｙを経て音響信号Ｚを生成する全体的な処理にとって好適となるようにニューラルネットワークＮが訓練されるという利点がある。
【００４３】
＜変形例＞
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
【００４４】
（１）前述の各形態では、機械学習の評価指標として信号対歪比Ｒを例示したが、第２実施形態に適用される評価指標は、信号対歪比Ｒに限定されない。例えば、音響信号Ｚと正解信号Ｑとの間のＬ１ノルムまたはＬ２ノルムなど、公知の任意の指標が評価指標として機械学習に適用される。また、板倉斉藤距離（Itakura-Saito divergence）またはＳＴＯＩ（Short-Time Objective Intelligibility）も評価指標として利用される。ＳＴＯＩを利用した機械学習の詳細については、例えばX. Zhang, et al., "Training supervised speech peparation system to STOI and PESQ directly," in Proc. ICASSP, 2018, p.5374-5378にも開示されている。
【００４５】
（２）前述の各形態では音響信号に対する処理を例示したが、信号処理装置１００による処理対象は音響信号に限定されない。例えば、各種の検出装置による検出結果を表す検出信号の処理にも前述の各形態に係る信号処理装置１００が利用される。例えば、加速度センサまたは地磁気センサ等の各種の検出装置から出力される検出信号について、目的成分の強調と雑音成分の抑制とを実現するために、信号処理装置１００が利用される。
【００４６】
（３）前述の各形態では、ニューラルネットワークＮの機械学習と、機械学習後のニューラルネットワークＮを利用した未知の音響信号Ｘに対する信号処理との双方を、信号処理装置１００が実行したが、機械学習を実行する機械学習装置としても信号処理装置１００は実現される。機械学習装置による学習後のニューラルネットワークＮは、機械学習装置とは別個の装置に提供されて、未知の音響信号Ｘの第１成分を強調する信号処理に利用される。
【００４７】
（４）前述の各形態に係る信号処理装置１００の機能は、コンピュータ（例えば制御装置１１）とプログラムとの協働により実現される。本発明の好適な態様に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされる。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を含む。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供してもよい。
【００４８】
（５）ニューラルネットワークＮを実現するための人工知能ソフトウェアの実行主体はＣＰＵに限定されない。例えば、Tensor Processing UnitまたはNeural Engine等のニューラルネットワーク用の処理回路（ＮＰＵ：Neural Processing Unit）が、人工知能ソフトウェアを実行してもよい。また、以上の例示から選択された複数種の処理回路が協働して人工知能ソフトウェアを実行してもよい。
【００４９】
＜付記＞
以上に例示した形態から、例えば以下の構成が把握される。
【００５０】
本発明の好適な態様（第１態様）に係る機械学習方法は、第１成分と第２成分とを含む混合信号に対してニューラルネットワークを適用することで、前記第１成分が強調された第１信号を生成し、前記第１信号を加工することで第２信号を生成し、前記第２信号から算定される評価指標に応じて前記ニューラルネットワークを訓練する。具体的には、混合信号の第１成分を強調する動作をニューラルネットワークに学習させる。以上の態様によれば、第１成分が強調された第１信号をニューラルネットワークにより生成し、第１信号の加工により第２信号を生成する処理のもとで、加工後の第２信号から算定される評価指標に応じてニューラルネットワークが訓練される。したがって、第１信号から算定される評価指標に応じてニューラルネットワークを訓練する構成と比較して、混合信号から第１信号を経て第２信号を生成する全体的な処理にとって好適となるようにニューラルネットワークを訓練することが可能である。
【００５１】
第１態様の好適例（第２態様）において、前記第１信号に対する加工は、線形演算であり、前記訓練においては、自動微分を利用した誤差逆伝播により前記ニューラルネットワークを訓練する。以上の態様によれば、自動微分を利用した誤差逆伝播によりニューラルネットワークが訓練される。したがって、混合信号から第２信号を生成する処理が複雑な関数で表現される場合でも、ニューラルネットワークを効率的に訓練することが可能である。
【００５２】
第１態様または第２態様の好適例（第３態様）において、前記第１信号に対する加工は、ＦＩＲフィルタである。第１態様から第３態様の何れかの好適例（第４態様）において、前記評価指標は、前記第２信号と前記第１成分を表す正解信号とから算定される信号対歪比である。以上の態様によれば、第２信号と第１成分を表す正解信号とから算定される信号対歪比を利用してニューラルネットワークが訓練されるから、雑音成分を充分に低減して第１成分が適切に強調された第２信号を生成することが可能である。
【００５３】
以上に例示した各態様の機械学習方法を実行する機械学習装置、または、以上に例示した各態様の機械学習方法をコンピュータに実行させるプログラムとしても、本発明の好適な態様は実現される。
【符号の説明】
【００５４】
１００…信号処理装置、１１…制御装置、１２…記憶装置、１３…収音装置、１４…放音装置、２０A，２０B…信号処理部、２１…成分強調部、Ｎ…ニューラルネットワーク、２２…信号加工部、３０…学習処理部。
【図１】
2019212258.tif 000007
【図２】
2019212258.tif 000008
【図３】
2019212258.tif 000009
【図４】
2019212258.tif 000010
【図５】
2019212258.tif 000011
【図６】
2019212258.tif 000012
【図７】
2019212258.tif 000013
【図８】
2019212258.tif 000014
【図９】
2019212258.tif 000015
【図１０】
2019212258.tif 000016
【図１１】
2019212258.tif 000017
【図１２】
2019212258.tif 000018
【図１３】
2019212258.tif 000019
【図１４】
2019212258.tif 000020