(57)【要約】【課題】音色の幅が広く、制御が容易で、計算量の少ない信号波形技術を提供する。【解決手段】各層が少なくとも１つ以上の基本ユニットを備え、基本ユニットは少なくとも１つのパラメータを含む時変波形を出力する関数であり、各層の各基本ユニットの出力値の重み付き和が次の層の入力となるように各層間で各基本ユニットが結合された階層構造の時変ニューラルネットワークを備える信号波形合成装置を提供する。信号波形合成装置は、時変ニューラルネットワークの最終層の各基本ユニットの出力値の重み付き和を、時変信号として出力する。【選択図】図２
2020160145.tif 000002
【特許請求の範囲】
【請求項１】
各層が少なくとも１つ以上の基本ユニットを備え、前記基本ユニットは少なくとも１つのパラメータを含む時変波形を出力する関数であり、各層の各基本ユニットの出力値の重み付き和が次の層の入力となるように各層間で各基本ユニットが結合された階層構造の時変ニューラルネットワークを備え、
前記時変ニューラルネットワークの最終層の各基本ユニットの出力値の重み付き和を時変信号として出力することを特徴とする信号波形合成装置。
【請求項２】
前記基本ユニットは、周波数および位相の少なくとも１つをパラメータとして時変波形を出力する発振器であることを特徴とする請求項１に記載の信号波形合成装置。
【請求項３】
前記発振器は、角度変調発振器であることを特徴とする請求項２に記載の信号波形合成装置。
【請求項４】
前記時変ニューラルネットワークは、前記基本ユニットが周波数変調発振器である層と、前記基本ユニットが位相変調発振器である層とを含むことを特徴とする請求項３に記載の信号波形合成装置。
【請求項５】
出力される時変信号と訓練信号の誤差が小さくなるように、各層間を結合する重みと、前記基本ユニットの少なくとも１つのパラメータとを調整する学習部をさらに備えることを特徴とする請求項１から４のいずれかに記載の信号波形合成装置。
【請求項６】
前記時変ニューラルネットワークの前段に、各層が時不変関数の基本ユニットを備える時不変ニューラルネットワークをさらに備え、前記時不変ニューラルネットワークの最終層の基本ユニットの出力が前記時変ニューラルネットワークの入力となるように両者の各ユニットが結合されたハイブリッド構造を有することを特徴とする請求項１から５のいずれかに記載の信号波形合成装置。
【請求項７】
前記時不変ニューラルネットワークの最終層の基本ユニットの数は、前記時不変ニューラルネットワークの入力層の基本ユニットの数よりも少ないことを特徴とする請求項６に記載の信号波形合成装置。
【請求項８】
各層が少なくとも１つ以上の基本ユニットを備え、前記基本ユニットは少なくとも１つのパラメータを含む時変波形を出力する関数であり、各層の各基本ユニットの出力値の重み付き和が次の層の入力となるように各層間で各基本ユニットが結合された階層構造の時変ニューラルネットワークを利用した信号波形合成方法であって、
前記時変ニューラルネットワークの最終層の各基本ユニットの出力値の重み付き和を時変信号として出力することを特徴とする信号波形合成方法。
【請求項９】
各層が少なくとも１つ以上の基本ユニットを備え、前記基本ユニットは少なくとも１つのパラメータを含む時変波形を出力する関数であり、各層の各基本ユニットの出力値の重み付き和が次の層の入力となるように各層間で各基本ユニットが結合された階層構造の時変ニューラルネットワークを利用した信号波形合成プログラムであって、
前記時変ニューラルネットワークの最終層の各基本ユニットの出力値の重み付き和を時変信号として出力することを特徴とする信号波形合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号波形合成技術に関する。
【背景技術】
【０００２】
コンピュータ音楽制作を目的とした楽音合成は、１９６０年代は波形の加算合成や減算合成が主流であったが、７０年代に周波数変調合成方式が登場し、それまでの合成音品質を飛躍的に向上させた。
【０００３】
信号波形を生成する従来技術の１つにＷａｖｅＮｅｔがある。これは信号波形に対する１次元のＣＮＮ（Convolutional Neural Network）と解釈することができ、平均オピニオン評点において従来のＬＳＴＭ（Long Short-Term Memory）−ＲＮＮ（Recurrent Neural Network）やＨＭＭ（Hidden Markov Model）よりも性能を大幅に改善した。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平５−１９７７０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
周波数変調合成方式による楽音合成は、従来の楽音生成技術における加算合成や減算合成では難しかった金属や打楽器に近い音を比較的単純な構成で生成できるという利点がある一方、発振器ユニットの接続パターンの設計やパラメータ値の調整が直感的ではなかった。音色の幅が広い一方で動作が非線形であるため、狙いとする音を合成するためにどのような接続パターンやパラメータ値が適切なのかがからず、試行錯誤を重ねて接続パターンやパラメータ値を決定するしか方法がなかった。
【０００６】
ＷａｖｅＮｅｔでは出力のデータ表現においてダイナミックレンジに対応する分だけｏｎｅ−ｈｏｔ（ワン・ホット）ベクトル（成分の一つだけが１であるベクトル）を出力するユニットを用意しなければならないため、例えば出力を８ビット符号化する場合は２５６個の出力ユニットが必要となる。さらに、標本化周波数１６ｋＨｚの信号０．２５秒分を入力するには、４ｋ個の入力ユニットが必要となる。よって、膨大な数のパラメータ値を調整しなくてはならない。
【０００７】
本発明はこうした状況に鑑みてなされたものであり、その目的は、音色の幅が広く、制御が容易で、計算量の少ない信号波形技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある態様の信号波形合成装置は、各層が少なくとも１つ以上の基本ユニットを備え、前記基本ユニットは少なくとも１つのパラメータを含む時変波形を出力する関数であり、各層の各基本ユニットの出力値の重み付き和が次の層の入力となるように各層間で各基本ユニットが結合された階層構造の時変ニューラルネットワークを備え、前記時変ニューラルネットワークの最終層の各基本ユニットの出力値の重み付き和を時変信号として出力する。
【０００９】
本発明の別の態様は、信号波形合成方法である。この方法は、各層が少なくとも１つ以上の基本ユニットを備え、前記基本ユニットは少なくとも１つのパラメータを含む時変波形を出力する関数であり、各層の各基本ユニットの出力値の重み付き和が次の層の入力となるように各層間で各基本ユニットが結合された階層構造の時変ニューラルネットワークを利用した信号波形合成方法であって、前記時変ニューラルネットワークの最終層の各基本ユニットの出力値の重み付き和を、時変信号として出力する。
【００１０】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によれば、音色の幅が広く、制御が容易で、計算量の少ない信号波形技術を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】図１（ａ）および図１（ｂ）は、深層角度変調合成ニューラルネットワークの基本ユニットを説明する図である。
【図２】深層角度変調合成ニューラルネットワークの構成図である。
【図３】訓練波形として鋸波のみを学習させた場合の誤差率の変化を示すグラフである。
【図４】図４（ａ）〜図４（ｄ）は、訓練波形Ｔとして鋸波のみを学習させた場合の学習進行過程を示す図である。
【図５】訓練波形として矩形波のみを学習させた場合の誤差率の変化を示すグラフである。
【図６】図６（ａ）〜図６（ｄ）は、訓練波形Ｔとして矩形波のみを学習させた場合の学習進行過程を示す図である。
【図７】図７（ａ）〜図７（ｃ）は、入力ベクトルのパターンを変えて、同時に３種類の信号波形を学習させた場合の学習進行過程を示す図である。
【図８】図８（ａ）および図８（ｂ）は、より一般的なニューラルネットワークの構成例を説明する図である。
【図９】図２の深層角度変調合成ニューラルネットワークの前段に従来ニューラルネットワークを組み合わせたハイブリッド型のネットワーク構成を説明する図である。
【図１０】図１０（ａ）および図１０（ｂ）は、深層角度変調合成ニューラルネットワークの基本ユニットの別の例を説明する図である。
【図１１】周波数変調と位相変調を混在させた深層角度変調合成ニューラルネットワークの構成例を説明する図である。
【図１２】本実施の形態の信号波形合成装置の構成図である。
【発明を実施するための形態】
【００１３】
本実施の形態の深層角度変調合成ニューラルネットワークは、ニューラルネットワークの基本ユニットの活性化関数に一例として三角関数を用いて、出力される信号波形、すなわち時間に沿って連続的に変化する関数を学習する深層ニューラルネットワークである。
【００１４】
図１（ａ）および図１（ｂ）は、深層角度変調合成ニューラルネットワークの基本ユニットを説明する図である。ここでは基本ユニットの活性化関数として角度変調関数を用いる場合を説明するが、基本ユニットの活性化関数は時間を変数として時変波形を出力する微分可能な関数であれば何でもよい。
【００１５】
図１（ａ）は、角度変調として周波数変調（frequency modulation；ＦＭ）を用いる場合の基本ユニットを示す。時間ｔを変数とし、入力ｘに対して、キャリア周波数ｃｉおよび位相ｐｉをパラメータとする発振器であり、次式の正弦波関数により、時変信号ｙを出力する。
ｙ＝ｓｉｎ２π（（ｘ＋ｃｉ）ｔ＋ｐｉ）
上記の正弦波関数は、より一般的には
ｙ＝ｓｉｎＫ（（ｘ＋ｃｉ）ｔ＋ｐｉ）
とすることができ、Ｋは任意の定数である。Ｋ＝１．０、Ｋ＝２πなどの値を与える。
【００１６】
図１（ｂ）は、角度変調として位相変調（phase modulation；ＰＭ）を用いる場合の基本ユニットを示す。時間ｔを変数とし、入力ｘに対して、キャリア周波数ｃｉをパラメータとする発振器であり、次式の正弦波関数により、時変信号ｙを出力する。
ｙ＝ｓｉｎ２π（ｃｉｔ＋ｘ）
上記の正弦波関数は、より一般的には
ｙ＝ｓｉｎＫ（ｃｉｔ＋ｘ）
とすることができ、Ｋは任意の定数である。Ｋ＝１．０、Ｋ＝２πなどの値を与える。
【００１７】
図２は、深層角度変調合成ニューラルネットワークの構成図である。この基本構成図はアルゴリズムの構成を示すものであり、実装形態としては、回路やメモリなどのハードウェアで構成してもよく、ソフトウェアで構成してもよく、あるいはそれらの組合せによっていろいろな形で実装することができる。
【００１８】
深層角度変調合成ニューラルネットワークは、ｍ（＝Ｍ＋１）階層のニューラルネットワークであり、各層はｎ（＝Ｎ＋１）個の基本ユニットを備え、各層の各基本ユニットの出力値の重み付き和が次の層の入力となるように各層間で各基本ユニットが結合されている。
【００１９】
入力層の各基本ユニットには入力ベクトル（Ａ０，Ａ１，…，ＡＮ）の各成分が入力値として入力される。各基本ユニットは、時間ｔを変数とし、入力値Ａｉに対して、キャリア周波数ｃｉおよび位相ｐｉをパラメータとする正弦波関数により、時変出力値ｙｉを出力する。入力層の各基本ユニットの出力値ｙｉの重み付き和Σｗが次の層の入力値となる。
【００２０】
隠れ層において同様に各基本ユニットは、時間ｔを変数とし、入力値ｘｉに対して、キャリア周波数ｃｉおよび位相ｐｉをパラメータとする正弦波関数により、時変出力値ｙｉを出力し、隠れ層の各基本ユニットの出力値ｙｉの重み付き和Σｗが次の隠れ層の入力値となる。
【００２１】
最終層の各基本ユニットの出力値の重み付き和を時間を変数とする信号値Ｓとして出力する。
【００２２】
入力ベクトル（Ａ０，Ａ１，…，ＡＮ）は任意の値でよく、たとえば、各訓練波形に対していずれかの成分の一つだけが１であるｏｎｅ−ｈｏｔベクトルである。各層のすべての基本ユニットに対して時間ｔをたとえば０．０から１．０に変化させることで信号波形Ｓが出力される。
【００２３】
なお、入力ベクトル（Ａ０，Ａ１，…，ＡＮ）を定数からなるベクトルとする代わりに、原理的には時間ｔに同期していれば時変値からなるベクトルとしても問題はない。しかし、深層角度変調合成ニューラルネットワークでは、一般性を失うことなく入力ベクトル（Ａ０，Ａ１，…，ＡＮ）の各成分を定数と仮定することができる。なぜなら、時間ｔに同期した時変値を深層角度変調合成ニューラルネットワーク自身で作りだすことができるので、もし時変値を入力ベクトル（Ａ０，Ａ１，…，ＡＮ）として与えたければ、深層角度変調合成ニューラルネットワークを深さ方向に増やせばよいからである。
【００２４】
時変信号値Ｓに対して、訓練波形の信号値Ｔを与え、時間ｔの全範囲にわたるＳとＴの誤差の二乗和が最小となるように、誤差逆伝播法（バックプロパゲーション）によって、各層の各基本ユニットのパラメータであるキャリア周波数ｃｉおよび位相ｐｉ、ならびに各層間を結合する重みｗｉｊを学習する。
【００２５】
図２の深層角度変調合成ニューラルネットワークは、深さｍ、幅ｎの階層構造である。基本ユニット同士を接続するリンク数は、層間の結合がｎ×ｎ×（ｍ−１）本、最終層から出力信号への結合がｎ本あるため、合計でｎ＋ｎ２（ｍ−１）＝ｎ（ｍｎ−ｎ＋１）である。基本ユニットの全パラメータ数は、基本ユニットの数がｍｎ個で、それぞれキャリア周波数と位相の２つのパラメータがあるため、合計で２ｍｎである。したがって、深層角度変調合成ニューラルネットワーク全体の総パラメータ数は、ｎ（ｍｎ−ｎ＋１）＋２ｍｎである。
【００２６】
たとえば、ｍ＝ｎ＝１０の場合、総パラメータ数は１１１０である。ｍ＝ｎ＝５０の場合、総パラメータ数は約１２８Ｋである。従来のＷａｖｅＮｅｔでは億単位の膨大な数のパラメータの学習が必要であるのに比べて、本実施の形態の深層角度変調合成ニューラルネットワークは大幅に少ない数のパラメータの調整をするだけで信号波形の合成が可能であり、計算量が少なく、実装が容易である。
【００２７】
一般にニューラルネットワークの処理要素には、活性化関数と活性化関数の出力に対する重み付けの２種類がある。ＷａｖｅＮｅｔなどの従来型のニューラルネットワークでは、下層の各ユニット出力に対する重み付けの計算を前向きに行い、あるフレーム時刻の１つの入力値に対して、１つの出力値を信号の値として得た。この場合、活性化関数は基本ユニットの出力信号の整形や正規化を担っていた。
【００２８】
一方、本実施の形態の深層角度変調合成ニューラルネットワークでは、活性化関数に正弦波のような周期関数を用いることで、１つの入力に対して訓練波形が提示されている時区間における１つの時変出力を得る。原理的には、逆フーリエ変換あるいは加算合成のように、周波数、振幅、位相の異なる正弦波を足し合わせて目標とする信号波形に学習によって近づける。
【００２９】
図３、図４（ａ）〜図４（ｄ）、図５、図６（ａ）〜図６（ｄ）は、１種類の信号波形をＭ＝Ｎ＝５の深層角度変調合成ニューラルネットワークで学習した場合の学習が進む様子を示す図である。バックプロパゲーションとして確率的勾配降下法を用い、最適化としてＡｄａｍ（Adaptive Moment Estimation）を用いた。
【００３０】
図３、図４（ａ）〜図４（ｄ）は、基本ユニットとして図１（ａ）のＦＭ変調の発振器を用いて、一つの入力ベクトル（Ａ０，Ａ１，…，ＡＮ）に対して、訓練波形Ｔとして鋸波のみを学習させた場合の学習進行過程を示す。
【００３１】
図３は、エポック（学習回数）に対する誤差率の変化を示すグラフである。図４（ａ）〜図４（ｄ）の順で学習が進み、出力Ｓが訓練波形Ｔに近づいていく。
【００３２】
図５、図６（ａ）〜図６（ｄ）は、基本ユニットとして図１（ａ）のＦＭ変調の発振器を用いて、一つの入力ベクトル（Ａ０，Ａ１，…，ＡＮ）に対して、訓練波形Ｔとして矩形波のみを学習させた場合の学習進行過程を示す。
【００３３】
図５は、エポック（学習回数）に対する誤差率の変化を示すグラフである。図６（ａ）〜図６（ｄ）の順で学習が進み、出力Ｓが訓練波形Ｔに近づいていく。
【００３４】
図７（ａ）〜図７（ｃ）は、基本ユニットとして図１（ａ）のＦＭ変調の発振器を用いて、入力ベクトル（Ａ０，Ａ１，…，ＡＮ）のパターンを変えて、同時に３種類の信号波形を学習させた場合の学習進行過程を示す。
【００３５】
ここでは、第１入力ベクトルに対して訓練波形Ｔ１として正弦波、第２入力ベクトルに対して訓練波形Ｔ２として鋸波、第３入力ベクトルに対して訓練波形Ｔ３として矩形波を同時に学習させた。一例として、第１、第２、第３入力ベクトルはそれぞれ第１、第２、第３成分のみが１で他の成分はすべて０であるｏｎｅ−ｈｏｔベクトルである。すなわち、第１入力ベクトルは（１，０，０，０，…，０）、第２入力ベクトルは（０，１，０，０，…，０）、第３入力ベクトルは（０，０，１，０，…，０）である。第１、第２、第３入力ベクトルはこれ以外のものであってもよく、ｏｎｅ−ｈｏｔベクトルに限定されるものではない。
【００３６】
図７（ａ）の上段は、出力波形Ｓの訓練波形Ｔ１に対する誤差率の変化を示すグラフであり、下段は訓練波形Ｔ１に対する出力波形Ｓを示す。
【００３７】
図７（ｂ）の上段は、出力波形Ｓの訓練波形Ｔ２に対する誤差率の変化を示すグラフであり、下段は訓練波形Ｔ２に対する出力波形Ｓを示す。
【００３８】
図７（ｃ）の上段は、出力波形Ｓの訓練波形Ｔ３に対する誤差率の変化を示すグラフであり、下段は訓練波形Ｔ３に対する出力波形Ｓを示す。
【００３９】
図７（ａ）〜図７（ｃ）に示されるように、入力ベクトルのパターンを変えれば同時に複数種類の信号波形を学習させることができる。
【００４０】
図８（ａ）および図８（ｂ）は、より一般的なニューラルネットワークの構成例を説明する図である。図２の深層角度変調合成ニューラルネットワークは、入力層、隠れ層、出力層のすべての層の幅がＮであったが、狙いとする信号波形の特性や用途によって各層の幅を異ならせてもよい。たとえば、図８（ａ）に示すように、隠れ層の幅を入力層や出力層の幅よりも小さくしてもよく、図８（ｂ）に示すように、隠れ層の幅を入力層や出力層の幅よりも大きくしてもよい。訓練波形に対して一度学習して誤差率の収束の程度を見てから、隠れ層の幅や層の深さを調整して再度学習してもよい。これにより、訓練波形に対してより適切なニューラルネットワークの構成を構築することができる。
【００４１】
図９は、図２の深層角度変調合成ニューラルネットワーク１００の前段に従来ニューラルネットワーク１９０を組み合わせたハイブリッド型のネットワーク構成を説明する図である。深層角度変調合成ニューラルネットワーク１００は各層の基本ユニットが時間を変数として時変信号を出力する時変関数であるが、従来ニューラルネットワーク１９０の各層の基本ユニットは時間に依存しない時不変関数であり、たとえばシグモイド関数などの非線形関数により入力値を０または１の出力値に変換する。
【００４２】
従来ニューラルネットワーク１９０に入力ベクトル（Ｂ０，Ｂ１，…，ＢＬ）を入力し、出力ベクトル（Ａ０，Ａ１，…，ＡＮ）を出力させる。従来ニューラルネットワーク１９０の出力ベクトル（Ａ０，Ａ１，…，ＡＮ）はそのまま深層角度変調合成ニューラルネットワーク１００の入力ベクトルとして用いられる。図９のハイブリッド型のニューラルネットワーク全体をバックプロパゲーションによって学習する。
【００４３】
外部からセンサ信号や画像などで与えられる複数の入力ベクトル（Ｂ０，Ｂ１，…，ＢＬ）を埋め込んだ空間を前段に設けることにより、複数の信号波形を生成する深層角度変調合成ニューラルネットワーク１００に与える入力ベクトルに関する最適な潜在空間（Ａ０，Ａ１，…，ＡＮ）を構成することができ、より効率的に精度良く信号波形を合成することができる。
【００４４】
特にＮ＜Ｌである場合、従来ニューラルネットワーク１９０にＬ次元の入力ベクトル（Ｂ０，Ｂ１，…，ＢＬ）を与えた場合、より低次元であるＮ次元の出力ベクトル（Ａ０，Ａ１，…，ＡＮ）が出力され、深層角度変調合成ニューラルネットワーク１００の入力ベクトルとなる。すなわち、入力ベクトルをより次元の低いベクトルに変換するエンコーダの役割を従来ニューラルネットワーク１９０にもたせることができる。これにより、深層角度変調合成ニューラルネットワーク１００の規模を小さくすることができ、より効率的になる。
【００４５】
図９のハイブリッド型のニューラルネットワークにおいても、図８（ａ）および図８（ｂ）と同様に、深層角度変調合成ニューラルネットワーク１００と従来ニューラルネットワーク１９０のサイズや構造は用途や狙いとする特性に合わせて柔軟に設定することができる。
【００４６】
たとえば、従来ニューラルネットワーク１９０の入力ベクトル（Ｂ０，Ｂ１，…，ＢＬ）として動物の画像を与え、訓練波形として動物の鳴き声を与えて学習してもよい。従来ニューラルネットワーク１９０によって高次元の入力ベクトル（Ｂ０，Ｂ１，…，ＢＬ）は、低次元の出力ベクトル（Ａ０，Ａ１，…，ＡＮ）に符号化されて深層角度変調合成ニューラルネットワーク１００に入力され、出力波形が出力される。この場合、従来ニューラルネットワーク１９０の入力ベクトル（Ｂ０，Ｂ１，…，ＢＬ）の成分数Ｌは画素数であるため大きな値となるが、深層角度変調合成ニューラルネットワーク１００の入力ベクトル（Ａ０，Ａ１，…，ＡＮ）の成分数Ｎは、学習したい動物の種類の数に応じた値になるため、Ｌよりもかなり小さい値にすることができる。
【００４７】
一例として、深層角度変調合成ニューラルネットワーク１００の訓練波形Ｔとして猫の鳴き声と犬の鳴き声の二種類の波形を学習させるとする。従来ニューラルネットワーク１９０の入力ベクトルとして、猫の画像、犬の画像の二種類の画像データを与えて学習させる。猫の画像入力に対して猫の鳴き声が深層角度変調合成ニューラルネットワーク１００から出力され、犬の画像入力に対して犬の鳴き声が深層角度変調合成ニューラルネットワーク１００から出力されるようになる。このハイブリッド型のニューラルネットワークに対して、猫でも犬でもない動物の画像を入力すると、猫と犬の中間の鳴き声が出力される。動物の画像を猫に近づけたり、犬に近づけたり、他の動物に置き換えたりすることで、直感的に動物の鳴き声を合成することができる。
【００４８】
図１０（ａ）および図１０（ｂ）は、深層角度変調合成ニューラルネットワークの基本ユニットの別の例を説明する図である。基本ユニットの活性化関数は微分可能ならばバックプロパゲーションにより学習できるため、周期関数以外でも任意の微分可能な関数を活性化関数として利用することができる。例えば図１０（ａ）、図１０（ｂ）に示すようなウェーブレット関数を活性化関数として利用すれば、周期関数的な領域の他に出力が０．０に近い領域を含むため、ＬＳＴＭ（Long Short-Term Memory）のゲートのような働きをさせることができ、オーバーシュート、フラッタリング等の不要な振動を抑えることができる。
【００４９】
図１１は、周波数変調と位相変調を混在させた深層角度変調合成ニューラルネットワーク１００の構成例を説明する図である。周波数変調の基本ユニットからなる層（「ＦＭ層」とよぶ）と位相変調の基本ユニットからなる層（「ＰＭ層」と呼ぶ）を混在させて深層角度変調合成ニューラルネットワーク１００を構成し、前段には従来ニューラルネットワーク１９０を設ける。周波数変調の発振器は図１（ａ）に示したようにパラメータが２つであるため、きめ細かな制御ができるが、不安定になる。位相変調の発振器は図１（ｂ）に示したようにパラメータが１つであるため、きめ細かな制御はできないが、安定している。ＦＭ層だけでなく、ＰＭ層を設けることで深層角度変調合成ニューラルネットワーク１００をきめ細かく制御しつつ、安定性をもたせることができるようになる。
【００５０】
図１２は、本実施の形態の信号波形合成装置２００の構成図である。
【００５１】
入力部１１０は、深層角度変調合成ニューラルネットワーク１００の入力層に入力ベクトルを与える。
【００５２】
深層角度変調合成ニューラルネットワーク１００は、図２で説明した基本構成以外に、図９の従来ニューラルネットワークを前段に設けたハイブリッド型構成、図１１のＦＭ層とＰＭ層を混在させた構成であってもよい。
【００５３】
深層角度変調合成ニューラルネットワーク１００は、時間ｔを変数として、入力ベクトルに対する出力値Ｓを出力する。信号波形出力部１２０は、深層角度変調合成ニューラルネットワーク１００により出力される出力値Ｓの時間変化を信号波形として出力する。信号波形合成装置２００が楽音合成に利用される場合、信号波形出力部１２０は合成された音をスピーカなどに出力する。
【００５４】
訓練波形入力部１３０は、出力波形Ｓに対する訓練波形Ｔを学習部１４０に与える。学習部１４０は、出力波形Ｓと訓練波形Ｔの誤差が小さくなるように、深層角度変調合成ニューラルネットワーク１００の各層間を結合する重みと、各層の各基本ユニットのパラメータとを調整する。
【００５５】
本実施の形態の深層角度変調合成ニューラルネットワークを楽音合成に利用すれば、入力ベクトルを変えればそれに伴って出力信号が変わるので、制御が直感的で容易である。また、深層角度変調合成ニューラルネットワークは従来のＦＭ合成の一般化と捉えることができるため、生成される楽音の音色の幅が広い。さらに学習すべきパラメータの数が少ないため、学習に要する計算量が少ない。
【００５６】
このように、深層角度変調合成ニューラルネットワークは音色の幅が広く、制御が容易で計算が軽いという理想的な信号波形生成技術であり、音源方式として幅広く利用することができる。ゲーム機、スマートフォン、パーソナルコンピュータ等の内蔵音源やＡＩスピーカ等の合成音声として利用したり、ボーカロイド（登録商標）などの音声合成技術にも応用することができる。
【００５７】
深層角度変調合成ニューラルネットワークは、楽音合成の分野に限らず、信号波形などの時変出力を生成する用途であれば、任意の分野に応用することができる。
【００５８】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００５９】
１００  深層角度変調合成ニューラルネットワーク、  １１０  入力部、  １２０  信号波形出力部、  １３０  訓練波形入力部、  １４０  学習部、  １９０  従来ニューラルネットワーク、  ２００  信号波形合成装置。
【図１】
2020160145.tif 000003
【図２】
2020160145.tif 000004
【図３】
2020160145.tif 000005
【図４】
2020160145.tif 000006
【図５】
2020160145.tif 000007
【図６】
2020160145.tif 000008
【図７】
2020160145.tif 000009
【図８】
2020160145.tif 000010
【図９】
2020160145.tif 000011
【図１０】
2020160145.tif 000012
【図１１】
2020160145.tif 000013
【図１２】
2020160145.tif 000014