(57)【要約】【課題】特定のグループに属する音の波形データ（音響データ）を効果的に生成するための音響処理技術を提供することである。【解決手段】本開示の一態様は、入力されるソース情報から第１の記憶情報に従って波形データを生成する生成器と、入力される周波数情報が第１のグループに属する波形データから抽出される周波数情報であるか否かを第２の記憶情報に従って判別する判別器と、前記生成器で生成された波形データから抽出される周波数情報を前記判別器で判別した判別結果に基づいて、前記生成部が前記第１のグループに属する波形データを生成するように前記第１の記憶情報を変化させる制御部と、を有する音響生成装置に関する。【選択図】図１
2019168608.tif 000002
【特許請求の範囲】
【請求項１】
入力されるソース情報から第１の記憶情報に従って波形データを生成する生成器と、
入力される周波数情報が第１のグループに属する波形データから抽出される周波数情報であるか否かを第２の記憶情報に従って判別する判別器と、
前記生成器で生成された波形データから抽出される周波数情報を前記判別器で判別した判別結果に基づいて、前記生成器が前記第１のグループに属する波形データを生成するように前記第１の記憶情報を変化させる制御部と、
を有する音響生成装置。
【請求項２】
前記制御部は、前記第１のグループに属する波形データから抽出される周波数情報を前記判別器で判別した判別結果と、前記生成器で生成された波形データから抽出される周波数情報を前記判別器で判別した判別結果とに基づいて、前記判別器が前記第１のグループに属する波形データと前記第１のグループに属さない波形データとを正しく判別できるように前記第２の記憶情報を変化させる、請求項１記載の音響生成装置。
【請求項３】
波形データを、複数の軸のうちの１つの軸を対数の周波数軸とした画像データに変換する変換部を有し、
前記制御部は、波形データを前記変換部で変換して得られた画像データを前記周波数情報として前記判別器に判別させるように制御する、請求項１または２に記載の音響生成装置。
【請求項４】
前記生成器と前記判別器とを含む学習対象のモデルとして、前記第１の記憶情報と前記第２の記憶情報とを格納する記憶部を有し、
前記制御部は、複数のソース情報のそれぞれを前記生成器に入力して複数の波形データを生成するとともに、生成された複数の波形データのそれぞれを前記変換部により変換して得られる複数の画像データと、前記第１のグループに属する複数の波形データのそれぞれを前記変換部により変換して得られる複数の画像データとを、前記判別器により判別させ、前記判別による複数の判別結果に基づいて、前記第１の記憶情報及び前記第２の記憶情報を変化させていくことで前記学習対象のモデルを学習させる、請求項３に記載の音響生成装置。
【請求項５】
前記判別器は、入力される周波数情報が前記第１のグループに属する波形データから抽出される周波数情報である確からしさに応じた出力値を前記判別結果として出力し、
前記制御部は、前記第１のグループに属する波形データから抽出される周波数情報の入力に対して出力される出力値がより高い確からしさを示し、前記生成器で生成された波形データから抽出される周波数情報の入力に対して出力される出力値がより低い確からしさを示すように、前記第２の記憶情報を変化させるとともに、前記生成器で生成された波形データから抽出される周波数情報の入力に対して出力される出力値がより高い確からしさを示すように、前記第１の記憶情報を変化させる、請求項１から４のいずれか一項に記載の音響生成装置。
【請求項６】
前記第１のグループに属する波形データは、言葉を発声した音声データに対応する波形データである、請求項１から５のいずれか一項に記載の音響生成装置。
【請求項７】
前記ソース情報は、前記言葉に対応するラベル情報または前記言葉を表すテキスト情報である、請求項６に記載の音響生成装置。
【請求項８】
前記ソース情報は、言葉を発声した音声データに対応する波形データである、請求項６に記載の音響生成装置。
【請求項９】
前記ソース情報は、前記第１のグループとは異なる第２のグループに属する波形データである、請求項１から６のいずれか一項に記載の音響生成装置。
【請求項１０】
前記第１のグループに属する波形データは、特定の人の声に対応する波形データであり、
前記第２のグループに属する波形データは、前記特定の人とは異なる人の声に対応する波形データである、請求項９に記載の音響生成装置。
【請求項１１】
前記生成器は、前記第２のグループに属する波形データから前記第１のグループに属する波形データを生成する第１生成器と、前記波形データから前記第２のグループに属する波形データを生成する第２生成器とを有し、
前記判別器は、入力される周波数情報が前記第１のグループに属する波形データから抽出される周波数情報であるか否かを判別する第１判別器を有し、
前記制御部は、前記第１生成器に前記第２のグループに属する第１の元波形データから前記第１のグループに属する第１の変換波形データを生成させた後、前記第２生成器に前記第１の変換波形データから前記第２のグループに属する第１の再構成波形データを生成させるとともに、前記第１の元波形データから抽出される周波数情報を前記第１判別器で判別した判別結果と、前記第１の再構成波形データから抽出される周波数情報を前記第１判別器で判別した判別結果との誤差を少なくするように前記生成器を学習させる、請求項１０に記載の音響生成装置。
【請求項１２】
前記判別器は、入力される周波数情報が前記第２のグループに属する波形データから抽出される周波数情報であるか否かを判別する第２判別器を更に有し、
前記制御部は、前記第２生成器に前記第１のグループに属する第２の元波形データから前記第２のグループに属する第２の変換波形データを生成させた後、前記第１生成器に前記第２の変換波形データから前記第１のグループに属する第２の再構成波形データを生成させるとともに、前記第２の元波形データから抽出される周波数情報を前記第２判別器で判別した判別結果と、前記第２の再構成波形データから抽出される周波数情報を前記第２判別器で判別した判別結果との誤差を少なくするように前記生成器を学習させる、請求項１１に記載の音響生成装置。
【請求項１３】
前記ソース情報は、乱数である、請求項１から６のいずれか一項に記載の音響生成装置。
【請求項１４】
学習対象のモデルを格納するメモリと、
前記メモリに接続されるプロセッサと、
を有する学習装置であって、
前記学習対象のモデルは、ソース情報から波形データを生成する生成器と、スペクトログラムから出力値を生成する判別器とを含み、
前記プロセッサは、
前記ソース情報を前記生成器に入力し、前記生成器から第１の波形データを取得し、
音響画像変換方式に従って前記第１の波形データと学習用の第２の波形データとをそれぞれ第１のスペクトログラムと第２のスペクトログラムとに変換し、
前記第１のスペクトログラムと前記第２のスペクトログラムとを前記判別器に入力し、前記第１のスペクトログラムと前記第２のスペクトログラムとの各出力値を取得し、
前記出力値の誤差に基づき前記生成器と前記判別器とを学習する学習装置。
【請求項１５】
前記音響画像変換方式は、入力について微分可能な音響画像変換方式である、請求項１４記載の学習装置。
【請求項１６】
前記プロセッサは、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋｓ）方式に従って前記生成器と前記判別器とを学習する、請求項１４又は１５記載の学習装置。
【請求項１７】
前記学習対象のモデルは、複数の生成器と複数の判別器とを含み、
前記プロセッサは、サイクルＧＡＮ方式に従って前記複数の生成器と前記複数の判別器とを学習する、請求項１４乃至１６何れか一項記載の学習装置。
【請求項１８】
学習済みモデルを格納するメモリと、
前記メモリに接続されるプロセッサと、
を有する音響生成装置であって、
前記プロセッサは、
ソース情報を取得し、
前記ソース情報を前記学習済みモデルに入力し、前記学習済みモデルから波形データを取得し、
前記学習済みモデルは、
前記ソース情報を生成器に入力し、前記生成器から第１の波形データを取得し、
音響画像変換方式に従って前記第１の波形データと学習用の第２の波形データとをそれぞれ第１のスペクトログラムと第２のスペクトログラムとに変換し、
前記第１のスペクトログラムと前記第２のスペクトログラムとを判別器に入力し、前記第１のスペクトログラムと前記第２のスペクトログラムとの各出力値を取得し、
前記出力値の誤差に基づき前記生成器と前記判別器とを学習することによって取得される生成器である音響生成装置。
【請求項１９】
前記音響画像変換方式は、入力について微分可能な音響画像変換方式である、請求項１８記載の音響生成装置。
【請求項２０】
前記生成器と前記判別器とは、ＧＡＮ方式に従って学習される、請求項１８又は１９記載の音響生成装置。
【請求項２１】
前記学習済みモデルは、サイクルＧＡＮ方式に従って複数の生成器と複数の判別器とを学習することによって取得される、請求項１８乃至２０何れか一項記載の音響生成装置。
【請求項２２】
ソース情報から波形データを生成する生成器と、スペクトログラムから出力値を生成する判別器とを含む学習対象のモデルを学習する方法であって、
プロセッサが、前記ソース情報を前記生成器に入力し、前記生成器から第１の波形データを取得し、
前記プロセッサが、音響画像変換方式に従って前記第１の波形データと学習用の第２の波形データとをそれぞれ第１のスペクトログラムと第２のスペクトログラムとに変換し、
前記プロセッサが、前記第１のスペクトログラムと前記第２のスペクトログラムとを前記判別器に入力し、前記第１のスペクトログラムと前記第２のスペクトログラムとの各出力値を取得し、
前記プロセッサが、前記出力値の誤差に基づき前記生成器と前記判別器とを学習する方法。
【請求項２３】
プロセッサが、ソース情報を取得し、
前記プロセッサが、前記ソース情報を学習済みモデルに入力し、前記学習済みモデルから波形データを取得する方法であって、
前記学習済みモデルは、
前記ソース情報を生成器に入力し、前記生成器から第１の波形データを取得し、
音響画像変換方式に従って前記第１の波形データと学習用の第２の波形データとをそれぞれ第１のスペクトログラムと第２のスペクトログラムとに変換し、
前記第１のスペクトログラムと前記第２のスペクトログラムとを判別器に入力し、前記第１のスペクトログラムと前記第２のスペクトログラムとの各出力値を取得し、
前記出力値の誤差に基づき前記生成器と前記判別器とを学習することによって取得される生成器である方法。
【請求項２４】
請求項２２又は２３記載の方法をプロセッサに実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、音響処理技術に関する。
【背景技術】
【０００２】
従来の音声合成では、波形接続型と隠れマルコフモデル型が主流であった。さらに、深層学習の発展によりニューラルネットワーク型の音声合成手法が提案されるようになった。ニューラルネットワーク型の代表例であるＷａｖｅＮｅｔは、Ｔｅｘｔ−Ｔｏ−Ｓｐｅｅｃｈに利用され、波形接続型や隠れマルコフ型と比較して、自然で高品質な音声合成を実現できる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】"WAVENET: A GENERATIVE MODEL FOR RAW AUDIO" (https://arxiv.org/pdf/1609.03499.pdf)
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方、ＷａｖｅＮｅｔは損失関数を用いた効率的な学習が困難であるなどの問題がある。
【０００５】
テキストから人の音声の波形データを合成する場合に限らず、様々なソース情報から特定のグループに属する音の波形データ（音響データ）を生成する場合にも同様の問題がある。
【０００６】
本開示の課題は、特定のグループに属する音の波形データ（音響データ）を効果的に生成するための音響処理技術を提供することである。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本開示の一態様は、入力されるソース情報から第１の記憶情報に従って波形データを生成する生成器と、入力される周波数情報が第１のグループに属する波形データから抽出される周波数情報であるか否かを第２の記憶情報に従って判別する判別器と、前記生成器で生成された波形データから抽出される周波数情報を前記判別器で判別した判別結果に基づいて、前記生成器が前記第１のグループに属する波形データを生成するように前記第１の記憶情報を変化させる制御部と、を有する音響生成装置に関する。
【発明の効果】
【０００８】
本開示によると、特定のグループに属する音の波形データ（音響データ）を効果的に生成するための音響処理技術を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本開示の一実施例による学習済み音響分離モデルを有する音響生成装置を示す概略図である。
【図２】本開示の一実施例による学習装置の機能構成を示すブロック図である。
【図３】本開示の一実施例による生成器及び判別器による学習処理を示す概略図である。
【図４】本開示の一実施例による学習装置のハードウェア構成を示すブロック図である。
【図５】本開示の一実施例による音響生成モデルの学習処理を示すフローチャートである。
【図６】本開示の一実施例による音響生成モデルの学習処理の詳細を示すフローチャートである。
【図７】本開示の一実施例による生成器及び判別器による学習処理を示す概略図である。
【図８】本開示の一実施例による生成器及び判別器による学習処理を示す概略図である。
【図９】本開示の一実施例による音響生成装置の機能構成を示すブロック図である。
【図１０】本開示の一実施例による音響生成装置のハードウェア構成を示すブロック図である。
【図１１】本開示の一実施例による音響生成処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下の実施例では、ソース情報から所与のデータセットの波形に尤もらしい波形を生成するための音響生成モデルを学習し、当該学習済み音響生成モデルを用いて波形データを生成する音響処理技術が開示される。
【００１１】
本開示による学習装置は、ソース情報から波形データを生成する生成器とスペクトログラムから出力値を生成する判別器とを含む学習対象のモデルを有し、ソース情報を生成器に入力し、生成器から波形データを取得し、取得した波形データと学習用の波形データとから音響画像変換方式（定Ｑ変換、フーリエ変換など）に従って変換された各スペクトログラムを判別器に入力し、判別器の出力値を入力とする損失関数に基づき生成器及び判別器を学習する。また、本開示による波形生成装置及び音響生成装置は、学習済み生成器を利用してデータセットの波形データのスペクトログラムに尤もらしい波形データを生成する。
【００１２】
まず、図１を参照して、本開示の一実施例による学習済み生成器を有する音響生成装置を説明する。図１は、本開示の一実施例による学習済み生成器を有する音響生成装置を示す概略図である。
【００１３】
図１に示されるように、本開示の一実施例による音響生成装置２００は、ニューラルネットワークとして実現される生成器を有し、学習装置１００によって学習された生成器を利用して、ソース情報からデータセットの波形データと同じグループに属することが尤もらしい波形データを生成する。具体的には、例えば、人の音声の波形データを生成させるように生成器を学習させる場合には、学習用のデータセットとして人の音声の波形データが用いられる。人の音声以外にも、楽器の音や動物の声など、ある特定のグループに属する波形データを生成させる場合には、その特定のグループに属する波形データを学習用のデータセットとすればよい。本開示の一実施例による学習装置１００は、データベース５０に格納されている所望のオーディオデータ（音の波形データ）を示すデータセットによって生成器及び判別器を学習し、学習された生成器を音響生成装置２００に提供する。
【００１４】
次に、図２〜４を参照して、本開示の一実施例による学習装置を説明する。図２は、本開示の一実施例による学習装置の機能構成を示すブロック図である。
【００１５】
図２に示されるように、学習装置１００は、生成器１１０、変換部１２０、判別器１３０及び学習部１４０を有する。学習装置１００は、生成器１１０及び判別器１３０の２つのタイプのニューラルネットワークを有し、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋｓ）方式に従って、判別器１３０からのフィードバック情報に基づき所与のデータセットの波形データに尤もらしい波形データを生成するよう生成器１１０と判別器１３０とを学習する。
【００１６】
なお、生成器（生成部）および判別器（判別部）は、制御部（ＣＰＵ、ＧＰＵ）がニューラルネットワークをシミュレートすることによって実現され、メモリ内の所定の記憶情報に従って生成処理や判別処理を実行するモデルとして実現される。これらのモデルで用いられる記憶情報は、ニューラルネットワークにおけるパラメータ（重み値）であり、学習によって変化する情報である。
【００１７】
生成器１１０は、入力されたソース情報から波形データを生成する。当該ソース情報は、乱数、オーディオ、テキスト、発話など生成対象の波形データと異なるタイプのデータであってもよい。例えば、生成器１１０は、図３に示されるように、乱数を生成器のニューラルネットワークに入力し、当該ニューラルネットワークから波形データを取得する。ここで、当該乱数は、正規分布に従う乱数であってもよい。
【００１８】
変換部１２０は、音響画像変換方式に従って取得した波形データと学習用の波形データとをそれぞれスペクトログラムに変換する。具体的には、変換部１２０は、入力について微分可能な所定の音響画像変換方式（例えば、定Ｑ変換、フーリエ変換）に従って各波形データを時間、周波数及びオーディオ成分の強度を表すスペクトログラムに変換し、変換されたスペクトログラムを判別器１３０に提供する。ここで、本開示の一実施例によるスペクトログラムは、複数次元においてデータ成分を含むデータ配列として実現されうる。
【００１９】
判別器１３０は、生成器１１０によって生成された波形データを示すスペクトログラムと、データベース５０における学習用スペクトログラムとからそれぞれの出力値を計算する。具体的には、判別器１３０は、図３に示されるように、生成器１１０によって生成された波形データを示すスペクトログラムを判別器１３０のニューラルネットワークに入力し、当該ニューラルネットワークから実数値を取得する一方、学習用の波形データを示すスペクトログラムを判別器１３０のニューラルネットワークに入力し、当該ニューラルネットワークから実数値を取得する。ここで、判別器１３０の出力値は、学習用のデータセット（第１のグループに属する波形データ）からサンプリングした波形のスペクトログラムの尤もらしさを表す。
【００２０】
学習部１４０は、出力値の誤差に基づき生成器１１０と判別器１３０とを学習する。
【００２１】
つまり、学習部１４０は、生成器１１０が、学習用のデータセットが属するグループと同じグループである第１のグループに属する波形データを生成するように（第１のグループに属さない波形データを生成しないように）ニューラルネットワークのパラメータ（第１の記憶情報）を変化させる。
【００２２】
また、学習部１４０は、判別器１３０が、前記第１のグループに属する波形データと前記第１のグループに属さない波形データとを正しく判別できるようにニューラルネットワークのパラメータ（第２の記憶情報）を変化させる。
具体的には、学習部１４０は、後述される学習処理を制御する。また、学習用の波形データを示すスペクトログラムをｘｒｅａｌとし、生成器１１０によって生成された波形データを示すスペクトログラムをｘｆａｋｅとし、Ｄを判別器１３０の出力値とした場合、学習部１４０は、
ｌｏｇＤ（ｘｒｅａｌ）＋ｌｏｇ（１−Ｄ（ｘｆａｋｅ））
を最大化するよう判別器１３０のニューラルネットワークのパラメータを更新すると共に、
ｌｏｇ（１−Ｄ（ｘｆａｋｅ））
を最小化するよう生成器１１０のニューラルネットワークのパラメータを更新してもよい。
【００２３】
ここで、学習装置１００は、例えば、図４に示されるように、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０３、通信インタフェース（ＩＦ）１０４、ハードディスク１０５、表示装置１０６及び入力装置１０７によるハードウェア構成を有してもよい。ＣＰＵ１０１及びＧＰＵ１０２は、後述される学習装置１００の各種処理を実行し、上述した生成器１１０、変換部１２０、判別器１３０及び学習部１４０を実現するプロセッサとして機能し、特に、ＣＰＵ１０１は学習装置１００における学習処理の実行を制御し、ＧＰＵ１０２は機械学習における行列演算等の学習処理を実行する。ＲＡＭ１０３及びハードディスク１０５は、学習装置１００における各種データ及びプログラムを格納するメモリとして機能し、特に、ＲＡＭ１０３は、ＣＰＵ１０１及びＧＰＵ１０２における作業データを格納するワーキングメモリとして機能し、ハードディスク１０５は、ＣＰＵ１０１及びＧＰＵ１０２の制御プログラム及び／又は学習用データを格納する。通信ＩＦ１０４は、データベース５０から学習用データを取得するための通信インタフェースである。表示装置１０６は、処理の内容、経過、結果等の各種情報を表示し、入力装置１０７は、キーボード、マウスなどの情報及びデータを入力するためのデバイスである。しかしながら、本開示による学習装置１００は、上述したハードウェア構成に限定されず、他の何れか適切なハードウェア構成を有してもよい。
【００２４】
次に、図５〜６を参照して、本開示の一実施例による学習装置１００における学習処理を説明する。図５は、本開示の一実施例による音響生成モデルの学習処理を示すフローチャートである。図示された実施例では、限定されることなく、ソース情報として乱数が用いられる。
【００２５】
図５に示されるように、ステップＳ１０１において、生成器１１０は、乱数から波形データを取得する。具体的には、生成器１１０は、乱数を生成器１１０のニューラルネットワークに入力し、当該ニューラルネットワークから波形データを取得する。また、生成器１１０は、入力されるソース情報から第１の記憶情報に従って波形データを生成する。このとき、判別器１３０は、入力される周波数情報が第１のグループに属する波形データから抽出される周波数情報であるか否かを第２の記憶情報に従って判別する。ここで、第１の記憶情報は、生成された波形データから抽出される周波数情報を判別した判別結果に基づいて第１のグループに属する波形データが生成するように変更させる。また、第２の記憶情報は、第１のグループに属する波形データから抽出される周波数情報を判別した判別結果と、生成された波形データから抽出される周波数情報を判別した判別結果とに基づいて第１のグループに属する波形データと第１のグループに属さない波形データとを正しく判別できるように、変更される。
【００２６】
ステップＳ１０２において、変換部１２０は、生成器１１０によって生成された波形データと学習用の波形データとをそれぞれスペクトログラムに変換する。具体的には、変換部１２０は、入力について微分可能な所定の音響画像変換方式（例えば、定Ｑ変換、フーリエ変換）に従って各波形データを時間、周波数及びオーディオ成分の強度を表すスペクトログラムに変換する。また、変換部１２０は、波形データを、複数の軸のうちの１つの軸を対数の周波数軸とした画像データに変換する。このとき、波形データを変換部１２０で変換して得られた画像データを周波数情報として判別部１３０に判別させてもよい。
【００２７】
ステップＳ１０３において、判別器１３０は、変換された各スペクトログラムからそれぞれの出力値を計算する。具体的には、判別器１３０は、生成器１１０によって生成された波形データを示すスペクトログラムと学習用の波形データを示すスペクトログラムとを判別器１３０のニューラルネットワークに入力し、当該ニューラルネットワークから各実数値を取得する。
【００２８】
ステップＳ１０４において、学習部１４０は、出力値の誤差に基づき生成器１１０と判別器１３０とを学習する。具体的には、学習部１４０は、出力値の誤差に基づき生成器１１０のニューラルネットワークのパラメータと、判別器１３０のニューラルネットワークとのパラメータとを更新する。すなわち、学習部１４０は、複数のソース情報のそれぞれを生成器１１０に入力して複数の波形データを生成するとともに、生成された複数の波形データのそれぞれを変換部１２０により変換して得られる複数の画像データと、第１のグループに属する複数の波形データのそれぞれを変換部１２０により変換して得られる複数の画像データとを、判別器１３０により判別させ、判別による複数の判別結果に基づいて、第１の記憶情報及び第２の記憶情報を変化させていくことで学習対象のモデルを学習させてもよい。
【００２９】
上述したステップＳ１０１〜Ｓ１０４は、所定の回数実行され、最終的に取得した生成器１１０のニューラルネットワークが、音響生成装置２００に提供される学習済みの音響生成モデルとして決定されてもよい。
【００３０】
上述した学習処理は、例えば、図６に示される手順に従って実現されてもよい。
【００３１】
図６に示されるように、ステップＳ２０１において、学習部１４０は、繰り返しカウンタ（ｉｔｅｒａｔｉｏｎ）を０に初期化する。
【００３２】
ステップＳ２０２において、学習部１４０は、繰り返しカウンタが指定回数未満であるか判定する。繰り返しカウンタが指定回数未満である場合（ステップＳ２０２：ＹＥＳ）、学習部１４０は、ステップＳ２０３において、ステップカウンタ（ｓｔｅｐ）を０に初期化する。他方、繰り返しカウンタが指定回数に達している場合（ステップＳ２０２：ＮＯ）、学習部１４０は、当該学習処理を終了する。
【００３３】
ステップＳ２０４において、学習部１４０は、ステップカウンタが指定回数未満であるか判定する。ステップカウンタが指定回数未満である場合（ステップＳ２０４：ＹＥＳ）、ステップＳ２０５において、生成器１１０は、乱数から波形データを生成する。
【００３４】
ステップＳ２０６において、学習部１４０は、データベース５０から学習用の波形をサンプリングし、学習用の波形データを生成する。
【００３５】
ステップＳ２０７において、変換部１２０は、ステップＳ２０５において生成された波形データと、ステップＳ２０５において生成された学習用の波形データとをそれぞれ所定の音響画像変換方式に従ってスペクトログラムに変換する。例えば、本実施例では、変換部１２０は、フーリエ変換によって波形データをスペクトログラムに変換するが、本開示の音響画像変換方式はこれに限定されず、例えば、定Ｑ変換などの他の入力について微分可能な音響画像変換方式が適用されてもよい。
【００３６】
ステップＳ２０８において、判別器１３０は、ニューラルネットワークを利用して、変換された各スペクトログラムから実数値を計算し、学習部１４０は、計算された各実数値の誤差を計算する。例えば、学習部１４０は、
ｌｏｇＤ（ｘｒｅａｌ）＋ｌｏｇ（１−Ｄ（ｘｆａｋｅ））
を誤差として算出してもよい。
【００３７】
ステップＳ２０９において、学習部１４０は、算出した誤差を最大化するよう判別器１３０のニューラルネットワークのパラメータを更新する。
【００３８】
ステップＳ２１０において、学習部１４０は、ステップカウンタをインクリメントし、ステップＳ２０４に戻る。
【００３９】
他方、ステップカウンタが指定回数に達している場合（ステップＳ２０４：ＮＯ）、ステップＳ２１１において、生成器１１０は、乱数から波形データを生成する。
【００４０】
ステップＳ２１２において、変換部１２０は、ステップＳ２１１において生成された波形データを所定の音響画像変換方式に従ってスペクトログラムに変換する。例えば、本実施例では、変換部１２０は、フーリエ変換によって波形データをスペクトログラムに変換するが、本開示の音響画像変換方式はこれに限定されず、例えば、定Ｑ変換などの他の入力について微分可能な音響画像変換方式が適用されてもよい。
【００４１】
ステップＳ２１３において、判別器１３０は、ニューラルネットワークを利用して、変換されたスペクトログラムから実数値を計算し、学習部１４０は、計算された実数値の誤差ｌｏｇ（１−Ｄ（ｘｆａｋｅ））を算出する。
【００４２】
ステップＳ２１４において、学習部１４０は、算出した誤差を最小化するよう生成器１１０のニューラルネットワークのパラメータを更新する。
【００４３】
ステップＳ２１５において、学習部１４０は、繰り返しカウンタをインクリメントし、ステップＳ２０２に戻る。
【００４４】
次に、図７〜８を参照して、本開示の他の実施例による生成器及び判別器による学習処理を説明する。図７及び８は、本開示の一実施例による生成器及び判別器による学習処理を示す概略図である。図示される実施例では、学習装置１００は、サイクルＧＡＮ方式に従って生成器１１０及び判別器１３０を学習する。
【００４５】
図７に示されるように、生成器１１０は、２つのニューラルネットワークＧＡｔｏＢ及びＧＢｔｏＡを有し、ＧＡｔｏＢはドメインＡからドメインＢへの変換を実行し、ＧＢｔｏＡはドメインＢからドメインＡへの変換を実行する。例えば、ドメインＡは男声のデータセットであり、ドメインＢは女声のデータセットであってもよい。この場合、ＧＡｔｏＢは男声の波形データを女声の波形データに変換し、ＧＢｔｏＡは女声の波形データを男声の波形データに変換する。
【００４６】
他方、判別器１３０もまた、２つのニューラルネットワークＤＡ及びＤＢを有し、図８に示されるように、ＤＡは入力されたスペクトログラムがドメインＡのデータセットの波形データのスペクトログラムに尤もらしいかを判別し、ＤＢは入力されたスペクトログラムがドメインＢのデータセットの波形データのスペクトログラムに尤もらしいかを判別する。例えば、ドメインＡが男声のデータセットであり、ドメインＢが女声のデータセットである場合、ＤＡは入力されたスペクトログラムが男声のスペクトログラムに尤もらしいかを判別し、ＤＢは入力されたスペクトログラムが男声のスペクトログラムに尤もらしいかを判別する。すなわち、第１のグループに属する波形データは、言葉を発声した音声データに対応する波形データであってもよい。また、第１のグループに属する波形データは、特定の人の声に対応する波形データであり、第２のグループに属する波形データは、特定の人とは異なる人の声に対応する波形データであってもよい。
【００４７】
本実施例では、図示されるように、ＧＡｔｏＢ及びＧＢｔｏＡはそれぞれ変換された波形データを出力し、変換部１２０は、所定の音響画像変換方式（例えば、定Ｑ変換、フーリエ変換）に従って各波形データをスペクトログラムに変換し、それぞれＤＢ及びＤＡに入力する。ＤＡ及びＤＢは、上述した実施例と同様に、各自のドメインのデータセットの学習用の波形データを示すスペクトログラムと、ＧＢｔｏＡ及びＧＡｔｏＢによりそれぞれ変換された波形データを示すスペクトログラムとをそれぞれ入力した際の出力値を計算する。学習部１４０は、これらの出力値の誤差に基づき、上述したようにＧＡｔｏＢ及びＧＢｔｏＡとＤＡ及びＤＢとのパラメータを更新する。
【００４８】
さらに本実施例では、図示されるように、ＧＡｔｏＢ及びＧＢｔｏＡは、それぞれ変換された波形データを他方のＧＢｔｏＡ及びＧＡｔｏＢに入力し、ＧＢｔｏＡ及びＧＡｔｏＢは、それぞれ入力された波形データを変換し、変換された波形データをそれぞれＤＡ及びＤＢと変換部１２０に入力する。変換部１２０は、上記と同様に、所定の音響画像変換方式に従って各波形データをスペクトログラムに変換し、それぞれＤＢ及びＤＡに入力する。ＤＡ及びＤＢは、上述した実施例と同様に、各自のドメインのデータセットの学習用の波形データを示すスペクトログラムと、ＧＢｔｏＡ及びＧＡｔｏＢによりそれぞれ変換された波形データを示すスペクトログラムとの出力値を計算する。学習部１４０は、これらの出力値の誤差に基づき、上述したようにＧＡｔｏＢ及びＧＢｔｏＡとＤＡ及びＤＢとのパラメータを更新する。
【００４９】
このように、生成器１１０において波形データを変換及び逆変換することによって、例えば、発話内容は同じであって、声質のみ変わっている波形データを取得することが可能になる。
【００５０】
また、一実施例では、判別器１３０は、入力される周波数情報が第１のグループに属する波形データから抽出される周波数情報である確からしさに応じた出力値を判別結果として出力し、学習部１４０は、第１のグループに属する波形データから抽出される周波数情報の入力に対して出力される出力値がより高い確からしさを示し、生成器１１０で生成された波形データから抽出される周波数情報の入力に対して出力される出力値がより低い確からしさを示すように、第２の記憶情報を変化させるとともに、生成器１１０で生成された波形データから抽出される周波数情報の入力に対して出力される出力値がより高い確からしさを示すように、第１の記憶情報を変化させてもよい。
【００５１】
また、一実施例では、生成器１１０は、第２のグループに属する波形データから第１のグループに属する波形データを生成し、波形データから第２のグループに属する波形データを生成し、判別器１３０は、入力される周波数情報が第１のグループに属する波形データから抽出される周波数情報であるか否かを判別してもよい。このとき、学習部１４０は、第２のグループに属する第１の元波形データから第１のグループに属する第１の変換波形データを生成器１１０に生成させた後、第１の変換波形データから第２のグループに属する第１の再構成波形データを生成器１１０に生成させるとともに、第１の元波形データから抽出される周波数情報を判別した判別結果と、第１の再構成波形データから抽出される周波数情報を判別した判別結果との誤差を少なくするように生成器１１０を学習させてもよい。
【００５２】
また、一実施例では、判別器１３０は、入力される周波数情報が第２のグループに属する波形データから抽出される周波数情報であるか否かを判別してもよい。このとき、学習部１４０は、第１のグループに属する第２の元波形データから第２のグループに属する第２の変換波形データを生成器１１０に生成させた後、第２の変換波形データから第１のグループに属する第２の再構成波形データを生成器１１０に生成させるとともに、第２の元波形データから抽出される周波数情報を判別した判別結果と、第２の再構成波形データから抽出される周波数情報を判別した判別結果との誤差を少なくするように生成器１１０を学習させてもよい。
【００５３】
次に、図９〜１０を参照して、本開示の一実施例による音響生成装置を説明する。図９は、本開示の一実施例による音響生成装置の機能構成を示すブロック図である。
【００５４】
図９に示されるように、音響生成装置２００は、取得部２１０及び生成器２２０を有する。音響生成装置２００は、学習装置１００から生成器１１０の音響生成モデルを取得し、当該音響生成モデルを生成器２２０として用いてソース情報から波形データを生成する。
【００５５】
取得部２１０は、ソース情報を取得する。当該ソース情報は、乱数、オーディオ、テキスト、発話など生成対象の波形データを示すオーディオデータと異なるタイプの波形データであってもよく、学習装置１００において学習された生成器１１０に入力される情報に対応するタイプの情報である。すなわち、ソース情報は、言葉に対応するラベル情報または前記言葉を表すテキスト情報であってもよいし、言葉を発声した音声データに対応する波形データであってもよいし、後述される第１のグループとは異なる第２のグループに属する波形データであってもよいし、あるいは、乱数であってもよい。
【００５６】
生成器２２０は、ソース情報を学習済み音響生成モデルに入力し、当該音響生成モデルから波形データを取得する。当該音響生成モデルは、上述したような手順に従って学習装置１００において学習される。すなわち、学習装置１００は、ソース情報を生成器１１０に入力し、生成器１１０から対応する波形データを取得する。そして、学習装置１００は、音響画像変換方式に従って当該波形データと学習用の波形データとをそれぞれスペクトログラムに変換して判別器１３０に入力し、これらのスペクトログラムの出力値の誤差に基づき生成器１１０と判別器１３０とを学習する。また、生成器２２０は、取得した波形データをオーディオデータに変換するなど、波形データに対して所定の出力処理を実行する。
【００５７】
ここで、音響生成装置２００は、例えば、図１０に示されるように、ＣＰＵ２０１、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２、ＲＡＭ２０３、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリポート２０４及び再生装置２０５によるハードウェア構成を有してもよい。ＣＰＵ２０１は、後述される音響生成装置２００の各種処理を実行し、上述した取得部２１０及び生成器２２０を実現するプロセッサとして機能する。ＲＯＭ２０２及びＲＡＭ２０３は、音響生成装置２００における各種データ及びプログラムを格納するメモリとして機能し、特に、ＲＡＭ２０３は、ＣＰＵ２０１における作業データを格納するワーキングメモリとして機能し、ＲＯＭ２０３は、ＣＰＵ２０１の制御プログラム及び／又はデータを格納する。ＵＳＢメモリポート２０４は、ユーザによりセットされたＵＳＢメモリに格納されているソース情報を取得する。再生装置２０５は、ＣＰＵ２０１の指示によってソース情報から生成されたオーディオデータを再生する。しかしながら、本開示による音響生成装置２００は、上述したハードウェア構成に限定されず、他の何れか適切なハードウェア構成を有してもよい。例えば、上述した取得部２１０及び生成器２２０の１つ以上は、フィルタ回路などの電子回路により実現されてもよい。
【００５８】
次に、図１１を参照して、本開示の一実施例による音響生成装置２００における音響生成処理を説明する。図１１は、本開示の一実施例による音響生成処理を示すフローチャートである。
【００５９】
図１１に示されるように、ステップＳ３０１において、取得部２１０は、ソース情報を取得する。具体的には、取得部２１０は、学習装置１００において学習用に生成器１１０に入力された情報に対応するソース情報を取得する。
【００６０】
ステップＳ３０２において、生成器２２０は、学習済み音響生成モデルにソース情報を入力し、当該音響生成モデルから波形データを取得する。
【００６１】
ステップＳ３０３において、生成器２２０は、取得した波形データをオーディオデータに変換するなど、波形データに対して所定の出力処理を実行する。
【００６２】
本開示の一態様では、
入力されるソース情報から第１の記憶情報に従って波形データを生成する生成部と、
入力される周波数情報が第１のグループに属する波形データから抽出される周波数情報であるか否かを第２の記憶情報に従って判別する判別部と、
前記生成部で生成された波形データから抽出される周波数情報を前記判別部で判別した判別結果に基づいて、前記生成部が前記第１のグループに属する波形データを生成するように前記第１の記憶情報を変化させる制御部と、
を有する波形生成装置が提供される。
【００６３】
一実施例では、前記制御部は、前記第１のグループに属する波形データから抽出される周波数情報を前記判別部で判別した判別結果と、前記生成部で生成された波形データから抽出される周波数情報を前記判別部で判別した判別結果とに基づいて、前記判別部が前記第１のグループに属する波形データと前記第１のグループに属さない波形データとを正しく判別できるように前記第２の記憶情報を変化させてもよい。
【００６４】
一実施例では、波形データを、複数の軸のうちの１つの軸を対数の周波数軸とした画像データに変換する変換部を有し、前記制御部は、波形データを前記変換部で変換して得られた画像データを前記周波数情報として前記判別部に判別させるように制御してもよい。
【００６５】
一実施例では、前記生成部と前記判別部とを含む学習対象のモデルとして、前記第１の記憶情報と前記第２の記憶情報とを格納する記憶部を有し、前記制御部は、複数のソース情報のそれぞれを前記生成部に入力して複数の波形データを生成するとともに、生成された複数の波形データのそれぞれを前記変換部により変換して得られる複数の画像データと、前記第１のグループに属する複数の波形データのそれぞれを前記変換部により変換して得られる複数の画像データとを、前記判別部により判別させ、前記判別による複数の判別結果に基づいて、前記第１の記憶情報及び前記第２の記憶情報を変化させていくことで前記学習対象のモデルを学習させてもよい。
【００６６】
一実施例では、前記判別部は、入力される周波数情報が前記第１のグループに属する波形データから抽出される周波数情報である確からしさに応じた出力値を前記判別結果として出力し、前記制御部は、前記第１のグループに属する波形データから抽出される周波数情報の入力に対して出力される出力値がより高い確からしさを示し、前記生成部で生成された波形データから抽出される周波数情報の入力に対して出力される出力値がより低い確からしさを示すように、前記第２の記憶情報を変化させるとともに、前記生成部で生成された波形データから抽出される周波数情報の入力に対して出力される出力値がより高い確からしさを示すように、前記第１の記憶情報を変化させてもよい。
【００６７】
一実施例では、前記第１のグループに属する波形データは、言葉を発声した音声データに対応する波形データであってもよい。
【００６８】
一実施例では、前記ソース情報は、前記言葉に対応するラベル情報または前記言葉を表すテキスト情報であってもよい。
【００６９】
一実施例では、前記ソース情報は、言葉を発声した音声データに対応する波形データであってもよい。
【００７０】
一実施例では、前記ソース情報は、前記第１のグループとは異なる第２のグループに属する波形データであってもよい。
【００７１】
一実施例では、前記第１のグループに属する波形データは、特定の人の声に対応する波形データであり、前記第２のグループに属する波形データは、前記特定の人とは異なる人の声に対応する波形データであってもよい。
【００７２】
一実施例では、前記生成部は、前記第２のグループに属する波形データから前記第１のグループに属する波形データを生成する第１生成部と、前記波形データから前記第２のグループに属する波形データを生成する第２生成部とを有し、前記判別部は、入力される周波数情報が前記第１のグループに属する波形データから抽出される周波数情報であるか否かを判別する第１判別部を有し、前記制御部は、前記第１生成部に前記第２のグループに属する第１の元波形データから前記第１のグループに属する第１の変換波形データを生成させた後、前記第２生成部に前記第１の変換波形データから前記第２のグループに属する第１の再構成波形データを生成させるとともに、前記第１の元波形データから抽出される周波数情報を前記第１判別部で判別した判別結果と、前記第１の再構成波形データから抽出される周波数情報を前記第１判別部で判別した判別結果との誤差を少なくするように前記生成部を学習させてもよい。
【００７３】
一実施例では、前記判別部は、入力される周波数情報が前記第２のグループに属する波形データから抽出される周波数情報であるか否かを判別する第２判別部を更に有し、前記制御部は、前記第２生成部に前記第１のグループに属する第２の元波形データから前記第２のグループに属する第２の変換波形データを生成させた後、前記第１生成部に前記第２の変換波形データから前記第１のグループに属する第２の再構成波形データを生成させるとともに、前記第２の元波形データから抽出される周波数情報を前記第２判別部で判別した判別結果と、前記第２の再構成波形データから抽出される周波数情報を前記第２判別部で判別した判別結果との誤差を少なくするように前記生成部を学習させてもよい。
【００７４】
一実施例では、前記ソース情報は、乱数であってもよい。
【００７５】
本開示の一態様では、
学習対象のモデルを格納するメモリと、
前記メモリに接続されるプロセッサと、
を有する学習装置であって、
前記学習対象のモデルは、ソース情報から波形データを生成する生成器と、スペクトログラムから出力値を生成する判別器とを含み、
前記プロセッサは、
前記ソース情報を前記生成器に入力し、前記生成器から第１の波形データを取得し、
音響画像変換方式に従って前記第１の波形データと学習用の第２の波形データとをそれぞれ第１のスペクトログラムと第２のスペクトログラムとに変換し、
前記第１のスペクトログラムと前記第２のスペクトログラムとを前記判別器に入力し、前記第１のスペクトログラムと前記第２のスペクトログラムとの各出力値を取得し、
前記出力値の誤差に基づき前記生成器と前記判別器とを学習する学習装置が提供される。
【００７６】
一実施例では、前記音響画像変換方式は、入力について微分可能な音響画像変換方式であってもよい。
【００７７】
一実施例では、前記プロセッサは、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ  Ａｄｖｅｒｓａｒｉａｌ  Ｎｅｔｗｏｒｋ）方式に従って前記生成器と前記判別器とを学習してもよい。
【００７８】
一実施例では、前記学習対象のモデルは、複数の生成器と複数の判別器とを含み、前記プロセッサは、サイクルＧＡＮ方式に従って前記複数の生成器と前記複数の判別器とを学習してもよい。
【００７９】
本開示の一態様では、
学習済みモデルを格納するメモリと、
前記メモリに接続されるプロセッサと、
を有する音響生成装置であって、
前記プロセッサは、
ソース情報を取得し、
前記ソース情報を前記学習済みモデルに入力し、前記学習済みモデルから波形データを取得し、
前記学習済みモデルは、
前記ソース情報を生成器に入力し、前記生成器から第１の波形データを取得し、
音響画像変換方式に従って前記第１の波形データと学習用の第２の波形データとをそれぞれ第１のスペクトログラムと第２のスペクトログラムとに変換し、
前記第１のスペクトログラムと前記第２のスペクトログラムとを判別器に入力し、前記第１のスペクトログラムと前記第２のスペクトログラムとの各出力値を取得し、
前記出力値の誤差に基づき前記生成器と前記判別器とを学習することによって取得される生成器である音響生成装置が提供される。
【００８０】
一実施例では、前記音響画像変換方式は、入力について微分可能な音響画像変換方式であってもよい。
【００８１】
一実施例では、前記生成器と前記判別器とは、ＧＡＮ方式に従って学習されてもよい。
【００８２】
一実施例では、前記学習済みモデルは、サイクルＧＡＮ方式に従って複数の生成器と複数の判別器とを学習することによって取得されてもよい。
【００８３】
本開示の一態様では、
ソース情報から波形データを生成する生成器と、スペクトログラムから出力値を生成する判別器とを含む学習対象のモデルを学習する方法であって、
プロセッサが、前記ソース情報を前記生成器に入力し、前記生成器から第１の波形データを取得し、
前記プロセッサが、音響画像変換方式に従って前記第１の波形データと学習用の第２の波形データとをそれぞれ第１のスペクトログラムと第２のスペクトログラムとに変換し、
前記プロセッサが、前記第１のスペクトログラムと前記第２のスペクトログラムとを前記判別器に入力し、前記第１のスペクトログラムと前記第２のスペクトログラムとの各出力値を取得し、
前記プロセッサが、前記出力値の誤差に基づき前記生成器と前記判別器とを学習する方法が提供される。
【００８４】
本開示の一態様では、
プロセッサが、ソース情報を取得し、
前記プロセッサが、前記ソース情報を学習済みモデルに入力し、前記学習済みモデルから波形データを取得する方法であって、
前記学習済みモデルは、
前記ソース情報を生成器に入力し、前記生成器から第１の波形データを取得し、
音響画像変換方式に従って前記第１の波形データと学習用の第２の波形データとをそれぞれ第１のスペクトログラムと第２のスペクトログラムとに変換し、
前記第１のスペクトログラムと前記第２のスペクトログラムとを判別器に入力し、前記第１のスペクトログラムと前記第２のスペクトログラムとの各出力値を取得し、
前記出力値の誤差に基づき前記生成器と前記判別器とを学習することによって取得される生成器である方法が提供される。
【００８５】
本開示の一態様では、
上述した方法をプロセッサに実現させるプログラム又はコンピュータ可読記憶媒体が提供される。
【００８６】
以上、本開示の実施例について詳述したが、本開示は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本開示の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００８７】
５０  データベース
１００  学習装置
１１０，２２０  生成器
１２０  変換部
１３０  判別器
１４０  学習部
２００  音響生成装置
２１０  取得部
【図１】
2019168608.tif 000003
【図２】
2019168608.tif 000004
【図３】
2019168608.tif 000005
【図４】
2019168608.tif 000006
【図５】
2019168608.tif 000007
【図６】
2019168608.tif 000008
【図７】
2019168608.tif 000009
【図８】
2019168608.tif 000010
【図９】
2019168608.tif 000011
【図１０】
2019168608.tif 000012
【図１１】
2019168608.tif 000013