(57)【要約】      （修正有）【課題】基本周波数を入力することなく、テキスト情報に基づいて、対応するオーディオデータを得ることができる音声合成モデルを生成するための方法を提供する。【解決手段】方法は、テキストサンプル情報と対応するオーディオサンプルデータ及びオーディオサンプルデータの基本周波数とを含むトレーニングサンプルの、トレーニングサンプルセットを取得するステップと、初期ディープニューラルネットワークを取得するステップと、機械学習方法を利用して、トレーニングサンプルセット中のトレーニングサンプルのテキストサンプル情報を入力とし、入力されたテキストサンプル情報に対応するオーディオサンプルデータおよびオーディオサンプルデータの基本周波数を出力として、初期ディープニューラルネットワークに対してトレーニングを行い、トレーニング後の初期ディープニューラルネットワークを音声合成モデルとして確定するステップとを含む。【選択図】図２
2019200408.tif 000002
【特許請求の範囲】
【請求項１】
音声合成モデルを生成するための方法であって、
テキストサンプル情報と、テキストサンプル情報に対応するオーディオサンプルデータ及びオーディオサンプルデータの基本周波数とを含むトレーニングサンプルの、トレーニングサンプルセットを、取得するステップと、
初期ディープニューラルネットワークを、取得するステップと、
機械学習方法を利用して、前記トレーニングサンプルセット中のトレーニングサンプルのテキストサンプル情報を入力とし、入力されたテキストサンプル情報に対応するオーディオサンプルデータおよびオーディオサンプルデータの基本周波数を出力として、前記初期ディープニューラルネットワークに対してトレーニングを行い、トレーニング後の前記初期ディープニューラルネットワークを音声合成モデルとして確定するステップと、
を含む方法。
【請求項２】
機械学習方法を利用して、前記トレーニングサンプルセット中のトレーニングサンプルのテキストサンプル情報を入力とし、入力されたテキストサンプル情報に対応するオーディオサンプルデータおよびオーディオサンプルデータの基本周波数を出力として、前記初期ディープニューラルネットワークに対してトレーニングを行い、トレーニング後の前記初期ディープニューラルネットワークを音声合成モデルとして確定するステップは、
トレーニングサンプルセットに基づいて、以下のトレーニングステップを実行するステップを含み、
前記トレーニングステップは、
トレーニングサンプルセットの中の少なくとも一つのトレーニングサンプルのテキストサンプル情報を、それぞれ、初期ディープニューラルネットワークに入力して、前記少なくとも一つのテキストサンプル情報の中のそれぞれのテキストサンプル情報に対応するオーディオデータおよびオーディオデータの基本周波数を得るステップと、
前記少なくとも一つのテキストサンプル情報の中のそれぞれのテキストサンプル情報に対応するオーディオデータおよびオーディオデータの基本周波数を、対応するオーディオサンプルデータおよびオーディオサンプルデータの基本周波数と比較するステップと、
比較結果に基づいて、初期ディープニューラルネットワークが所定の最適化目標に達したか否かを確定するステップと、
初期ディープニューラルネットワークが最適化目標に達したと確定されたことに応答して、初期ディープニューラルネットワークを音声合成モデルとして確定するステップと、
を含む請求項１に記載の方法。
【請求項３】
トレーニングを行って音声合成モデルを得るステップは、
初期ディープニューラルネットワークが最適化目標に達していないと確定されたことに応答して、初期ディープニューラルネットワークのパラメータを調整し、未使用のトレーニングサンプルを使用してトレーニングサンプルセットを構成し、調整後の初期ディープニューラルネットワークを初期ディープニューラルネットワークとして使用して、続いて前記トレーニングステップを実行するステップ、
をさらに含む請求項２に記載の方法。
【請求項４】
処理待ちテキスト情報を取得するステップと、
前記処理待ちテキスト情報を、請求項１〜３の中のいずれか１項に記載の方法に従って生成された音声合成モデルに入力して、前記処理待ちテキスト情報に対応するオーディオデータを生成するステップと、
を含む音声合成方法。
【請求項５】
音声合成モデルを生成するための装置であって、
テキストサンプル情報とテキストサンプル情報に対応するオーディオサンプルデータ及びオーディオサンプルデータの基本周波数とを含むトレーニングサンプルの、トレーニングサンプルセットを、取得するように配置されているトレーニングサンプルセット取得ユニットと、
初期ディープニューラルネットワークを取得するように配置されているネットワーク取得ユニットと、
機械学習方法を利用して、前記トレーニングサンプルセット中のトレーニングサンプルのテキストサンプル情報を入力とし、入力されたテキストサンプル情報に対応するオーディオサンプルデータおよびオーディオサンプルデータの基本周波数を出力として、前記初期ディープニューラルネットワークに対してトレーニングを行い、トレーニング後の前記初期ディープニューラルネットワークを音声合成モデルとして確定するように配置されているトレーニングユニットと、
を備える装置。
【請求項６】
前記トレーニングユニットは、さらに、トレーニングサンプルセットに基づいて、以下のトレーニングステップを実行するように配置されており、
前記トレーニングステップは、
トレーニングサンプルセットの中の少なくとも一つのトレーニングサンプルのテキストサンプル情報を、それぞれ、初期ディープニューラルネットワークに入力して、前記少なくとも一つのテキストサンプル情報の中のそれぞれのテキストサンプル情報に対応するオーディオデータおよびオーディオデータの基本周波数を得るステップと、
前記少なくとも一つのテキストサンプル情報の中のそれぞれのテキストサンプル情報に対応するオーディオデータおよびオーディオデータの基本周波数を、対応するオーディオサンプルデータおよびオーディオサンプルデータの基本周波数と比較するステップと、
比較結果に基づいて、初期ディープニューラルネットワークが所定の最適化目標に達したか否かを確定するステップと、
初期ディープニューラルネットワークが最適化目標に達したと確定されたことに応答して、初期ディープニューラルネットワークを音声合成モデルとして確定するステップと、
を含む請求項５に記載の装置。
【請求項７】
前記トレーニングユニットは、さらに、
初期ディープニューラルネットワークが最適化目標に達していないと確定されたことに応答して、初期ディープニューラルネットワークのパラメータを調整し、かつ、未使用のトレーニングサンプルを使用してトレーニングサンプルセットを構成して、調整後の初期ディープニューラルネットワークを初期ディープニューラルネットワークとして使用して、続いて前記トレーニングステップを実行するように配置されている請求項６に記載の装置。
【請求項８】
処理待ちテキスト情報を取得するように配置されている処理待ちテキスト情報取得ユニットと、
前記処理待ちテキスト情報を、請求項１〜３のいずれか一項に記載の方法に従って生成された音声合成モデルに入力して、前記処理待ちテキスト情報に対応するオーディオデータを生成するように配置されている生成ユニットと、
を備える音声合成装置。
【請求項９】
一つまたは複数のプロセッサと、
一つまたは複数のプログラムが記憶されている記憶装置と、を備え、
前記一つまたは複数のプログラムが前記一つまたは複数のプロセッサによって実行されると、前記一つまたは複数のプロセッサが、請求項１〜３のいずれか一項に記載の方法を実現する電子機器。
【請求項１０】
コンピュータプログラムが記憶されており、前記プログラムがプロセッサによって実行されると、請求項１〜３のいずれか一項に記載の方法が実現されるコンピュータ読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願の実施例は、コンピュータ技術の分野に関し、具体的には、音声合成モデルを生成する方法、及び装置に関する。
【背景技術】
【０００２】
音声合成（ＴＴＳ：ｔｅｘｔ−ｔｏ−ｓｐｅｅｃｈ）の目標は、テキストを音声信号に合成することである。音声合成により、マン・マシン音声通信を実現することができる。音声合成は、波形接続型音声合成とパラメトリック音声合成とに分けることができる。
【発明の開示】
【０００３】
本願の実施例は、音声合成モデルを生成するための方法、及び装置を提出する。
【０００４】
第１の局面において、本願の実施例は、音声合成モデルを生成するための方法であって、テキストサンプル情報とテキストサンプル情報に対応されるオーディオサンプルデータ及びオーディオサンプルデータの基本周波数とを含むトレーニングサンプルの、トレーニングサンプルセットを取得するステップと、初期ディープニューラルネットワークを取得するステップと、機械学習方法を利用して、トレーニングサンプルセット中のトレーニングサンプルのテキストサンプル情報を入力とし、入力されたテキストサンプル情報に対応するオーディオサンプルデータおよびオーディオサンプルデータの基本周波数を出力として、初期ディープニューラルネットワークに対してトレーニングを行い、トレーニング後の初期ディープニューラルネットワークを音声合成モデルとして確定するステップとを含む方法を提供する。
【０００５】
幾らかの実施例において、機械学習方法を利用して、トレーニングサンプルセット中のトレーニングサンプルのテキストサンプル情報を入力とし、入力されたテキストサンプル情報に対応するオーディオサンプルデータおよびオーディオサンプルデータの基本周波数を出力として、初期ディープニューラルネットワークに対してトレーニングを行い、トレーニング後の初期ディープニューラルネットワークを音声合成モデルとして確定するステップは、トレーニングサンプルセットに基づいて、以下のトレーニングステップを実行するステップを含み、前記トレーニングステップは、トレーニングサンプルセットの中の少なくとも一つのトレーニングサンプルのテキストサンプル情報を、それぞれ、初期ディープニューラルネットワークに入力して、少なくとも一つのテキストサンプル情報の中のそれぞれのテキストサンプル情報に対応するオーディオデータおよびオーディオデータの基本周波数を得るステップと、少なくとも一つのテキストサンプル情報の中のそれぞれのテキストサンプル情報に対応するオーディオデータおよびオーディオデータの基本周波数を、該当するオーディオサンプルデータおよびオーディオサンプルデータの基本周波数と比較するステップと、比較結果に基づいて、初期ディープニューラルネットワークが所定の最適化目標に達したか否かを確定するステップと、初期ディープニューラルネットワークが最適化目標に達したと確定されたことに応答して、初期ディープニューラルネットワークを音声合成モデルとして確定するステップと、を含む。
【０００６】
幾らかの実施例において、トレーニングを行うことによって音声合成モデルを得るステップは、初期ディープニューラルネットワークが最適化目標に達していないと確定されたことに応答して、初期ディープニューラルネットワークのパラメータを調整し、そして、未使用のトレーニングサンプルを使用してトレーニングサンプルセットを構成して、調整後の初期ディープニューラルネットワークを初期ディープニューラルネットワークとして使用して、続いてトレーニングステップを実行するステップを含む。
【０００７】
第２の局面において、本願の実施例は、処理待ちテキスト情報を、取得するステップと、処理待ちテキスト情報を、上記の第１局面のいずれか一つの実現形態に記載の方法に従って生成された音声合成モデルに入力して、処理待ちテキスト情報に対応するオーディオデータを生成するステップを含む音声合成方法を提供する。
【０００８】
第３の局面において、本願の実施例は、音声合成モデルを生成するための装置を提供し、当該装置は、テキストサンプル情報とテキストサンプル情報に対応されるオーディオサンプルデータとオーディオサンプルデータの基本周波数とを含むトレーニングサンプルの、トレーニングサンプルセットを、取得するように配置されているトレーニングサンプルセット取得ユニットと、初期ディープニューラルネットワークを取得するように配置されているネットワーク取得ユニットと、機械学習方法を利用して、トレーニングサンプルセット中のトレーニングサンプルのテキストサンプル情報を入力とし、入力されたテキストサンプル情報に対応するオーディオサンプルデータおよびオーディオサンプルデータの基本周波数を出力として、初期ディープニューラルネットワークに対してトレーニングを行い、トレーニング後の初期ディープニューラルネットワークを音声合成モデルとして確定するように配置されているトレーニングユニットと、を備える。
【０００９】
幾らかの実施例において、トレーニングユニットは、さらに、トレーニングサンプルセットに基づいて、以下のトレーニングステップを実行するように配置されており、前記トレーニングステップは、トレーニングサンプルセットの中の少なくとも一つのトレーニングサンプルのテキストサンプル情報を、それぞれ、初期ディープニューラルネットワークに入力して、少なくとも一つのテキストサンプル情報の中のそれぞれのテキストサンプル情報に対応するオーディオデータおよびオーディオデータの基本周波数を得るステップと、少なくとも一つのテキストサンプル情報の中のそれぞれのテキストサンプル情報に対応するオーディオデータおよびオーディオデータの基本周波数を、対応するオーディオサンプルデータおよびオーディオサンプルデータの基本周波数と比較するステップと、比較結果に基づいて、初期ディープニューラルネットワークが所定の最適化目標に達したか否かを確定するステップと、初期ディープニューラルネットワークが最適化目標に達したと確定されたことに応答して、初期ディープニューラルネットワークを音声合成モデルとして確定するステップと、を含む。
【００１０】
幾らかの実施例において、トレーニングユニットは、さらに、初期ディープニューラルネットワークが最適化目標に達していないと確定されたことに応答して、初期ディープニューラルネットワークのパラメータを調整し、そして、未使用のトレーニングサンプルを使用してトレーニングサンプルセットを構成し、調整後の初期ディープニューラルネットワークを初期ディープニューラルネットワークとして使用して、続いてトレーニングステップを実行するステップを含む。
【００１１】
第４の局面において、本願の実施例は、処理待ちテキスト情報を、取得するように配置されている処理待ちテキスト情報取得ユニットと、処理待ちテキスト情報を、上記の第１の局面のいずれか一つの実現形態に記載の方法に従って生成された音声合成モデルに入力して、処理待ちテキスト情報に対応するオーディオデータを生成するように配置されている生成ユニットと、を備える音声合成装置を提供する。
【００１２】
第５の局面において、本願の実施例は、一つまたは複数のプロセッサと、一つまたは複数のプログラムが記憶されている記憶装置と、を備え、上記の一つまたは複数のプログラムが上記の一つまたは複数のプロセッサによって実行されると、上記の一つまたは複数のプロセッサが第１の局面のいずれか一つの実現形態に記載の方法を実現する電子機器を提供する。
【００１３】
第６の局面において、本願の実施例は、コンピュータプログラムが記憶されており、上記のプログラムがプロセッサによって実行されると、第１の局面のいずれか一つの実現形態に記載の方法が実現されるコンピュータ読み取り可能な媒体を提供する。
【００１４】
本願の実施例によって提供される音声合成モデルを生成するための方法、及び装置によると、まず、トレーニングサンプルセットを、取得する。ここで、トレーニングサンプルは、テキストサンプル情報と、テキストサンプル情報に対応するオーディオサンプルデータ及びオーディオサンプルデータの基本周波数と、を含む。その後、初期ディープニューラルネットワークを、取得する。最後に、機械学習方法を利用して、トレーニングサンプルセット中のトレーニングサンプルのテキストサンプル情報を入力とし、入力されたテキストサンプル情報に対応するオーディオサンプルデータおよびオーディオサンプルデータの基本周波数を出力として、初期ディープニューラルネットワークに対してトレーニングを行い、トレーニング後の初期ディープニューラルネットワークを音声合成モデルとして確定する。このようにして、生成された音声合成モデルより、基本周波数を入力することなく、テキスト情報に基づいて対応するオーディオデータを得ることができる。
以下の図面を参照してなされる非制限的な実施形態に対する詳細的な説明により、本発明の他の特徴、目の及び利点がより明らかになる。
【図面の簡単な説明】
【００１５】
【図１】本願を適用可能な例示的なシステムアーキテクチャ図である。
【図２】本願の音声合成モデルを生成する方法による一つの実施例のフローチャートである。
【図３】本願の音声合成モデルを生成するための方法による一つの応用シナリオの模式図である。
【図４】本願の音声合成モデルを生成するための方法による他の実施例のフローチャートである。
【図５】本願の音声合成モデルを生成するための装置による一つの実施例の構成模式図である。
【図６】本願実施例の電子機器を実現するのに適するコンピュータシステムの構成模式図である。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照しながら実施例を併せて本発明をより詳しく説明する。ここで説明する具体的な実施例は、当該発明を説明するためのものに過ぎず、当該発明を限定するものではないことは理解される。なお、説明の便宜上、図面には発明に関連する部分のみを示す。
【００１７】
なお、矛盾のない限り、本願の実施例及び実施例における特徴を互いにに組み合せることができるものとする。以下、図面を参照しながら実施例を併せて本願を詳しく説明する。
【００１８】
図１は、本願実施例による音声合成モデルを生成するための方法または音声合成モデルを生成するための装置を適用可能な例示的なシステムアーキテクチャ１００を示す。
【００１９】
図１に示すように、システムアーキテクチャ１００は、端末機器１０１、１０２、１０３と、ネットワーク１０４と、サーバ１０５と、を含んでもよい。ネットワーク１０４は、端末機器１０１、１０２、１０３とサーバ１０５との間で通信リンクを提供するための媒介である。ネットワーク１０４は、例えば、有線通信リンク、無線通信リンク、光ファイバケーブルなど、様々な接続タイプを含んでもよい。
【００２０】
端末機器１０１、１０２、１０３は、ネットワーク１０４を介して、サーバ１０５とやりとりして、例えば、テキスト情報などをサーバ１０５に送信する。端末機器１０１、１０２、１０３には、例えば、録音アプリケーション、テキスト処理アプリケーション、オーディオ処理アプリケーションなど、様々なクライアントアプリケーションがインストールされていてもよい。
【００２１】
端末機器１０１、１０２、１０３は、ハードウェアであってもよく、ソフトウェアであってもよい。端末機器１０１、１０２、１０３は、ハードウェアである場合、記憶機能と送信機能を有する様々な電子機器であってもよく、電子機器は、スマートフォン、タブレット、電子ブックリーダー、ラップトップコンピュータ、デスクトップコンピュータなどを含むが、これらに限定されない。端末機器１０１、１０２、１０３は、ソフトウェアである場合、上記の例示された電子機器にインストールされてもよい。端末機器１０１、１０２、１０３は、複数のソフトウェア或いは複数のソフトウェアモジュールとして実現されても良く、一つのソフトウェア或いは一つのソフトウェアモジュールとして実現されてもよい。ここで具体的に限定しない。
【００２２】
サーバ１０５は、様々なサービスを提供するサーバ、例えば、端末機器１０１、１０２、１０３によって送信された情報を利用して音声合成モデルを生成するバックグラウンドサーバであってもよい。
【００２３】
なお、本願の実施例による音声合成モデルを生成するための方法は、サーバ１０５によって実行されても良い。この場合、音声合成モデルを生成する装置がサーバ１０５中に配置されてもよい。これに応じて、音声合成モデルを生成するための方法も、端末機器１０１、１０２、１０３によって実行されても良い。この場合、音声合成モデルを生成するための装置は、端末機器１０１、１０２、１０３中に配置され、例示的なシステムアーキテクチャ１００にはサーバ１０５およびネットワーク１０４が存在しなくても良い。
【００２４】
なお、サーバは、ハードウェアであってもよく、ソフトウェアであってもよい。サーバは、ハードウェアである場合、複数のサーバからなる分散サーバー・クラスターとして実現されてもよく、一つのサーバとして実現されてもよい。サーバは、ソフトウェアである場合、複数のソフトウェア或いは複数のソフトウェアモジュール（例えば、分散型サービスを提供する）として実現されてもよく、一つのソフトウェア或いは一つのソフトウェアモジュールとして実現されてもよい。ここで具体的に限定しない。
【００２５】
図１の中の端末機器、ネットワーク、及びサーバの数は、模式的なものに過ぎないことは理解すべきである。実現の必要に応じて、任意の数の端末機器、ネットワーク、およびサーバを有してもよい。
【００２６】
続いて、図２を参考する。図２は、本願の音声合成モデルを生成するための方法による一つの実施例のプロセス２００を示す。当該音声合成モデルを生成するための方法のプロセス２００は、以下のステップ２０１〜ステップ２０３を含む。
【００２７】
ステップ２０１において、トレーニングサンプルセットを取得する。
【００２８】
本実施例において、音声合成モデルを生成するための方法の実行主体は、様々な手段によって、トレーニングサンプルセットを取得しても良い。トレーニングサンプルセットは、端末機器に予め記憶され、上記の実行主体が、有線接続或いは無線接続によって、端末機器から、トレーニングサンプルセットを、取得してもよい。これに応じて、トレーニングサンプルセットは上記の実行主体のローカルに記憶されてもよい。この場合、上記の実行主体は、ローカルから、トレーニングサンプルセットを直接に取得してもよい。
【００２９】
本実施例において、トレーニングサンプルセット中のトレーニングサンプルは、テキストサンプル情報と、テキストサンプル情報に対応するオーディオサンプルデータと、オーディオサンプルデータの基本周波数と、を含む。ここで、テキスト情報は、テキストおよび、テキストの言語的特徴を含んでもよい。テキスト情報は、具体的に、単語、フレーズ、音素、音節、文章の特徴（例えば、アクセント、単語内の音節の数、フレーズにおける音節の位置）、音素の時間長さの、少なくとも一つを含んでもよい。テキストサンプル情報は、トレーニングサンプルとして使用されるテキスト情報であってもよい。また、オーディオサンプルデータは、トレーニングサンプルとして使用されるオーディオデータであってもよい。オーディオサンプルデータの基本周波数は、オーディオサンプルデータの最低周波数であってもよい。なお、テキストサンプル情報に対応するオーディオサンプルデータは、朗読者がテキストサンプルを朗読し、録音して得えられたものでもよい。
【００３０】
本実施例において、例として、トレーニングサンプルセットには、既存のデータセットをそのまま使用してもよく、処理された（組み合わせ、追加と削除など）既存のデータセットを使用してもよい。なお、トレーニングサンプルセットは、大量のテキスト情報、および、それに対応するオーディオデータおよびオーディオデータの基本周波数に基づいて生成されてもよい。ここでは、トレーニングサンプルセットの生成方法は限定されない。
【００３１】
ステップ２０２において、初期ディープニューラルネットワークを取得する。
【００３２】
本実施例において、上記の実行主体は、端末機器或いはローカルから、初期ディープニューラルネットワークを、取得してもよい。なお、初期ディープニューラルネットワークは、トレーニングを行われていないディープニューラルネットワーク、或いは、トレーニングが完成していないディープニューラルネットワークであってもよい。ディープニューラルネットワークは、一般的に、大量のノード（ニューロンとも呼ばれる）同士が互いに接続して構成されており、それぞれのノードは、特定の出力関数を表し、励起関数と呼ばれる。それぞれ二つのノード同士の接続は、当該接続を通過する信号に対する一つの重み付値を表し、重み付けと呼ばれる。ネットワークの出力は、ネットワークの接続方法、重み付値、および励起関数によって異なる。
【００３３】
実践する際には、初期ディープニューラルネットワークとして、音声を合成するためのオープンソースのニューラルネットワークを選択してもよい。一例として、ＷａｖｅＮｅｔ、Ｄｅｅｐ  Ｖｏｉｃｅ、Ｔａｃｏｔｒｏｎなどを選択してもよい。その中、ＷａｖｅＮｅｔは、自己回帰のディープニューラルネットワークである。そのネットワーク構造には、拡張畳み込みニューラルネットワーク（ｄｉｌａｔｅｄ  ＣＮＮ）、残差ネットワーク、ゲート構造などが組み込まれている。なお、拡張畳み込みニューラルネットワークにより、畳み込みカーネルの受容野の増加を実現でき、より長い距離のコンテキスト情報を利用することができる。残差ネットワークは、前の入力を、ショートカット接続を介して、その後の出力に接続して、深層ネットワークの勾配消失の問題を解決することができる。ゲート構造は、ＬＳＴＭ（Ｌｏｎｇ  Ｓｈｏｒｔ−Ｔｅｒｍ  Ｍｅｍｏｒｙ）モデルに利用され、入力情報に対して、効果的選択を行うことができる。したがって、ＷａｖｅＮｅｔにより、入力されたテキスト特徴と基本周波数に基づく音声データの出力を実現できる。Ｄｅｅｐ  Ｖｏｉｃｅ、Ｔａｃｏｔｒｏｎネットワークにも類似な構成が含まれている。
【００３４】
なお、これら音声を合成するためのオープンソースのニューラルネットワークに対して、実際の必要によって、その入力、出力、および、ネットワークの層数を、調整してもよい。例として、ＷａｖｅＮｅｔに対して、その入力と出力を変更し、或いは、入力されたテキスト情報に基づいて基本周波数を得るための中間層を追加してもよい。同様に、Ｄｅｅｐ  Ｖｏｉｃｅ、Ｔａｃｏｔｒｏｎなどのニューラルネットワークに対しても、必要によって調整してもよい。
【００３５】
ステップ２０３において、機械学習方法を利用して、トレーニングサンプルセット中のトレーニングサンプルのテキストサンプル情報を入力とし、入力されたテキストサンプル情報に対応するオーディオサンプルデータおよびオーディオサンプルデータの基本周波数を出力として、初期ディープニューラルネットワークに対してトレーニングを行い、トレーニング後の初期ディープニューラルネットワークを音声合成モデルとして確定する。
【００３６】
本実施例において、上記の実行主体は、トレーニングサンプルセット中のトレーニングサンプルのテキスト情報を入力とし、入力されたテキストサンプル情報に対応するオーディオサンプルデータおよびオーディオサンプルデータの基本周波数を出力として、様々な方法によって、初期ディープニューラルネットワークに対してトレーニングを行い、トレーニング後の初期ディープニューラルネットワークを音声合成モデルとして確定してもよい。ここで、トレーニング方法は、単一サンプルトレーニング方法、バッチサンプルトレーニング方法を含むが、これらに限定されない。
【００３７】
例として、上記の実行主体は、単一サンプルトレーニング方法によって、初期ディープニューラルネットワークに対してトレーニングを行い、トレーニング後の初期ディープニューラルネットワークを音声合成モデルとして確定しても良い。具体的には、以下のトレーニングステップを含む。
【００３８】
第一のステップにおいて、ステップ２０１で取得されたトレーニングサンプルセット中から、トレーニングサンプルを選択し、選択されたトレーニングサンプルに含まれたテキストサンプル情報を、上記のステップ２０２で取得された初期ディープニューラルネットワークに入力することで、入力されたテキストサンプル情報に対応するオーディオデータおよび当該オーディオデータの基本周波数を得る。
【００３９】
第二のステップにおいて、得られたオーディオデータと、対応するオーディオサンプルデータと、を比較することで、オーディオデータ損失値を得る。得られた当該オーディオデータの基本周波数と、対応するオーディオサンプルデータの基本周波数と、を比較することで、基本周波数損失値を得る。ここで、損失値は、所定の損失関数（ｌｏｓｓ  ｆｕｎｃｔｉｏｎ）に基づいて取得されても良い。実践する際には、損失関数は、一般的に、ニューラルネットワークの予測値（例えば、オーディオデータ）と実際の値（例えば、オーディオサンプルデータ）とのずれを推定するためのものであり、非負実数値関数である。一般的に、損失関数は、値が小さいほど、ニューラルネットワークのロバスト性は良好である。損失関数は、実際のニーズによって設定してもよく、ここでは限定しない。
【００４０】
第三のステップにおいて、得られたオーディオデータ損失値および基本周波数損失値を、ぞれぞれ目標オーディオデータ損失値および目標基本周波数損失値と比較する。その後、比較結果に基づいて、初期ディープニューラルネットワークに対するトレーニングが完成したか否かを確定する。例として、選択されたサンプルにおける目標基本周波数損失値に達したサンプルの割合を統計してもよい。当該割合が所定のサンプル割合（如９５％）に達すると、初期ディープニューラルネットワークに対するトレーニングが完成と確定してもよい。
【００４１】
本実施例において、実行主体は、初期ディープニューラルネットワークに対するトレーニングが既に完成したと確定されると、続いて、第四のステップを実行してもよい。実行主体は、初期ディープニューラルネットワークに対するトレーニングが未完成と確定されると、初期ディープニューラルネットワークのパラメータを調整してもよい。例として、バックプロパゲーションアルゴリズムを利用して、初期ディープニューラルネットワークの重み付けを更新してもよい。その後、トレーニングサンプルセット中からトレーニングサンプルを選択して、続いて上記のトレーニングステップを実行してもよい。
【００４２】
第四のステップにおいて、初期ディープニューラルネットワークに対するトレーニングが完成と確定されたことに応答して、初期ディープニューラルネットワークを音声合成モデルとする一方、初期ディープニューラルネットワークに対するトレーニングが未完成と確定されたことに応答して、初期ディープニューラルネットワークの関連するパラメータを調整し、そして、調整後の初期ディープニューラルネットワークを初期ディープニューラルネットワークとして、トレーニングサンプルセット中からサンプルを再選択し、続いて、上記のトレーニングステップを実行する。
【００４３】
続いて、図３を参照する。図３は、本実施例の音声合成モデルを生成する方法による応用シナリオの一つの模式図である。図３の応用シナリオにおいて、サーバ３０１は、まず、携帯電話３０２からトレーニングサンプルセット３０３を取得してもよい。ここで、トレーニングサンプルセット３０３中のトレーニングサンプルは、テキストサンプル情報３０３１と、オーディオサンプルデータ３０３２と、オーディオサンプルデータの基本周波数３０３３と、を含んでもよい。その後、初期ディープニューラルネットワーク３０４を取得する。それから、テキストサンプル情報３０３１を初期ディープニューラルネットワーク３０４に入力することで、オーディオデータ３０３２’およびオーディオデータ基本周波数３０３３’を得る。得られたオーディオデータ３０３２’とオーディオサンプルデータ３０３２とを比較することで、オーディオデータ損失値３０５を得る。得られたオーディオデータ基本周波数３０３３’と、オーディオサンプルデータの基本周波数３０３３と、を比較することで、基本周波数損失値３０６を得る。得られたオーディオデータ損失値３０５および基本周波数損失値３０６を、それぞれ目標オーディオデータ損失値３０５’および目標基本周波数損失値３０６’と比較する。その後、比較結果に基づいて、初期ディープニューラルネットワークに対するトレーニングが完成したか否かを確定する。初期ディープニューラルネットワーク３０４に対するトレーニングが完成と確定されたことに応答して、初期ディープニューラルネットワーク３０４を音声合成モデル３０４’とする一方、初期ディープニューラルネットワーク３０４に対するトレーニングが未完成と確定されたことに応答して、初期ディープニューラルネットワーク３０４の関連するパラメータを調整し、そして、調整後の初期ディープニューラルネットワークを初期ディープニューラルネットワークとして、トレーニングサンプルセット中からサンプルを再選択し、続いて、上記のトレーニングステップを実行する。
【００４４】
本願の上記の実施例によって提供される方法によると、まず、トレーニングサンプルセットを取得する。ここで、トレーニングサンプルは、テキストサンプル情報と、テキストサンプル情報に対応するオーディオサンプルデータと、オーディオサンプルデータの基本周波数とを含む。その後、初期ディープニューラルネットワークを取得する。最後に、機械学習方法を利用して、トレーニングサンプルセット中のトレーニングサンプルのテキストサンプル情報を入力とし、入力されたテキストサンプル情報に対応するオーディオサンプルデータおよびオーディオサンプルデータの基本周波数を出力として、初期ディープニューラルネットワークに対してトレーニングを行うことによって、トレーニング後の初期ディープニューラルネットワークを音声合成モデルとして確定する。このように生成された音声合成モデルにより、テキスト情報に基づいて対応するオーディオデータを得ることができ、基本周波数を入力する必要がなくなる。
【００４５】
さらに、図４を参照する。図４は、音声合成モデルを生成する方法の他の実施例のプロセス４００を示す。当該音声合成モデルを生成する方法のプロセス４００は、以下のステップ４０１〜ステップ４０３を含む。
【００４６】
ステップ４０１において、トレーニングサンプルセットを取得する。
【００４７】
本実施例において、トレーニングサンプルは、テキストサンプル情報と、テキストサンプル情報に対応するオーディオサンプルデータと、オーディオサンプルデータの基本周波数とを含む。
【００４８】
ステップ４０２において、初期ディープニューラルネットワークを取得する。
【００４９】
上記のステップ４０１と４０２の具体的な処理およびその技術效果にいては、図２に対応する実施例のステップ２０１と２０２を参照することができ、ここでは繰り返し説明しない。
【００５０】
ステップ４０３において、トレーニングサンプルセットに基づいて、以下のトレーニングステップを実行する。
【００５１】
まず、トレーニングサンプルセットの中の少なくとも一つのトレーニングサンプルのテキストサンプル情報を、それぞれ、初期ディープニューラルネットワークに入力することによって、少なくとも一つのテキストサンプル情報の中のそれぞれのテキストサンプル情報に対応するオーディオデータおよびオーディオデータの基本周波数を得る。その後、少なくとも一つのテキストサンプル情報の中のそれぞれのテキストサンプル情報に対応するオーディオデータおよびオーディオデータの基本周波数を、対応するオーディオサンプルデータおよびオーディオサンプルデータの基本周波数と比較してもよい。比較結果に基づいて、初期ディープニューラルネットワークが所定の最適化目標に達したか否かを確定する。例として、最適化目標は、初期ディープニューラルネットワーク収束であってもよい。例として、最適化目標は、初期ディープニューラルネットワークの出力精度が所定の精度閾値よりも大きいことであってもよい。その中、出力のオーディオデータおよびオーディオデータの基本周波数と、対応するオーディオサンプルデータおよびオーディオサンプルデータの基本周波数と、の間の差分が、所定の差分閾値よりも小さくなると、出力したオーディオデータおよびオーディオデータの基本周波数が正確であると認められても良い。最後に、初期ディープニューラルネットワークが上記の最適化目標に達したと確定されたことに応答して、初期ディープニューラルネットワークを音声合成モデルとして確定する。
【００５２】
本実施例の幾らかのオプションとする実現形態において、トレーニングを行って音声合成モデルを得るステップ（上記のステップ４０３）は、初期ディープニューラルネットワークが最適化目標に達していないと確定されたことに応答して、初期ディープニューラルネットワークのパラメータを調整し、そして、未使用のトレーニングサンプルを使用してトレーニングサンプルセットを構成し、調整後の初期ディープニューラルネットワークを初期ディープニューラルネットワークとして使用して、続いてトレーニングステップを実行するステップをさらに含んでもよい。
【００５３】
図４から分かるように、本実施例においては、図２に対応する実施例と比較すると、毎回少なくとも一つのトレーニングサンプルを選択して、初期ディープニューラルネットワークに対してトレーニングを行う。即ち、バッチサンプルトレーニング方法を利用して、初期ディープニューラルネットワークに対してトレーニングを行う。このようにして、トレーニングのスピードを上げることができる。
【００５４】
さらに、図５を参考する。本願は、上記の各図面に示す方法の実現例として、音声合成モデルを生成する装置の一実施例を提供する。当該装置の実施例は図２に示す方法の実施例に対応するものである。当該装置は、具体的に様々な電子機器に適用することができる。
【００５５】
図５に示したように、本実施例の音声合成モデルを生成する装置５００は、トレーニングサンプルセット取得ユニット５０１と、ネットワーク取得ユニット５０２と、トレーニングユニット５０３と、を備える。なお、トレーニングサンプルセット取得ユニット５０１は、テキストサンプル情報とテキストサンプル情報に対応するオーディオサンプルデータとオーディオサンプルデータの基本周波数とを含むトレーニングサンプルの、トレーニングサンプルセットを、取得するように配置されている。ネットワーク取得ユニット５０２は、初期ディープニューラルネットワークを取得するように配置されている。トレーニングユニット５０３は、機械学習方法を利用して、トレーニングサンプルセット中のトレーニングサンプルのテキストサンプル情報を入力とし、入力されたテキストサンプル情報に対応するオーディオサンプルデータおよびオーディオサンプルデータの基本周波数を出力として、初期ディープニューラルネットワークに対してトレーニングを行い、トレーニング後の初期ディープニューラルネットワークを音声合成モデルとして確定するように配置されている。
【００５６】
本実施例において、音声合成モデルを生成する装置５００のトレーニングサンプルセット取得ユニット５０１とネットワーク取得ユニット５０２とトレーニングユニット５０３との具体的な処理及びこれらの技術效果については、図２に対応する実施例のステップ２０１〜２０３を参考することができ、ここでは繰り返し説明しない。
【００５７】
本実施例の幾らかのオプションとする実現形態において、トレーニングユニット５０３は、さらに、トレーニングサンプルセットに基づいて、以下のトレーニングステップを実行するように配置されても良い。前記トレーニングステップは、トレーニングサンプルセットの中の少なくとも一つのトレーニングサンプルのテキストサンプル情報を、それぞれ、初期ディープニューラルネットワークに入力して、少なくとも一つのテキストサンプル情報の中のそれぞれのテキストサンプル情報に対応するオーディオデータおよびオーディオデータの基本周波数を得るステップと、少なくとも一つのテキストサンプル情報の中のそれぞれのテキストサンプル情報に対応するオーディオデータおよびオーディオデータの基本周波数を、対応するオーディオサンプルデータおよびオーディオサンプルデータの基本周波数と比較するステップと、比較結果に基づいて、初期ディープニューラルネットワークが所定の最適化目標に達したか否かを確定するステップと、初期ディープニューラルネットワークが最適化目標に達したと確定したことに応答して、初期ディープニューラルネットワークを、音声合成モデルとして確定するステップと、を含む。
【００５８】
本実施例の幾らかのオプションとする実現形態において、トレーニングユニット５０３は、さらに、初期ディープニューラルネットワークが最適化目標に達していないと確定したことに応答して、初期ディープニューラルネットワークのパラメータを調整し、そして、未使用のトレーニングサンプルを使用してトレーニングサンプルセットを構成して、調整後の初期ディープニューラルネットワークを初期ディープニューラルネットワークとして使用して、続いてトレーニングステップを実行するように配置されてもよい。
【００５９】
本実施例において、トレーニングユニット５０３は、機械学習方法を利用して、トレーニングサンプルセット取得ユニット５０１によって取得されたトレーニングサンプルセット中のトレーニングサンプルのテキストサンプル情報を入力とし、入力されたテキストサンプル情報に対応するオーディオサンプルデータおよびオーディオサンプルデータの基本周波数を出力として、ネットワーク取得ユニット５０２によって取得された初期ディープニューラルネットワークに対してトレーニングを行い、トレーニング後の初期ディープニューラルネットワークを音声合成モデルとして確定する。このようにして、生成された音声合成モデルにより、基本周波数を入力することなく、テキスト情報に基づいて、対応するオーディオデータを得ることができる。
【００６０】
以下、図６を参考する。図６は、本願実施例の電子機器の実現に適するコンピュータシステム６００の構成の模式図を示す。
【００６１】
図６に示すように、コンピュータシステム６００は、読み出し専用メモリ（ＲＯＭ）６０２に記憶されたプログラムまたは記憶部６０８からランダムアクセスメモリ（ＲＡＭ）６０３のロードされたプログラムに基づいて、様々な適当な動作と処理を実行することができる中央処理装置（ＣＰＵ）６０１を備える。ＲＡＭ６０３には、システム６００の操作に必要な様々なプログラムとデータがさらに記憶されている。ＣＰＵ６０１、ＲＯＭ６０２、及びＲＡＭ６０３は、バス６０４を介して相互に接続されている。入出力（Ｉ／Ｏ）インターフェース６０５も、バス６０４に接続されている。
【００６２】
Ｉ／Ｏインターフェース６０５には、キーボードやマウスなどを含む入力部６０６と、例えば陰極線管（ＣＲＴ）や液晶ディスプレイ（ＬＣＤ）およびスピーカーなどを含む出力部６０７と、ハードディスクなどを含む記憶部６０８と、例えばＬＡＮカードやモデムなどのネットワークインターフェースカードを含む通信部６０９とが接続されている。通信部６０９は、例えばインターネットのようなネットワークを介して、通信処理を実行する。ドライバ６１０も、必要に応じて、Ｉ／Ｏインターフェース６０５に接続されている。例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのような、取り外し可能な媒介６１１は、必要に従ってドライバ６１０に装着されることにより、当該ドライバ６１０から読みだされたコンピュータプログラムが必要に応じて記憶部６０８にインストールされるようになる。
【００６３】
特に、本発明の実施例によると、フローチャートを参照して上述されたプロセスは、コンピュータソフトウェアプログラムとして実現されてもよい。例えば、本発明の実施例は、コンピュータ読み取り可能な媒体にロードされ、フローチャートに示す方法を実行させるためのプログラムコードを含むコンピュータプログラムを有するコンピュータプログラム製品を含む。このような実施例において、当該コンピュータプログラムは、通信部６０９を介してネットワークから、ダウンロードしてインストールされ、及び／又は、取り外し可能な媒介６１１からインストールされてもよい。当該コンピュータプログラムが中央処理装置（ＣＰＵ）６０１によって実行されると、本願の方法に限定される上記の機能が実行される。
【００６４】
なお、本願に記載されたコンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒介、コンピュータ読み取り可能な記憶媒介、或いは、上記の両者の任意の組み合わせであってもよい。コンピュータ読み取り可能な記憶媒介は、例えば、電子、磁気、光学、電磁気、赤外線、半導体の、システム、装置、デバイス、或いはこれらの任意の組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒介の更なる具体的な例は、一つまたは複数のリード線を有する電気的接続、携帯型コンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、携帯型コンパクト磁気ディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または、上記の任意の適当な組み合わせを含んでもよいが、これらに限定されない。本願において、コンピュータ読み取り可能な記憶媒介は、プログラムを含むいかなる有形の媒介、または、プログラムを記憶するいかなる有形の媒介であってもよい。当該プログラムは、命令実行システム、装置、または、デバイスによって使用されてもよく、または、命令実行システム、装置、または、デバイスと結合して使用されてもよい。本願において、コンピュータ読み取り可能な信号媒介は、ベースバンドにおいて伝送され、或いは、キャリアの一部として伝送され、コンピュータ読み取り可能なプログラムコードが搭載されているデータ信号を含んでも良い。このように伝搬するデータ信号には、様々な形態を利用してもよく、電磁気信号、光信号、または、上記の任意の適当な組み合わせを含むが、これらに限定されない。コンピュータ読み取り可能な信号媒介は、コンピュータ読み取り可能な記憶媒介以外のいかなるコンピュータ読み取り可能な媒体であってもよい。当該コンピュータ読み取り可能な媒体は、命令実行システム、装置、または、デバイスに使用されるプログラム、または、命令実行システム、装置、または、デバイスと組み合わせて使用されるプログラムを、送信し、伝播し、または、伝送することができる。コンピュータ読み取り可能な媒体に含まれたプログラムコードは、無線、電線、光ケーブル、ＲＦ、または、上記の任意の適当な組み合わせを含む任意の適当な媒介で伝送されてもよいが、これらに限定されない。
【００６５】
一つまたは複数種のプログラム言語、または、それらの組み合わせで、本願の操作を実行するためのコンピュータプログラムコードをコーディングしてもよい。前記プログラム言語は、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラム言語を含み、「Ｃ」言語または類似なプログラム言語のような通常の手続き型プログラム言語をさらに含む。プログラムコードは、全体がユーザコンピュータ上で実行されてもよく、一部がユーザコンピュータ上で実行されてもよく、一つの独立的なソフトウェアパッケージとして実行されてもよく、一部がユーザコンピュータ上で、もう一部がリモートコンピュータ上で実行されてもよく、全体がリモートコンピュータされてもよく、または、サーバ上で実行されてもよい。リモートコンピュータに関する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介して、ユーザコンピュータに接続されてもよく、或いは、外部コンピュータに接続されてもよい（例えば、インターネットサービスプロバイダを使用してインターネットを介して接続される）。
【００６６】
図面のうち、フローチャートおよびブロック図は、本願の様々な実施例によるシステム、方法、及びコンピュータプログラム製品により実現可能なシステムアーキテクチャ、機能、及び操作を示す。これに関して、フローチャートまたはブロック図における各ブロックは、一つのモジュール、プログラムセグメント、または、コードの一部を表してもよい。当該モジュール、プログラムセグメント、または、コードの一部は、一つまたは複数の所定のロジック機能を実現するための実行可能な命令を含む。ちなみに、幾つかの置き換えとする実現において、ブロックに示される機能は、図面に示される順序と異なって行われてもよい。例えば、連続して示された二つのブロックは、実際には基本的に並行して実行されてもよいし、場合によって逆の順序で実行されてもよく、これは関連する機能に応じて決まれる。ちなみに、ブロック図及び／又はフローチャート内の各ブロック、および、ブロック図及び／又はフローチャート内のブロックの組み合わせは、所定の機能または操作を実行させる専用のハードウェアによるシステムで実現されてもよいし、或いは、専用のハードウェアとコンピュータ命令との組み合わせで実現されてもよい。
【００６７】
本願の実施例に記載された関連するユニットは、ソフトウェアの手段によって実現されてもよく、ハードウェアの手段によって実現されてもよい。記載されたユニットは、プロセッサに設置されてもよい。例えば、「トレーニングサンプルセット取得ユニットとネットワーク取得ユニットとトレーニングユニットとを含むプロセッサ」と記載してもよい。ここで、これらユニットの名称は、ある場合には当該ユニット自身を限定するものではない。例えば、トレーニングサンプルセット取得ユニットは、「トレーニングサンプルセットを取得するユニット」として記載されてもよい。
【００６８】
他の局面として、本願は、コンピュータ読み取り可能な媒体をさらに提供する。当該コンピュータ読み取り可能な媒体は、上記の実施例に記載された装置に含まれたものであってもよく、当該装置に実装されておらず、単独に存在するものであってもよい。上記のコンピュータ読み取り可能な媒体には、一つまたは複数のプログラムが搭載されており、上記の一つまたは複数のプログラムが当該装置によって実行されると、当該装置が、テキストサンプル情報とテキストサンプル情報に対応するオーディオサンプルデータとオーディオサンプルデータの基本周波数とを含むトレーニングサンプルの、トレーニングサンプルセットを取得し、初期ディープニューラルネットワークを取得し、機械学習方法を利用して、トレーニングサンプルセット中のトレーニングサンプルのテキストサンプル情報を入力とし、入力されたテキストサンプル情報に対応するオーディオサンプルデータおよびオーディオサンプルデータの基本周波数を出力として、初期ディープニューラルネットワークに対してトレーニングを行い、トレーニング後の初期ディープニューラルネットワークを音声合成モデルとして確定するように実行する。
【００６９】
上記の記載は、本願の好ましい実施例および適用される技術原理の説明に過ぎない。当業者は、本願に関する発明範囲が、上記の技術特徴の特定の組み合わせからなる技術案に限定されず、上記の発明の趣旨を逸脱しない範囲で上記の技術特徴またはその同等な特徴による任意の組み合わせからなる他の技術案も含まれることを理解すべきである。例えば、上記の特徴と本願に開示された類似な機能（当該機能に限定されない）を有する技術特徴とを互いに置き換えてなる技術案も含まれる。
【図１】
2019200408.tif 000003
【図２】
2019200408.tif 000004
【図３】
2019200408.tif 000005
【図４】
2019200408.tif 000006
【図５】
2019200408.tif 000007
【図６】
2019200408.tif 000008
【外国語明細書】
2019200408000001.pdf