(57)【要約】【課題】変換音声の音質を向上させることができるようにする。【解決手段】ＤＦＷベクトル抽出部３４が、前記変換対象の音声信号の時系列データと前記目標の音声信号の時系列データとの時刻アライメント結果を入力とし、各フレームに対し、ＤＦＷ（dynamic frequency warping）ベクトルを抽出する。ＤＦＷベクトル推定モデル学習部３８が、各フレームに対し、前記変換対象の音声信号のスペクトル特徴量を表すベクトルと、前記ＤＦＷベクトルとを結合した結合ベクトルを生成する。各フレームの結合ベクトルに基づいて、予め定められた尤度関数を最大化する、前記結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータを学習する。【選択図】図２
2019132948.tif 000002
【特許請求の範囲】
【請求項１】
変換対象の音声信号を目標の音声信号に変換するための音声変換モデルを学習する音声変換モデル学習装置であって、
前記変換対象の音声信号の時系列データと前記目標の音声信号の時系列データとの時刻アライメント結果を入力とし、各フレームに対し、ＤＦＷ（dynamic frequency warping）ベクトルを抽出するＤＦＷベクトル抽出部と、
各フレームに対し、前記変換対象の音声信号のスペクトル特徴量を表すベクトルと、前記ＤＦＷベクトルとを結合した結合ベクトルを生成する結合ベクトル生成部と、
各フレームの結合ベクトルに基づいて、予め定められた尤度関数を最大化する、前記結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータを、前記音声変換モデルとして学習するモデル学習部と、
を含む音声変換モデル学習装置。
【請求項２】
前記ＤＦＷベクトル抽出部は、対応するフレームのスペクトル包絡の成分間の距離と、対応するフレームの周波数差分特徴量間の距離とに基づいて、前記ＤＦＷベクトルを抽出する請求項１記載の音声変換モデル学習装置。
【請求項３】
各フレームに対し、前記変換対象の音声信号のスペクトル特徴量を表すベクトルと、音声変換モデルとに基づいて、ＤＦＷ（dynamic frequency warping）ベクトルを推定して、前記目標の音声信号のスペクトル包絡を推定し、差分スペクトルを算出する差分スペクトル抽出部と、
各フレームに対し、前記変換対象の音声信号のスペクトル特徴量を表すベクトルと、前記差分スペクトルとを結合した差分スペクトル結合ベクトルを生成する差分スペクトル結合ベクトル生成部と、
各フレームの差分スペクトル結合ベクトルに基づいて、予め定められた尤度関数を最大化する、前記差分スペクトル結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータを、差分スペクトル推定モデルとして学習する差分スペクトル推定モデル学習部と、
を更に含む請求項１又は２記載の音声変換モデル学習装置。
【請求項４】
変換対象の音声信号を目標の音声信号に変換する音声変換装置であって、
各フレームに対し、前記変換対象の音声信号のスペクトル特徴量を表すベクトルと、音声変換モデルとに基づいて、ＤＦＷ（dynamic frequency warping）ベクトルを推定するＤＦＷベクトル推定部と、
各フレームに対し、前記変換対象の音声信号と、前記ＤＦＷベクトルとに基づいて、目標の音声信号のスペクトル特徴量を表すベクトルを推定するスペクトル特徴量推定部と、
前記スペクトル特徴量推定部によって各フレームに対して推定された目標の音声信号のスペクトル特徴量を表すベクトルに基づいて、前記目標の音声信号の時系列データを生成する音声信号生成部と、
を含み、
前記音声変換モデルは、前記変換対象の音声信号の時系列データと前記目標の音声信号の時系列データとの時刻アライメント結果から、各フレームに対し抽出された、ＤＦＷベクトルと、前記変換対象の音声信号のスペクトル特徴量を表すベクトルとを結合した各フレームの結合ベクトルに基づいて、予め定められた尤度関数を最大化するように予め学習された、前記結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータである音声変換装置。
【請求項５】
変換対象の音声信号を目標の音声信号に変換するための音声変換モデルを学習する音声変換モデル学習装置における音声変換モデル学習方法であって、
ＤＦＷベクトル抽出部が、前記変換対象の音声信号の時系列データと前記目標の音声信号の時系列データとの時刻アライメント結果を入力とし、各フレームに対し、ＤＦＷ（dynamic frequency warping）ベクトルを抽出し、
結合ベクトル生成部が、各フレームに対し、前記変換対象の音声信号のスペクトル特徴量を表すベクトルと、前記ＤＦＷベクトルとを結合した結合ベクトルを生成し、
モデル学習部が、各フレームの結合ベクトルに基づいて、予め定められた尤度関数を最大化する、前記結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータを、前記音声変換モデルとして学習する
音声変換モデル学習方法。
【請求項６】
前記ＤＦＷベクトル抽出部が抽出することでは、対応するフレームのスペクトル包絡の成分間の距離と、対応するフレームの周波数差分特徴量間の距離とに基づいて、前記ＤＦＷベクトルを抽出する請求項５記載の音声変換モデル学習方法。
【請求項７】
変換対象の音声信号を目標の音声信号に変換する音声変換装置における音声変換方法であって、
ＤＦＷベクトル推定部が、各フレームに対し、前記変換対象の音声信号のスペクトル特徴量を表すベクトルと、音声変換モデルとに基づいて、ＤＦＷ（dynamic frequency warping）ベクトルを推定し、
スペクトル特徴量推定部が、各フレームに対し、前記変換対象の音声信号と、前記ＤＦＷベクトルとに基づいて、目標の音声信号のスペクトル特徴量を表すベクトルを推定し、
音声信号生成部が、前記スペクトル特徴量推定部によって各フレームに対して推定された目標の音声信号のスペクトル特徴量を表すベクトルに基づいて、前記目標の音声信号の時系列データを生成すること
を含み、
前記音声変換モデルは、前記変換対象の音声信号の時系列データと前記目標の音声信号の時系列データとの時刻アライメント結果から、各フレームに対し抽出された、ＤＦＷベクトルと、前記変換対象の音声信号のスペクトル特徴量を表すベクトルとを結合した各フレームの結合ベクトルに基づいて、予め定められた尤度関数を最大化するように予め学習された、前記結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータである音声変換方法。
【請求項８】
請求項１〜請求項３のいずれか１項に記載の音声変換モデル学習装置又は請求項４に記載の音声変換装置の各部としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声変換モデル学習装置、音声変換装置、方法、及びプログラムに係り、変換対象の音声信号を目標の音声信号に変換するための音声変換モデル学習装置、音声変換装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
音声の訛りとは、国や地域や社会的な集団の違いにより生じる発音の違いのことである。聞き間違いが生じることにより、しばしば訛りは音声によるコミュニケーションを阻害する要因となる。したがって、音声の訛りを自動的に取り除くことにより、コミュニケーションを円滑なものにすることができる。
【０００３】
非ネイティブ音声の発音をネイティブ音声の発音に近づけることにより、訛りを取り除く手法として、dynamic frequency warping (DFW)に基づく音声スペクトルの変換を行う手法がある（非特許文献１）。
【０００４】
この手法の概要を図１８〜図２１に示す。
【０００５】
1.（時刻アライメント部）
非ネイティブ音声DB、ネイティブ音声DBに対し時刻アラインメントを行い、パラレル音声DBを得る（図１８（Ａ））。パラレル音声DBの各フレームについて非ネイティブ音声のスペクトル特徴量とネイティブ音声のスペクトル特徴量の結合ベクトルを構成し、結合ベクトルDBを構成する（図１８（Ｂ））。
【０００６】
2.（モデル学習部）結合ベクトルDBに対する尤度を最大化するGMMを学習（スペクトル変換GMM学習）することで、スペクトル変換GMMを得る。
【０００７】
3. スペクトル変換GMMの各クラスの平均パラメータを非ネイティブ音声スペクトル特徴量平均パラメータとネイティブ音声スペクトル特徴量平均パラメータに分割する。非ネイティブ音声スペクトル特徴量平均パラメータとネイティブ音声スペクトル特徴量平均パラメータを、それぞれ非ネイティブ音声スペクトル包絡とネイティブ音声スペクトル包絡へ変換する。非ネイティブ音声スペクトル包絡をネイティブ音声スペクトル包絡へ変換するDFWパラメータを抽出する。スペクトル変換GMMのパラメータと各クラスのDFWパラメータを合わせてDFWベクトル推定モデルを構成する（図１９）。
【０００８】
4. 図２０に示すように、入力された非ネイティブ音声に音声パラメータ抽出を行い、スペクトルとF0を得る。スペクトルとDFWベクトル推定モデルからネイティブスペクトル推定を行い、推定ネイティブスペクトルを得る（図２１）。推定ネイティブスペクトルとF0から音声波形生成を行い、合成音声波形を得る。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Daniel Erro, Asunci_on Moreno、 and Antonio Bonafonte, "Voice conversion based on weighted frequency warping," IEEE Transactions on Audio, Speech, and Language Processing, vol. 18, no. 5, pp. 922-931, 2010.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
スペクトル変換GMMの各クラスの平均ベクトルは、各クラスに対応するフレームの非ネイティブ音声のスペクトル特徴量、ネイティブ音声のスペクトル特徴量を統計処理（平均）することにより得られる。一般に、統計処理された特徴量は平滑化し、詳細な情報を失う傾向にある。従って、得られるスペクトル変換GMMの各状態の平均ベクトルは、平滑化し、詳細な情報を失う傾向にある。従来技術は、平滑化した平均ベクトルに対しDFWパラメータ抽出を行なうため、得られるDFWパラメータもまた平滑化し、詳細な情報が失われる。平滑化したDFWパラメータでは、スペクトルを周波数方向に大きく変換できない。つまり、平滑化したDFWパラメータによるスペクトル変換は、非ネイティブ音声スペクトルをネイティブ音声スペクトルに十分に近づけることができない。したがって、従来手法では、非ネイティブ音声の訛りを十分に取り除くことができない。
【００１１】
本発明は、上記課題を解決するためになされたものであり、変換音声の音質を向上させることができる音声変換モデル学習装置、音声変換装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記の目的を達成するために本発明に係る音声変換モデル学習装置は、変換対象の音声信号を目標の音声信号に変換するための音声変換モデルを学習する音声変換モデル学習装置であって、前記変換対象の音声信号の時系列データと前記目標の音声信号の時系列データとの時刻アライメント結果を入力とし、各フレームに対し、ＤＦＷ（dynamic frequency warping）ベクトルを抽出するＤＦＷベクトル抽出部と、各フレームに対し、前記変換対象の音声信号のスペクトル特徴量を表すベクトルと、前記ＤＦＷベクトルとを結合した結合ベクトルを生成する結合ベクトル生成部と、各フレームの結合ベクトルに基づいて、予め定められた尤度関数を最大化する、前記結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータを、前記音声変換モデルとして学習するモデル学習部と、を含んで構成されている。
【００１３】
本発明に係る音声変換モデル学習方法は、変換対象の音声信号を目標の音声信号に変換するための音声変換モデルを学習する音声変換モデル学習装置における音声変換モデル学習方法であって、ＤＦＷベクトル抽出部が、前記変換対象の音声信号の時系列データと前記目標の音声信号の時系列データとの時刻アライメント結果を入力とし、各フレームに対し、ＤＦＷ（dynamic frequency warping）ベクトルを抽出し、結合ベクトル生成部が、各フレームに対し、前記変換対象の音声信号のスペクトル特徴量を表すベクトルと、前記ＤＦＷベクトルとを結合した結合ベクトルを生成し、モデル学習部が、各フレームの結合ベクトルに基づいて、予め定められた尤度関数を最大化する、前記結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータを、前記音声変換モデルとして学習する。
【００１４】
本発明に係る音声変換装置は、変換対象の音声信号を目標の音声信号に変換する音声変換装置であって、各フレームに対し、前記変換対象の音声信号のスペクトル特徴量を表すベクトルと、音声変換モデルとに基づいて、ＤＦＷ（dynamic frequency warping）ベクトルを推定するＤＦＷベクトル推定部と、各フレームに対し、前記変換対象の音声信号と、前記ＤＦＷベクトルとに基づいて、目標の音声信号のスペクトル特徴量を表すベクトルを推定するスペクトル特徴量推定部と、前記スペクトル特徴量推定部によって各フレームに対して推定された目標の音声信号のスペクトル特徴量を表すベクトルに基づいて、前記目標の音声信号の時系列データを生成する音声信号生成部と、を含み、前記音声変換モデルは、前記変換対象の音声信号の時系列データと前記目標の音声信号の時系列データとの時刻アライメント結果から、各フレームに対し抽出された、ＤＦＷベクトルと、前記変換対象の音声信号のスペクトル特徴量を表すベクトルとを結合した各フレームの結合ベクトルに基づいて、予め定められた尤度関数を最大化するように予め学習された、前記結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータである。
【００１５】
本発明に係る音声変換方法は、変換対象の音声信号を目標の音声信号に変換する音声変換装置における音声変換方法であって、ＤＦＷベクトル推定部が、各フレームに対し、前記変換対象の音声信号のスペクトル特徴量を表すベクトルと、音声変換モデルとに基づいて、ＤＦＷ（dynamic frequency warping）ベクトルを推定し、スペクトル特徴量推定部が、各フレームに対し、前記変換対象の音声信号と、前記ＤＦＷベクトルとに基づいて、目標の音声信号のスペクトル特徴量を表すベクトルを推定し、音声信号生成部が、前記スペクトル特徴量推定部によって各フレームに対して推定された目標の音声信号のスペクトル特徴量を表すベクトルに基づいて、前記目標の音声信号の時系列データを生成することを含み、前記音声変換モデルは、前記変換対象の音声信号の時系列データと前記目標の音声信号の時系列データとの時刻アライメント結果から、各フレームに対し抽出された、ＤＦＷベクトルと、前記変換対象の音声信号のスペクトル特徴量を表すベクトルとを結合した各フレームの結合ベクトルに基づいて、予め定められた尤度関数を最大化するように予め学習された、前記結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータである。
【００１６】
本発明に係るプログラムは、上記の音声変換モデル学習装置または音声変換装置の各部としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【００１７】
以上説明したように、本発明の音声変換モデル学習装置、方法、及びプログラムによれば、前記変換対象の音声信号の時系列データと前記目標の音声信号の時系列データとの時刻アライメント結果から、各フレームに対し抽出された、ＤＦＷベクトルと、前記変換対象の音声信号のスペクトル特徴量を表すベクトルとを結合した各フレームの結合ベクトルに基づいて、予め定められた尤度関数を最大化するように、前記結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータを学習することにより、変換音声の音質を向上させることができる、という効果が得られる。
【００１８】
また、本発明の音声変換装置、方法、及びプログラムによれば、前記変換対象の音声信号の時系列データと前記目標の音声信号の時系列データとの時刻アライメント結果から、各フレームに対し抽出された、ＤＦＷベクトルと、前記変換対象の音声信号のスペクトル特徴量を表すベクトルとを結合した各フレームの結合ベクトルに基づいて、予め定められた尤度関数を最大化するように学習された、前記結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータを用いて、目標の音声信号の時系列データを生成することにより、変換音声の音質を向上させることができる、という効果が得られる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施の形態に係る音声変換モデル学習装置の構成を示す概略図である。
【図２】本発明の第１の実施の形態に係る音声変換モデル学習装置のモデル学習部の構成を示すブロック図である。
【図３】本発明の第１の実施の形態に係る音声変換モデル学習装置のＤＦＷベクトル抽出部の構成を示すブロック図である。
【図４】本発明の第１の実施の形態に係る音声変換モデル学習装置のＤＦＷ推定モデル学習部の構成を示すブロック図である。
【図５】本発明の第１の実施の形態に係る音声変換装置の構成を示す概略図である。
【図６】本発明の第１の実施の形態に係る音声変換装置のネイティブスペクトル推定部の構成を示すブロック図である。
【図７】本発明の第１の実施の形態に係る音声変換モデル学習装置における学習処理ルーチンの内容を示すフローチャートである。
【図８】本発明の第１の実施の形態に係る音声変換装置における音声変換処理ルーチンの内容を示すフローチャートである。
【図９】本発明の第２の実施の形態に係る音声変換モデル学習装置のモデル学習部の構成を示すブロック図である。
【図１０】本発明の第２の実施の形態に係る音声変換モデル学習装置の動的特徴ＤＦＷベクトル抽出部の構成を示すブロック図である。
【図１１】本発明の第３の実施の形態に係る音声変換モデル学習装置のモデル学習部の構成を示すブロック図である。
【図１２】本発明の第３の実施の形態に係る音声変換モデル学習装置の差分スペクトル抽出部の構成を示すブロック図である。
【図１３】本発明の第３の実施の形態に係る音声変換モデル学習装置の差分スペクトル推定モデル学習部の構成を示すブロック図である。
【図１４】本発明の第３の実施の形態に係る音声変換装置の構成を示す概略図である。
【図１５】本発明の第３の実施の形態に係る音声変換装置のネイティブスペクトル推定部の構成を示すブロック図である。
【図１６】本発明の第３の実施の形態に係る音声変換モデル学習装置における学習処理ルーチンの内容を示すフローチャートである。
【図１７】本発明の第３の実施の形態に係る音声変換装置における音声変換処理ルーチンの内容を示すフローチャートである。
【図１８】従来手法における時刻アライメント部の構成及び結合ベクトル生成部の構成を示す図である。
【図１９】従来手法におけるモデル学習部の構成を示す図である。
【図２０】従来手法における音声変換部の構成を示す図である。
【図２１】従来手法におけるネイティブスペクトル推定部の構成を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。本発明で提案する技術は、音声特徴量を変換し、変換した特徴量から音声信号を合成することを目的とした音声変換技術である。
【００２１】
＜本発明の実施の形態の概要＞
パラレル音声DBの各フレームのスペクトル対から、DFWベクトルを抽出し、DFWベクトル推定モデルの学習に使用する。各フレームのスペクトル対は、統計処理により平滑化していないので、本技術により得られるDFWベクトルは平滑化しない。平滑化しないDFWベクトルからDFWベクトル推定モデルを学習することができるので、DFWベクトル推定モデルのパラメータもまた平滑化しない。平滑化しないパラメータを持つDFWベクトル推定モデルにより、非ネイティブ音声スペクトルをネイティブ音声スペクトルに十分に近づけることができる。したがって、提案技術により、非ネイティブ音声の訛りをより効果的に取り除くことができる。
【００２２】
[第１の実施の形態]
＜システム構成＞
＜音声変換モデル学習装置の構成＞
次に、変換対象の音声信号を目標の音声信号に変換するための音声変換モデルを学習する音声変換モデル学習装置、及び学習された音声変換モデルを用いて変換対象の音声信号を目標の音声信号に変換する音声変換装置に、本発明を適用した場合を例にして、本発明の実施の形態を説明する。
【００２３】
図１に示すように、本発明の実施の形態に係る音声変換モデル学習装置は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
【００２４】
図１に示すように、音声変換モデル学習装置１００は、入力部１０と、演算部２０と、出力部５０とを備えている。
【００２５】
入力部１０は、学習サンプルの変換対象の音声信号（例えば非ネイティブ話者による発話音声）の時系列データと目標の音声信号（例えばネイティブ話者による発話音声）の時系列データとのペアを受け付ける。
【００２６】
演算部２０は、特徴量抽出部２２、非ネイティブ音声データベース２４と、ネイティブ音声データベース２６と、時刻アライメント部２８と、モデル学習部３０とを備えている。
【００２７】
特徴量抽出部２２は、学習サンプルの変換対象の音声信号の時系列データに対して信号処理を行って、スペクトル包絡、スペクトル特徴量（メルケプストラムなど）、F0（音高）を抽出する。
【００２８】
特徴量抽出部２２は、学習サンプルの目標の音声信号の時系列データに対して信号処理を行って、スペクトル包絡、スペクトル特徴量（メルケプストラムなど）、F0（音高）を抽出する。
【００２９】
非ネイティブ音声データベース２４は、学習サンプルの変換対象の音声信号の時系列データと、特徴量抽出部２２によって抽出されたスペクトル包絡、スペクトル特徴量（メルケプストラムなど）、F0（音高）とを記憶する。
【００３０】
ネイティブ音声データベース２６は、学習サンプルの目標の音声信号の時系列データと、特徴量抽出部２２によって抽出されたスペクトル包絡、スペクトル特徴量（メルケプストラムなど）、F0（音高）とを記憶する。なお、含まれる発話数Nは非ネイティブ音声データベース２４と同一とする。また、非ネイティブ音声データベース２４、ネイティブ音声データベース２６のそれぞれn番目の発話の内容は同一とする。
【００３１】
時刻アライメント部２８は、同一の発話内容を持つ変換対象の音声信号の時系列データと目標の音声信号の時系列データのペアについて、２つの音声間の時間対応を取る。
【００３２】
モデル学習部３０は、図２に示すように、パラレル音声データベース３２、ＤＦＷベクトル抽出部３４、ＤＦＷベクトルデータベース３６、ＤＦＷベクトル推定モデル学習部３８、及びＤＦＷベクトル推定モデル４０を備えている。
【００３３】
パラレル音声データベース３２は、非ネイティブ音声データベース２４、及びネイティブ音声データベース２６に対して時刻アラインメントを行った結果得られる、データベースであり、非ネイティブ音声、ネイティブ音声の間で時間対応の取られたスペクトル包絡、スペクトル特徴量、F0などのパラメータを記憶する。以下では、パラレル音声データベース３４に含まれる総フレーム数をTとする。フレームtにおける、非ネイティブ音声のスペクトル包絡、スペクトル特徴量、F0を、それぞれ
2019132948.tif 000003
で表す。ここで、スペクトル包絡の次元数をF、スペクトル特徴量の次元数をMとした。同様に、ネイティブ音声のスペクトル包絡、スペクトル特徴量、F0を、それぞれ
2019132948.tif 000004
で表す。
【００３４】
ＤＦＷベクトル抽出部３４は、変換対象の音声信号の時系列データと目標の音声信号の時系列データとの時刻アライメント結果を入力とし、各フレームに対し、ＤＦＷ（dynamic frequency warping）ベクトルを抽出する。
【００３５】
ＤＦＷベクトルデータベース３６は、パラレル音声データベース３２の各フレームについて、非ネイティブ音声スペクトル包絡とネイティブ音声スペクトル包絡に対しDFWベクトル抽出を行なった結果得られるDFWベクトルを記憶する。各フレーム
2019132948.tif 000005
について、
2019132948.tif 000006
で表す。
【００３６】
具体的には、パラレル音声データベース３２の各フレームtについて、非ネイティブ音声、ネイティブ音声のスペクトル包絡
2019132948.tif 000007
から、DFWベクトルwtを算出する。
【００３７】
ＤＦＷベクトル抽出部３４は、図３に示すように、距離行列計算部４２及びベクトル抽出部４４を備えている。
【００３８】
距離行列計算部４２は、非ネイティブ音声、ネイティブ音声のスペクトル包絡
2019132948.tif 000008
から、距離行列Dtを計算する。ここで、距離行列はF×Fの行列で、そのi 行j列の成分を
2019132948.tif 000009
とするとき、
【００３９】
【数１】
2019132948.tif 000010
(1)
【００４０】
とする。ここで、
2019132948.tif 000011
はスカラーx,yの距離関数とする。例えば、二乗誤差
2019132948.tif 000012
や対数二乗誤差
2019132948.tif 000013
を用いる。
【００４１】
ベクトル抽出部４４は、距離行列Dtから、以下を満たすDFWベクトルwtを算出する。
【００４２】
【数２】
2019132948.tif 000014
(2)
【００４３】
式(2)は、動的計画法（非特許文献２）を用いて、効率的に解を求めることができる。
【００４４】
非特許文献２：Richard Bellman, "The theory of dynamic programming," Tech. Rep., RAND CORP SANTA MONICA CA, 1954.
【００４５】
ＤＦＷベクトル推定モデル学習部３８は、図４に示すように、結合ベクトル生成部４６、結合ベクトルデータベース４７、及びＧＭＭ学習部４８を備えている。
【００４６】
結合ベクトル生成部４６は、各フレームに対し、変換対象の音声信号のスペクトル特徴量を表すベクトルと、ＤＦＷベクトルとを結合した結合ベクトルを生成する。
【００４７】
具体的には、パラレル音声データベース３２及びＤＦＷベクトルデータベース３６の各フレーム
2019132948.tif 000015
について、m(s)t、w tから結合ベクトルztを生成し、結果を結合ベクトルデータベース４７に格納する。例えば、
2019132948.tif 000016
とする。次元を削減するために、関数gを用いて
2019132948.tif 000017
としても良い。関数gとして、例えば離散コサイン変換を使用する。
【００４８】
ＧＭＭ学習部４８は、各フレームの結合ベクトルに基づいて、予め定められた尤度関数を最大化する、結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータを、音声変換モデルとして学習し、ＤＦＷベクトル推定モデル４０に格納する。
【００４９】
具体的には、結合ベクトルデータベース４７に含まれる
2019132948.tif 000018
に対し、下記の尤度関数
2019132948.tif 000019
を最大化するGaussian mixture model (GMM)のパラメータ
2019132948.tif 000020
を得る。
【００５０】
【数３】
2019132948.tif 000021
(3)
【００５１】
上記の尤度関数の最大化は、例えばEMアルゴリズムが使用できる。
【００５２】
出力部５０は、ＤＦＷベクトル推定モデル４０に記憶されている音声変換モデルである、結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータを出力する。
【００５３】
＜音声変換装置の構成＞
図５に示すように、本発明の実施の形態に係る音声変換装置１５０は、ＣＰＵと、ＲＡＭと、後述する音声変換処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
【００５４】
図５に示すように、音声変換装置１５０は、入力部６０と、演算部７０と、出力部９０とを備えている。
【００５５】
入力部６０は、変換対象の音声信号（例えば非ネイティブの音声信号）の時系列データを受け付ける。
【００５６】
演算部７０は、ＤＦＷベクトル推定モデル７２と、音声パラメータ抽出部７４と、ネイティブスペクトル推定部７６と、音声信号生成部７８とを備えている。
【００５７】
ＤＦＷベクトル推定モデル７２は、ＤＦＷベクトル推定モデル４０と同じ、結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータを、音声変換モデルとして記憶する。
【００５８】
音声パラメータ抽出部７４は、入力部６０によって受け付けた変換対象の音声信号の時系列データに対して信号処理を行って、スペクトル包絡、スペクトル特徴量（メルケプストラムなど）、F0（音高）を抽出する。
【００５９】
ネイティブスペクトル推定部７６は、図６に示すように、ＤＦＷベクトル推定部８０及びスペクトル特徴量推定部８２を備えている。
【００６０】
ＤＦＷベクトル推定部８０は、各フレームに対し、変換対象の音声信号のスペクトル特徴量を表すベクトルと、ＤＦＷベクトル推定モデル７２とに基づいて、ＤＦＷ（dynamic frequency warping）ベクトルを推定する。
【００６１】
具体的には、入力された非ネイティブスペクトル特徴量のフレーム長さをTtとする。また、各フレーム
2019132948.tif 000022
に対応するスペクトル特徴量をmtとする。まず、DFWベクトル推定を行い、推定DFWベクトル^wtを得る。
【００６２】
【数４】
2019132948.tif 000023
(4)
【００６３】
【数５】
2019132948.tif 000024
(5)
【００６４】
ここで、
2019132948.tif 000025
はクラスiのスペクトル包絡特徴量とDFWベクトルに対応する次元の平均ベクトルとする。結合ベクトル生成において関数gにより次元圧縮を行なった場合は、逆関数g-1を用いて、下記の様に推定DFWベクトル^wtを得る。
【００６５】
【数６】
2019132948.tif 000026
(6)
【００６６】
【数７】
2019132948.tif 000027
(7)
【００６７】
例えばgとして離散コサイン変換を使用した場合、g-1として逆離散コサイン変換を使用する。実数値のベクトルとして得られる推定DFWベクトルを四捨五入し、整数列へと変換する。
【００６８】
スペクトル特徴量推定部８２は、各フレームに対し、変換対象の音声信号のスペクトル特徴量を表すベクトルと、ＤＦＷベクトルとに基づいて、目標の音声信号のスペクトル特徴量を表すベクトルを推定する。
【００６９】
具体的には、スペクトル包絡
2019132948.tif 000028
と推定DFWベクトル^wtを用いてDFWを行い、推定ネイティブスペクトル特徴量
2019132948.tif 000029
を得る。
【００７０】
【数８】
2019132948.tif 000030
(8)
【００７１】
音声信号生成部７８は、スペクトル特徴量推定部８２によって各フレームに対して推定された目標の音声信号のスペクトル特徴量を表すベクトルと、変換対象の音声信号のF0（音高）とに基づいて、目標の音声信号の時系列データを生成し、出力部９０により出力する。
【００７２】
＜音声変換モデル学習装置の作用＞
次に、第１の実施の形態に係る音声変換モデル学習装置１００の作用について説明する。まず、学習サンプルの変換対象の音声信号（例えば非ネイティブ話者による発話音声）の時系列データと目標の音声信号（例えばネイティブ話者による発話音声）の時系列データとのペアが、音声変換モデル学習装置１００に入力されると、音声変換モデル学習装置１００において、図７に示す学習処理ルーチンが実行される。
【００７３】
まず、ステップＳ１００において、入力部１０によって受け付けた学習サンプルの変換対象の音声信号の時系列データから、スペクトル包絡、スペクトル特徴量（メルケプストラムなど）、F0（音高）を抽出する。また、入力部１０によって受け付けた学習サンプルの目標の音声信号の時系列データから、スペクトル包絡、スペクトル特徴量（メルケプストラムなど）、F0（音高）を抽出する。
【００７４】
ステップＳ１０２では、同一の発話内容を持つ変換対象の音声信号の時系列データと目標の音声信号の時系列データのペアについて、２つの音声間の時間対応を取り、非ネイティブ音声、ネイティブ音声の間で時間対応の取られたスペクトル包絡、スペクトル特徴量、F0などのパラメータをパラレル音声データベース３２に格納する。
【００７５】
ステップＳ１０４では、パラレル音声データベース３２の各フレームtについて、非ネイティブ音声、ネイティブ音声のスペクトル包絡
2019132948.tif 000031
から、DFWベクトルwtを算出する。
【００７６】
ステップＳ１０６では、各フレームに対し、変換対象の音声信号のスペクトル特徴量を表すベクトルと、ＤＦＷベクトルとを結合した結合ベクトルを生成する。
【００７７】
ステップＳ１０８では、各フレームの結合ベクトルに基づいて、予め定められた尤度関数を最大化する、結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータを、音声変換モデルとして学習し、ＤＦＷベクトル推定モデル４０に格納する。
【００７８】
そして、学習され結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータが、出力部５０により出力され、学習処理ルーチンを終了する。
【００７９】
＜音声変換装置の作用＞
次に、第１の実施の形態に係る音声変換装置１５０の作用について説明する。まず、音声変換モデル学習装置１００によって学習された結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータが、音声変換装置１５０に入力されると、ＤＦＷベクトル推定モデル７２に格納される。また、変換対象の音声信号（例えば非ネイティブの音声信号）の時系列データが、音声変換装置１５０に入力されると、音声変換装置１５０において、図８に示す音声変換処理ルーチンが実行される。
【００８０】
まず、ステップＳ１１０において、入力部６０によって受け付けた変換対象の音声信号の時系列データから、スペクトル包絡、スペクトル特徴量（メルケプストラムなど）、F0（音高）を抽出する。
【００８１】
ステップＳ１１２において、各フレームに対し、変換対象の音声信号のスペクトル特徴量を表すベクトルと、ＤＦＷベクトル推定モデル７２とに基づいて、ＤＦＷ（dynamic frequency warping）ベクトルを推定する。
【００８２】
ステップＳ１１４において、各フレームに対し、変換対象の音声信号のスペクトル特徴量を表すベクトルと、ＤＦＷベクトルとに基づいて、目標の音声信号のスペクトル特徴量を表すベクトルを推定する。
【００８３】
ステップＳ１１６では、上記ステップＳ１１４において各フレームに対して推定された目標の音声信号のスペクトル特徴量を表すベクトルと、上記ステップＳ１１０で抽出された変換対象の音声信号のF0（音高）とに基づいて、目標の音声信号の時系列データを生成し、出力部９０により出力して、音声変換処理ルーチンを終了する。
【００８４】
以上説明したように、第１の実施の形態に係る音声変換モデル学習装置によれば、変換対象の音声信号の時系列データと目標の音声信号の時系列データとの時刻アライメント結果から、各フレームに対し抽出された、ＤＦＷベクトルと、変換対象の音声信号のスペクトル特徴量を表すベクトルとを結合した各フレームの結合ベクトルに基づいて、予め定められた尤度関数を最大化するように、結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータを学習することにより、変換音声の音質を向上させることができる。
【００８５】
また、第１の実施の形態に係る音声変換装置によれば、変換対象の音声信号の時系列データと目標の音声信号の時系列データとの時刻アライメント結果から、各フレームに対し抽出された、ＤＦＷベクトルと、変換対象の音声信号のスペクトル特徴量を表すベクトルとを結合した各フレームの結合ベクトルに基づいて、予め定められた尤度関数を最大化するように学習された、結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータを用いて、目標の音声信号の時系列データを生成することにより、変換音声の音質を向上させることができる。
【００８６】
[第２の実施の形態]
【００８７】
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００８８】
＜第２の実施の形態の概要＞
第１の実施の形態では、DFWベクトル抽出時に、対数スペクトルの二乗距離などの距離尺度を使用すると、スペクトルピークが平坦になり、音声の高調波が失われ、音声品質を損なう懸念がある。第２の実施の形態では、周波数方向の差分スペクトル（動的特徴）を距離行列計算に使用する。動的特徴を含めた距離尺度を採用することで、スペクトルの増減の傾向をDFWベクトル抽出に反映させることができるため、スペクトルピークが平坦になる傾向を回避することができる。
【００８９】
＜システム構成＞
＜音声変換モデル学習装置の構成＞
図９に示すように、第２の実施の形態に係る音声変換モデル学習装置１００のモデル学習部３０は、パラレル音声データベース３２、動的特徴ＤＦＷベクトル抽出部２３４、ＤＦＷベクトルデータベース３６、ＤＦＷベクトル推定モデル学習部３８、及びＤＦＷベクトル推定モデル４０を備えている。すなわち、ＤＦＷベクトル抽出の代わりに動的特徴ＤＦＷベクトル抽出を行う点を除いて、第１の実施の形態のモデル学習部３０と同様である。
【００９０】
動的特徴ＤＦＷベクトル抽出部２３４は、対応するフレームのスペクトル包絡の成分間の距離と、対応するフレームの周波数差分特徴量間の距離とに基づいて、動的特徴ＤＦＷベクトルを抽出する。
【００９１】
具体的には、図１０に示すように、動的特徴ＤＦＷベクトル抽出部２３４は、動的特徴距離行列計算部２４２及びベクトル抽出部４４を備えている。すなわち、動的特徴ＤＦＷベクトル抽出部２３４は、距離行列計算の代わりに動的特徴距離行列計算を行う点を除いて、第１の実施の形態のＤＦＷベクトル抽出部３４と同様である。
【００９２】
動的特徴距離行列計算部２４２は、距離行列計算の際に、周波数差分特徴量間の距離を可算する。例えば、あるスペクトル
2019132948.tif 000032
の周波数差分特徴量
2019132948.tif 000033
を
【００９３】
【数９】
2019132948.tif 000034
(9)
【００９４】
と定義し、距離行列を
【００９５】
【数１０】
2019132948.tif 000035
(10)
【００９６】
とする。ただし、γは周波数差分特徴量の距離に対する重みとする。
【００９７】
なお、第２の実施の形態に係る音声変換モデル学習装置１００の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【００９８】
また、第２の実施の形態に係る音声変換装置１５０の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【００９９】
以上説明したように、第２の実施の形態に係る音声変換モデル学習装置によれば、変換対象の音声信号の時系列データと目標の音声信号の時系列データとの時刻アライメント結果から、各フレームに対し抽出された、動的特徴ＤＦＷベクトルと、変換対象の音声信号のスペクトル特徴量を表すベクトルとを結合した各フレームの結合ベクトルに基づいて、予め定められた尤度関数を最大化するように、結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータを学習することにより、変換音声の音質を向上させることができる。
【０１００】
また、第２の実施の形態に係る音声変換装置によれば、変換対象の音声信号の時系列データと目標の音声信号の時系列データとの時刻アライメント結果から、各フレームに対し抽出された、動的特徴ＤＦＷベクトルと、変換対象の音声信号のスペクトル特徴量を表すベクトルとを結合した各フレームの結合ベクトルに基づいて、予め定められた尤度関数を最大化するように学習された、結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータを用いて、目標の音声信号の時系列データを生成することにより、変換音声の音質を向上させることができる。
【０１０１】
[第３の実施の形態]
次に、第３の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【０１０２】
＜第３の実施の形態の概要＞
第１の実施の形態では、非ネイティブ音声のスペクトルを周波数方向のみに変換するため、パワー方向にはスペクトルを変換することができない。したがって、スペクトルを十分にネイティブ音声のものに近づけることができない懸念がある。本実施の形態では、パワー方向のスペクトル差分を予測するモデルを使用することで、パワー方向のスペクトル変換を可能とする。スペクトルを十分にネイティブ音声のものに近づけることが可能となり、非ネイティブ音声の訛りを十分に取り除くことができる。
【０１０３】
＜システム構成＞
＜音声変換モデル学習装置の構成＞
図１１に示すように、第３の実施の形態に係る音声変換モデル学習装置１００のモデル学習部３０は、パラレル音声データベース３２、ＤＦＷベクトル抽出部３４、ＤＦＷベクトルデータベース３６、ＤＦＷベクトル推定モデル学習部３８、ＤＦＷベクトル推定モデル４０、差分スペクトル抽出部３３４、差分スペクトルデータベース３３６、差分スペクトル推定モデル学習部３３８、及び差分スペクトル推定モデル３４０を備えている。すなわち、第１の実施の形態と同様にDFWベクトル抽出、DFWベクトル推定モデル学習を行なったのち、得られたＤＦＷベクトル推定モデル４０とパラレル音声データベース３２を用いて差分スペクトル抽出を行い、差分スペクトルデータベース３３６を得る。差分スペクトルデータベース３３６とパラレル音声データベース３２から、差分スペクトル推定モデル学習を行い、差分スペクトル推定モデル３４０を得る。
【０１０４】
差分スペクトル抽出部３３４は、各フレームに対し、変換対象の音声信号のスペクトル特徴量を表すベクトルと、ＤＦＷベクトル推定モデル４０とに基づいて、ＤＦＷ（dynamic frequency warping）ベクトルを推定して、目標の音声信号のスペクトル包絡を推定し、差分スペクトルを算出する。
【０１０５】
具体的には、差分スペクトル抽出部３３４は、図１２に示すように、ネイティブスペクトル包絡推定部３４２及び差分スペクトル算出部３４４を備えている。
【０１０６】
ネイティブスペクトル包絡推定部３４２は、パラレル音声データベース３２の各フレーム
2019132948.tif 000036
について、非ネイティブスペクトル包絡s(s)tとＤＦＷベクトル推定モデル４０から、ネイティブスペクトル包絡推定を行い、推定ネイティブスペクトル包絡^s(t)tを得る。ここで、ネイティブスペクトル包絡推定は、第１の実施の形態のものと同様とする。
【０１０７】
差分スペクトル算出部３４４は、推定ネイティブスペクトル包絡^s(t)tとネイティブスペクトル包絡s(t)tから、差分スペクトル算出を行い、差分スペクトルrtを得て、差分スペクトルデータベース３３６に格納する。例えば、下記のように、対数スペクトルの差分を計算し、差分スペクトルとする。
【０１０８】
【数１１】
2019132948.tif 000037
(11)
【０１０９】
差分スペクトル推定モデル学習部３３８は、図１３に示すように、差分スペクトル結合ベクトル生成部３４６、差分スペクトル結合ベクトルデータベース３４８、及びＧＭＭ学習部３５０を備えている。
【０１１０】
差分スペクトル結合ベクトル生成部３４６は、各フレームに対し、変換対象の音声信号のスペクトル特徴量を表すベクトルと、差分スペクトルとを結合した差分スペクトル結合ベクトルを生成し、差分スペクトル結合ベクトルデータベース３４８に格納する。
【０１１１】
ＧＭＭ学習部３５０は、各フレームの差分スペクトル結合ベクトルに基づいて、予め定められた尤度関数を最大化する、差分スペクトル結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータを、差分スペクトル推定モデルとして学習する。なお、ＧＭＭ学習では、ＤＦＷベクトルデータベース３６の代わりに差分スペクトルデータベース３３６を用いる点を除いて、第１の実施の形態のＧＭＭ学習部４８と同様である。
【０１１２】
＜音声変換装置の構成＞
図１４に示すように、第３の実施の形態に係る音声変換装置４００の演算部４７０は、ＤＦＷベクトル推定モデル７２と、音声パラメータ抽出部７４と、差分スペクトル推定モデル３７２と、ネイティブスペクトル推定部３７６と、音声信号生成部７８とを備えている。
【０１１３】
差分スペクトル推定モデル３７２は、差分スペクトル推定モデル３４０と同じ、差分スペクトル結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータを記憶する。
【０１１４】
ネイティブスペクトル推定部３７６は、図１５に示すように、ＤＦＷベクトル推定部８０、スペクトル特徴量推定部８２、差分スペクトル推定部３８０、及びスペクトル加算部３８２を備えている。
【０１１５】
差分スペクトル推定部３８０は、各フレームに対し、非ネイティブスペクトル特徴量と差分スペクトル推定モデルから、推定差分スペクトルを得る。DFWベクトル推定モデルの代わりに差分スペクトル推定モデルを使用する点を除いて、DFWベクトル推定と同様のアルゴリズムで差分スペクトル推定を行うことができる。
【０１１６】
スペクトル加算部３８２は、各フレームに対し、スペクトル特徴量推定部８２によって推定された、変換対象の音声信号のスペクトル特徴量を表すベクトルに、差分スペクトルを加算する。
【０１１７】
具体的には、各フレームtにおける推定ネイティブスペクトル包絡^s(t)tと推定差分スペクトル^rtから、差分スペクトル加算推定ネイティブスペクトル包絡^s(t),rtを得る。例えば、式(11)により差分スペクトル算出を行なった場合、
【０１１８】
【数１２】
2019132948.tif 000038
(12)
【０１１９】
とする。ここで、λは正の実数であり、差分スペクトルの重みを表す。
【０１２０】
音声信号生成部７８は、スペクトル特徴量推定部８２によって各フレームに対して推定された目標の音声信号のスペクトル特徴量を表すベクトルに、差分スペクトルを加算した結果と、変換対象の音声信号のF0（音高）とに基づいて、目標の音声信号の時系列データを生成し、出力部９０により出力する。
【０１２１】
＜音声変換モデル学習装置の作用＞
次に、第３の実施の形態に係る音声変換モデル学習装置１００の作用について説明する。なお、第１の実施の形態と同様の処理については同一符号を付して詳細な説明を省略する。
【０１２２】
まず、学習サンプルの変換対象の音声信号（例えば非ネイティブ話者による発話音声）の時系列データと目標の音声信号（例えばネイティブ話者による発話音声）の時系列データとのペアが、音声変換モデル学習装置１００に入力されると、音声変換モデル学習装置１００において、図１６に示す学習処理ルーチンが実行される。
【０１２３】
まず、ステップＳ１００において、入力部１０によって受け付けた学習サンプルの変換対象の音声信号の時系列データから、スペクトル包絡、スペクトル特徴量（メルケプストラムなど）、F0（音高）を抽出する。また、入力部１０によって受け付けた学習サンプルの目標の音声信号の時系列データから、スペクトル包絡、スペクトル特徴量（メルケプストラムなど）、F0（音高）を抽出する。
【０１２４】
ステップＳ１０２では、同一の発話内容を持つ変換対象の音声信号の時系列データと目標の音声信号の時系列データのペアについて、２つの音声間の時間対応を取り、非ネイティブ音声、ネイティブ音声の間で時間対応の取られたスペクトル包絡、スペクトル特徴量、F0などのパラメータをパラレル音声データベース３２に格納する。
【０１２５】
ステップＳ１０４では、パラレル音声データベース３２の各フレームtについて、非ネイティブ音声、ネイティブ音声のスペクトル包絡
2019132948.tif 000039
から、DFWベクトルwtを算出する。
【０１２６】
ステップＳ１０６では、各フレームに対し、変換対象の音声信号のスペクトル特徴量を表すベクトルと、ＤＦＷベクトルとを結合した結合ベクトルを生成する。
【０１２７】
ステップＳ１０８では、各フレームの結合ベクトルに基づいて、予め定められた尤度関数を最大化する、結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータを、音声変換モデルとして学習し、ＤＦＷベクトル推定モデル４０に格納する。
【０１２８】
ステップＳ３００では、パラレル音声データベース３２の各フレーム
2019132948.tif 000040
について、非ネイティブスペクトル包絡s(s)tとＤＦＷベクトル推定モデル４０から、ネイティブスペクトル包絡推定を行い、推定ネイティブスペクトル包絡^s(t)tを得る。
【０１２９】
ステップＳ３０２では、推定ネイティブスペクトル包絡^s(t)tとネイティブスペクトル包絡s(t)tから、差分スペクトル算出を行い、差分スペクトルrtを得て、差分スペクトルデータベース３３６に格納する。
【０１３０】
ステップＳ３０４では、各フレームに対し、変換対象の音声信号のスペクトル特徴量を表すベクトルと、差分スペクトルとを結合した差分スペクトル結合ベクトルを生成し、差分スペクトル結合ベクトルデータベース３４８に格納する。
【０１３１】
ステップＳ３０６では、各フレームの差分スペクトル結合ベクトルに基づいて、予め定められた尤度関数を最大化する、差分スペクトル結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータを、差分スペクトル推定モデルとして学習し、学習され結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータ、及び差分スペクトル結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータが、出力部５０により出力され、学習処理ルーチンを終了する。
【０１３２】
＜音声変換装置の作用＞
次に、第３の実施の形態に係る音声変換装置１５０の作用について説明する。まず、音声変換モデル学習装置１００によって学習された結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータが、音声変換装置１５０に入力されると、ＤＦＷベクトル推定モデル７２に格納され、
【０１３３】
差分スペクトル結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータが、音声変換装置１５０に入力されると、差分スペクトル推定モデル３７２に格納される。また、変換対象の音声信号（例えば非ネイティブの音声信号）の時系列データが、音声変換装置１５０に入力されると、音声変換装置１５０において、図１７に示す音声変換処理ルーチンが実行される。
【０１３４】
まず、ステップＳ１１０において、入力部６０によって受け付けた変換対象の音声信号の時系列データから、スペクトル包絡、スペクトル特徴量（メルケプストラムなど）、F0（音高）を抽出する。
【０１３５】
ステップＳ１１２において、各フレームに対し、変換対象の音声信号のスペクトル特徴量を表すベクトルと、ＤＦＷベクトル推定モデル７２とに基づいて、ＤＦＷ（dynamic frequency warping）ベクトルを推定する。
【０１３６】
ステップＳ１１４において、各フレームに対し、変換対象の音声信号のスペクトル特徴量を表すベクトルと、ＤＦＷベクトルとに基づいて、目標の音声信号のスペクトル特徴量を表すベクトルを推定する。
【０１３７】
ステップＳ３１０において、各フレームに対し、非ネイティブスペクトル特徴量と差分スペクトル推定モデルから、推定差分スペクトルを得る。
【０１３８】
ステップＳ３１２では、各フレームに対し、スペクトル特徴量推定部８２によって推定された、変換対象の音声信号のスペクトル特徴量を表すベクトルに、差分スペクトルを加算する。
【０１３９】
ステップＳ３１４では、上記ステップＳ３１２において各フレームに対して推定された目標の音声信号のスペクトル特徴量を表すベクトルに差分スペクトルを加算した結果と、上記ステップＳ１１０で抽出された変換対象の音声信号のF0（音高）とに基づいて、目標の音声信号の時系列データを生成し、出力部９０により出力して、音声変換処理ルーチンを終了する。
【０１４０】
以上説明したように、第３の実施の形態に係る音声変換モデル学習装置によれば、変換対象の音声信号の時系列データと目標の音声信号の時系列データとの時刻アライメント結果から、各フレームに対し抽出された、ＤＦＷベクトルと、変換対象の音声信号のスペクトル特徴量を表すベクトルとを結合した各フレームの結合ベクトルに基づいて、予め定められた尤度関数を最大化するように、結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータを学習し、結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータに基づいて、ＤＦＷ（dynamic frequency warping）ベクトルを推定して、目標の音声信号のスペクトル包絡を推定し、差分スペクトルを算出し、変換対象の音声信号のスペクトル特徴量を表すベクトルと、差分スペクトルとを結合した差分スペクトル結合ベクトルを生成し、各フレームの差分スペクトル結合ベクトルに基づいて、予め定められた尤度関数を最大化する、差分スペクトル結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータを学習することにより、変換音声の音質を向上させることができる。
【０１４１】
また、第３の実施の形態に係る音声変換装置によれば、変換対象の音声信号の時系列データと目標の音声信号の時系列データとの時刻アライメント結果から、各フレームに対し抽出された、ＤＦＷベクトルと、変換対象の音声信号のスペクトル特徴量を表すベクトルとを結合した各フレームの結合ベクトルに基づいて、予め定められた尤度関数を最大化するように学習された、結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータと、変換対象の音声信号のスペクトル特徴量を表すベクトルと、差分スペクトルとを結合した各フレームの差分スペクトル結合ベクトルに基づいて、予め定められた尤度関数を最大化するように学習された、差分スペクトル結合ベクトルに関するＧＭＭ（Gaussian mixture model）のパラメータを用いて、目標の音声信号の時系列データを生成することにより、変換音声の音質を向上させることができる、という効果が得られる。
【０１４２】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１４３】
例えば、上述した実施形態では、音声変換モデル学習装置及び音声変換装置を別々の装置として構成しているが、一つの装置として構成してもよい。
【０１４４】
また、上述の音声変換モデル学習装置、音声変換装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０１４５】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【０１４６】
１０、６０    入力部
２０、７０、４７０   演算部
２２   特徴量抽出部
２４   非ネイティブ音声データベース
２６   ネイティブ音声データベース
２８   時刻アライメント部
３０   モデル学習部
３２   パラレル音声データベース
３４   ベクトル抽出部
３４   パラレル音声データベース
３６   ＤＦＷベクトルデータベース
３８   ＤＦＷベクトル推定モデル学習部
４０   ＤＦＷベクトル推定モデル
４２   距離行列計算部
４４   ベクトル抽出部
４６   結合ベクトル生成部
４７   結合ベクトルデータベース
４８   ＧＭＭ学習部
５０、９０    出力部
７２   ベクトル推定モデル
７４   音声パラメータ抽出部
７６   ネイティブスペクトル推定部
７８   音声信号生成部
８０   ＤＦＷベクトル推定部
８２   スペクトル特徴量推定部
１００ 音声変換モデル学習装置
１５０、４００       音声変換装置
２３４ 動的特徴ＤＦＷベクトル抽出部
２４２ 動的特徴距離行列計算部
３３４ 差分スペクトル抽出部
３３６ 差分スペクトルデータベース
３３８ 差分スペクトル推定モデル学習部
３４０ 差分スペクトル推定モデル
３４２ ネイティブスペクトル包絡推定部
３４４ 差分スペクトル算出部
３４６ 差分スペクトル結合ベクトル生成部
３４６ 差分結合ベクトル生成部
３４８ 差分スペクトル結合ベクトルデータベース
３５０ ＧＭＭ学習部
３７２ 差分スペクトル推定モデル
３７６ ネイティブスペクトル推定部
３８０ 差分スペクトル推定部
３８２ スペクトル加算部
【図１】
2019132948.tif 000041
【図２】
2019132948.tif 000042
【図３】
2019132948.tif 000043
【図４】
2019132948.tif 000044
【図５】
2019132948.tif 000045
【図６】
2019132948.tif 000046
【図７】
2019132948.tif 000047
【図８】
2019132948.tif 000048
【図９】
2019132948.tif 000049
【図１０】
2019132948.tif 000050
【図１１】
2019132948.tif 000051
【図１２】
2019132948.tif 000052
【図１３】
2019132948.tif 000053
【図１４】
2019132948.tif 000054
【図１５】
2019132948.tif 000055
【図１６】
2019132948.tif 000056
【図１７】
2019132948.tif 000057
【図１８】
2019132948.tif 000058
【図１９】
2019132948.tif 000059
【図２０】
2019132948.tif 000060
【図２１】
2019132948.tif 000061