(57)【要約】【課題】所望の属性の音声に変換することができる。【解決手段】変換元の音声信号における音響特徴量系列と、変換元の音声信号における潜在変数系列とのパラレルデータ、及び変換元の音声信号の属性を示す属性コードに基づいて、デコーダによって再構成された音響特徴量系列と、パラレルデータの変換元の音声信号における音響特徴量系列との誤差、エンコーダによって推定された潜在変数系列と、パラレルデータの変換元の音声信号における潜在変数系列との距離、並びに、任意の属性コードを入力としてデコーダによって再構成された音響特徴量系列について、属性識別器によって識別される任意の属性コードらしさを用いて表される目的関数の値を最大化するように、音響特徴量系列及び属性コードを入力として潜在変数系列を推定するエンコーダ、及び潜在変数系列及び属性コードを入力として音響特徴量系列を再構成するデコーダを学習する。【選択図】図１
2019215500.tif 000002
【特許請求の範囲】
【請求項１】
変換元の音声信号における音響特徴量系列と、前記変換元の音声信号における潜在変数系列とのパラレルデータ、及び前記変換元の音声信号の属性を示す属性コードに基づいて、音響特徴量系列及び属性コードを入力として潜在変数系列を推定するエンコーダ、及び前記潜在変数系列及び属性コードを入力として音響特徴量系列を再構成するデコーダを学習する学習部であって、
前記デコーダによって再構成された前記音響特徴量系列と、前記パラレルデータの変換元の音声信号における音響特徴量系列との誤差、前記エンコーダによって推定された前記潜在変数系列と、前記パラレルデータの前記変換元の音声信号における潜在変数系列との距離、並びに、任意の属性コードを入力として前記デコーダによって再構成された前記音響特徴量系列について、属性識別器によって識別される前記任意の属性コードらしさを用いて表される目的関数の値を最大化するように、前記エンコーダ及び前記デコーダを学習する学習部
を含む音声変換学習装置。
【請求項２】
前記目的関数は、前記変換元の音声信号における音響特徴量系列についての、前記属性識別器によって識別される、前記変換元の音声信号の属性を示す属性コードらしさを更に用いて表され、
前記学習部は、前記目的関数の値を最大化するように、前記エンコーダ、前記デコーダ、及び前記属性識別器を学習する請求項１記載の音声変換学習装置。
【請求項３】
前記学習部は、前記目的関数の値を最大化するように、前記エンコーダ及び前記デコーダを学習する共に、前記変換元の音声信号における音響特徴量系列についての、前記属性識別器によって識別される、前記変換元の音声信号の属性を示す属性コードらしさに基づいて、前記属性識別器を学習する請求項１記載の音声変換学習装置。
【請求項４】
前記エンコーダ、前記デコーダ、及び前記属性識別器の各々は、畳み込みネットワーク又は再帰型ネットワークを用いて構成される請求項１〜請求項３の何れか１項記載の音声変換学習装置。
【請求項５】
音響特徴量系列及び属性コードを入力として潜在変数系列を推定するエンコーダを用いて、入力された変換元の音声信号における音響特徴量系列と、前記変換元の音声信号の属性を示す属性コードとから、潜在変数系列を推定するエンコーダ計算部と、
前記潜在変数系列及び属性コードを入力として音響特徴量系列を再構成するデコーダを用いて、前記推定された潜在変数系列と、入力された目標の音声信号の属性を示す属性コードとから、目標の音声信号の音響特徴量系列を推定するデコーダ計算部と、
を含み、
前記エンコーダ及び前記デコーダは、
変換元の音声信号における音響特徴量系列と、前記変換元の音声信号における潜在変数系列とのパラレルデータ、及び前記変換元の音声信号の属性を示す属性コードに基づいて、
前記デコーダによって再構成された前記音響特徴量系列と、前記パラレルデータの変換元の音声信号における音響特徴量系列との誤差、前記エンコーダによって推定された前記潜在変数系列と、前記パラレルデータの前記変換元の音声信号における潜在変数系列との距離、並びに、任意の属性コードを入力として前記デコーダによって再構成された前記音響特徴量系列について、属性識別器によって識別される前記任意の属性コードらしさを用いて表される目的関数の値を最大化するように予め学習されたものである音声変換装置。
【請求項６】
学習部が、変換元の音声信号における音響特徴量系列と、前記変換元の音声信号における潜在変数系列とのパラレルデータ、及び前記変換元の音声信号の属性を示す属性コードに基づいて、音響特徴量系列及び属性コードを入力として潜在変数系列を推定するエンコーダ、及び前記潜在変数系列及び属性コードを入力として音響特徴量系列を再構成するデコーダを学習することであって、
前記デコーダによって再構成された前記音響特徴量系列と、前記パラレルデータの変換元の音声信号における音響特徴量系列との誤差、前記エンコーダによって推定された前記潜在変数系列と、前記パラレルデータの前記変換元の音声信号における潜在変数系列との距離、並びに、任意の属性コードを入力として前記デコーダによって再構成された前記音響特徴量系列について、属性識別器によって識別される前記任意の属性コードらしさを用いて表される目的関数の値を最大化するように、前記エンコーダ及び前記デコーダを学習する
音声変換学習方法。
【請求項７】
エンコーダ計算部が、音響特徴量系列及び属性コードを入力として潜在変数系列を推定するエンコーダを用いて、入力された変換元の音声信号における音響特徴量系列と、前記変換元の音声信号の属性を示す属性コードとから、潜在変数系列を推定し、
デコーダ計算部が、前記潜在変数系列及び属性コードを入力として音響特徴量系列を再構成するデコーダを用いて、前記推定された潜在変数系列と、入力された目標の音声信号の属性を示す属性コードとから、目標の音声信号の音響特徴量系列を推定する
音声変換方法であって、
前記エンコーダ及び前記デコーダは、
変換元の音声信号における音響特徴量系列と、前記変換元の音声信号における潜在変数系列とのパラレルデータ、及び前記変換元の音声信号の属性を示す属性コードに基づいて、
前記デコーダによって再構成された前記音響特徴量系列と、前記パラレルデータの変換元の音声信号における音響特徴量系列との誤差、前記エンコーダによって推定された前記潜在変数系列と、前記パラレルデータの前記変換元の音声信号における潜在変数系列との距離、並びに、任意の属性コードを入力として前記デコーダによって再構成された前記音響特徴量系列について、属性識別器によって識別される前記任意の属性コードらしさを用いて表される目的関数の値を最大化するように予め学習されたものである音声変換方法。
【請求項８】
コンピュータを、請求項１〜請求項４のいずれか１項に記載の音声変換学習装置、又は請求項５に記載の音声変換装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声変換学習装置、音声変換装置、方法、及びプログラムに係り、特に、音声を変換するための音声変換学習装置、音声変換装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
入力音声の言語情報（発話文）を保持したまま非言語・パラ言語（話者性や発話様式など）のみを変換する技術を声質変換といい、テキスト音声合成の話者性変換、発声支援、音声強調、発音変換などへの応用が可能である。声質変換の問題は、変換元の音声の音響特徴量から変換目標の音声の音響特徴量への写像関数を推定する回帰分析の問題として定式化することができる。声質変換の従来法の中でも混合ガウス分布モデル(Gaussian Mixture Model; GMM) を用いた手法はその有効性と汎用性から広く用いられている。また、近年では、フィードフォワード型ニューラルネットワーク(NeuralNetwork; NN)、再帰型NN(Recurrent NN; RNN)、畳み込み型NN(Convolutional NN; CNN) などのNN 系の手法や非負値行列因子分解(Non-negative Matrix Factorization; NMF) などを用いた事例（Exemplar）ベースの手法の検討も進められている。
【０００３】
これらの手法の多くは、時間整合された同一発話内容の音声ペアで構成されるパラレルデータを用いて変換音声の音響特徴量が目標音声の音響特徴量にできるだけ近くなるように変換関数の学習が行われる。しかし、用途によっては同一発話内容の変換元音声と目標音声のペアデータを用意することが難しい場面は多くある。また、仮にそのようなペアデータが用意できる場合でも、高い精度の時間整合が必要となり、これを自動処理で行う際は整合ミスを修正するため目視と手動によるプリスクリーニングが必要となる場合が多い。
【０００４】
一方、パラレルデータを必ずしも必要としない非パラレル声質変換法も提案されている。一例は音声認識を用いた方法である。この方法では、変換元音声と変換目標音声において同一音素と認識された時間フレームの音響特徴量をペアとすることでパラレルデータを構築する。パラレルデータの構築のため対象音声に対し音声認識を高い精度で行えることが想定されるが、音声認識精度が十分でない場合には性能は限定的となる。話者性を変換するタスクに限定した方法としては話者適応技術を用いるものがある。この方法では、変換元音声と変換目標音声のパラレルデータを必要としないが、話者空間を学習するための参照音声のパラレルデータを用いる必要がある。また、近年、テキストラベルや参照音声などのデータや音声認識などのモジュールおよびパラレルデータを一切必要としない方式として、条件付変分自己符号化器(Conditional Variational Autoencoder; CVAE) に基づく非パラレル声質変換法が提案されている（非特許文献１、２）。この方法では、音響特徴量x とその属性に対応する属性コードc を入力として潜在変数z の条件付分布
2019215500.tif 000003
のパラメータを出力するエンコーダNNと、潜在変数zと属性コードcを入力として音響特徴量x の条件付分布
2019215500.tif 000004
のパラメータを出力するデコーダNN を学習サンプル
2019215500.tif 000005
を用いて学習することが目標となる。このようにして学習したエンコーダとデコーダに対し変換元音声の音響特徴量x と目標属性コードc´を入力することで、変換元音声の発話内容を保持したまま属性c´をもった音響特徴量^x を生成することが可能となる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】C．-C． Hsu，H．-T．Hwang，Y．-C． Wu，Y．Tsao， and H．-M． Wang， "Voice conversion from non-parallel corpora using variational auto-encoder，" in Proc．APSIPA，2016， pp．1-6．
【非特許文献２】C．-C． Hsu, H．-T． Hwang， Y．-C． Wu， Y． Tsao, and H．-M． Wang, “Voice conversion from unaligned corpora using variational autoencodingWasserstein generative adversarial networks,” in Proc． Interspeech, 2017, pp. 3364-3368．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述のようにこの方式はパラレルデータを必要としない利点がある一方で、生成される音声の特徴量が過剰平滑化される傾向にあり、これが変換音声の品質に限界を与える一因となっていた。これはデコーダの条件付分布にガウス分布などのパラメトリックな確率分布形を仮定することに起因し、仮定した分布形が、実際に音響特徴量が従う真の確率分布と一致しないことによる。また、上述のCVAE 方式ではエンコーダとデコーダが属性コードc を補助入力として受け付ける形をとることで潜在変数系列の条件付分布
2019215500.tif 000006
および音響特徴量系列の条件付分布
2019215500.tif 000007
を学習することが可能になるが、エンコーダとデコーダの関数としての複雑度や表現能力によっては
2019215500.tif 000008
が属性コードc と独立になるように学習される可能性があり、従来の学習規準はこのような状況を回避するような設計にはなっていない。例えば、エンコーダとデコーダによる入力x の変換プロセスが恒等写像となるような場合が分かりやすい。この場合、モデルはいかなる入力x も補助入力c に頼ることなく表現できるため、
2019215500.tif 000009
が属性コードc に依らない
2019215500.tif 000010
2019215500.tif 000011
のような状況となる。このように学習されたモデルに、c を目標属性に設定した上で音響特徴系列を入力したとしても、c の影響を受けることなく入力値がそのままデコーダから生成されてしまい、変換効果が生まれないことになる。
【０００７】
以上のように上述のCVAE 方式は、非パラレル声質変換法の枠組であるという利点がある一方で、変換音声の品質と変換効果に解決すべき点が残されていた。
【０００８】
本発明は、上記問題点を解決するために成されたものであり、所望の属性の音声に変換することができる変換関数を学習できる音声変換学習装置、方法、及びプログラムを提供することを目的とする。
【０００９】
また、所望の属性の音声に変換することができる音声変換装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明に係る音声変換学習装置は、変換元の音声信号における音響特徴量系列と、前記変換元の音声信号における潜在変数系列とのパラレルデータ、及び前記変換元の音声信号の属性を示す属性コードに基づいて、音響特徴量系列及び属性コードを入力として潜在変数系列を推定するエンコーダ、及び前記潜在変数系列及び属性コードを入力として音響特徴量系列を再構成するデコーダを学習する学習部であって、前記デコーダによって再構成された前記音響特徴量系列と、前記パラレルデータの変換元の音声信号における音響特徴量系列との誤差、前記エンコーダによって推定された前記潜在変数系列と、前記パラレルデータの前記変換元の音声信号における潜在変数系列との距離、並びに、任意の属性コードを入力として前記デコーダによって再構成された前記音響特徴量系列について、属性識別器によって識別される前記任意の属性コードらしさを用いて表される目的関数の値を最大化するように、前記エンコーダ及び前記デコーダを学習する学習部を含んで構成されている。
【００１１】
また、本発明に係る音声変換学習方法は、学習部が、変換元の音声信号における音響特徴量系列と、前記変換元の音声信号における潜在変数系列とのパラレルデータ、及び前記変換元の音声信号の属性を示す属性コードに基づいて、音響特徴量系列及び属性コードを入力として潜在変数系列を推定するエンコーダ、及び前記潜在変数系列及び属性コードを入力として音響特徴量系列を再構成するデコーダを学習することであって、前記デコーダによって再構成された前記音響特徴量系列と、前記パラレルデータの変換元の音声信号における音響特徴量系列との誤差、前記エンコーダによって推定された前記潜在変数系列と、前記パラレルデータの前記変換元の音声信号における潜在変数系列との距離、並びに、任意の属性コードを入力として前記デコーダによって再構成された前記音響特徴量系列について、属性識別器によって識別される前記任意の属性コードらしさを用いて表される目的関数の値を最大化するように、前記エンコーダ及び前記デコーダを学習する。
【００１２】
また、本発明に係る音声変換装置は、音響特徴量系列及び属性コードを入力として潜在変数系列を推定するエンコーダを用いて、入力された変換元の音声信号における音響特徴量系列と、前記変換元の音声信号の属性を示す属性コードとから、潜在変数系列を推定するエンコーダ計算部と、前記潜在変数系列及び属性コードを入力として音響特徴量系列を再構成するデコーダを用いて、前記推定された潜在変数系列と、入力された目標の音声信号の属性を示す属性コードとから、目標の音声信号の音響特徴量系列を推定するデコーダ計算部と、を含み、前記エンコーダ及び前記デコーダは、変換元の音声信号における音響特徴量系列と、前記変換元の音声信号における潜在変数系列とのパラレルデータ、及び前記変換元の音声信号の属性を示す属性コードに基づいて、前記デコーダによって再構成された前記音響特徴量系列と、前記パラレルデータの変換元の音声信号における音響特徴量系列との誤差、前記エンコーダによって推定された前記潜在変数系列と、前記パラレルデータの前記変換元の音声信号における潜在変数系列との距離、並びに、任意の属性コードを入力として前記デコーダによって再構成された前記音響特徴量系列について、属性識別器によって識別される前記任意の属性コードらしさを用いて表される目的関数の値を最大化するように予め学習されたものである。
【００１３】
また、本発明に係る音声変換方法は、エンコーダ計算部が、音響特徴量系列及び属性コードを入力として潜在変数系列を推定するエンコーダを用いて、入力された変換元の音声信号における音響特徴量系列と、前記変換元の音声信号の属性を示す属性コードとから、潜在変数系列を推定し、デコーダ計算部が、前記潜在変数系列及び属性コードを入力として音響特徴量系列を再構成するデコーダを用いて、前記推定された潜在変数系列と、入力された目標の音声信号の属性を示す属性コードとから、目標の音声信号の音響特徴量系列を推定する音声変換方法であって、前記エンコーダ及び前記デコーダは、変換元の音声信号における音響特徴量系列と、前記変換元の音声信号における潜在変数系列とのパラレルデータ、及び前記変換元の音声信号の属性を示す属性コードに基づいて、前記デコーダによって再構成された前記音響特徴量系列と、前記パラレルデータの変換元の音声信号における音響特徴量系列との誤差、前記エンコーダによって推定された前記潜在変数系列と、前記パラレルデータの前記変換元の音声信号における潜在変数系列との距離、並びに、任意の属性コードを入力として前記デコーダによって再構成された前記音響特徴量系列について、属性識別器によって識別される前記任意の属性コードらしさを用いて表される目的関数の値を最大化するように予め学習されたものである。
【００１４】
また、本発明に係るプログラムは、コンピュータを、上記発明に係る音声変換学習装置の各部、または上記発明に係る音声変換装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１５】
本発明の音声変換学習装置、方法、及びプログラムによれば、音響特徴量系列及び属性コードを入力として潜在変数系列を推定するエンコーダ、及び前記潜在変数系列及び属性コードを入力として音響特徴量系列を再構成するデコーダを、前記デコーダによって再構成された前記音響特徴量系列と、前記パラレルデータの変換元の音声信号における音響特徴量系列との誤差、前記エンコーダによって推定された前記潜在変数系列と、前記パラレルデータの前記変換元の音声信号における潜在変数系列との距離、並びに、任意の属性コードを入力として前記デコーダによって再構成された前記音響特徴量系列について、属性識別器によって識別される前記任意の属性コードらしさを用いて表される目的関数の値を最大化するように学習することにより、所望の属性の音声に変換することができる変換関数を学習できる、という効果が得られる。
【００１６】
本発明の音声変換装置、方法、及びプログラムによれば、前記デコーダによって再構成された前記音響特徴量系列と、前記パラレルデータの変換元の音声信号における音響特徴量系列との誤差、前記エンコーダによって推定された前記潜在変数系列と、前記パラレルデータの前記変換元の音声信号における潜在変数系列との距離、並びに、任意の属性コードを入力として前記デコーダによって再構成された前記音響特徴量系列について、属性識別器によって識別される前記任意の属性コードらしさを用いて表される目的関数の値を最大化するように予め学習されたエンコーダとデコーダを用いて、エンコーダにより、入力された変換元の音声信号における音響特徴量系列と、前記変換元の音声信号の属性を示す属性コードとから、潜在変数系列を推定し、デコーダにより、前記推定された潜在変数系列と、入力された目標の音声信号の属性を示す属性コードとから、目標の音声信号の音響特徴量系列を推定することにより、所望の属性の音声に変換することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態に係る音声変換学習装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係る音声変換装置の構成を示すブロック図である。
【図３】本発明の実施の形態に係る音声変換学習装置における音声変換学習処理ルーチンを示すフローチャートである。
【図４】本発明の実施の形態に係る音声変換装置における音声変換処理ルーチンを示すフローチャートである。
【図５】変換元音声（テストデータ）の音響特徴量系列を示す図である。
【図６】テストデータと発話文が同一の目標音声の音響特徴量系列を示す図である。
【図７】本発明の実施の形態の手法による、変換音声の音響特徴量系列を示す図である。
【図８】従来手法による、変換音声の音響特徴量系列を示す図である。
【図９】別の従来手法による、変換音声の音響特徴量系列を示す図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１９】
＜本発明の実施の形態に係る概要＞
まず、本発明の実施の形態における概要を説明する。
【００２０】
本発明の実施の形態では、以上の従来技術の問題や限界を克服する非パラレル声質変換手法を提案する。本発明の実施の形態の方法は、（１）テキストラベルや参照音声などのデータや音声認識などのモジュールを別途必要としない点、（２）従来の多くの声質変換法においてしばしば問題とされる音響特徴量の過剰平滑化が起こりにくい点、（３）変換元と変換目標の音声の時間依存性を捉えた変換が可能である点、（４）属性識別器を用いて測られる変換音声の目標属性の度合いを学習規準に含む点、（５）単一のエンコーダとデコーダで多種の属性への変換が可能である（属性数に応じて学習すべきパラメータの数がほとんど変わらない）点、を特長にもつ。
【００２１】
以上の本発明の実施の形態の方法の特長は、以下の（ａ）〜（ｅ）により実現する。
【００２２】
（ａ）エンコーダとデコーダとともに属性識別器を用いる。
【００２３】
（ｂ）音響特徴量系列をエンコーダの入力、デコーダの出力、属性識別器の入力とし、潜在変数系列をエンコーダの出力およびデコーダの入力とする。
【００２４】
（ｃ）エンコーダ、デコーダ、属性識別器のネットワークをそれぞれCNN（ゲート付きCNN など）またはRNN（LSTM など）によりモデル化する。
【００２５】
（ｄ）入力値復元誤差規準、潜在変数分布間距離規準、属性識別規準からなる学習規準を用いてエンコーダ、デコーダとともに属性識別器を学習する。
【００２６】
（ｅ）学習したエンコーダおよびデコーダで入力音声の音響特徴量系列を目標属性になるように変換したものと、入力音声と同一の属性になるように変換したものとの間の変化量に基づいて属性変換に伴うスペクトルゲイン関数を算出し、これを入力音声のスペクトル系列に乗じた上で時間領域信号を算出することで変換音声を得る。
【００２７】
＜本発明の実施の形態の原理＞
＜変分自己符号化器(Variational Autoencoder; VAE)＞
VAE はエンコーダとデコーダのニューラルネットワーク(Neural Network; NN) からなる確率的生成モデルである。エンコーダネットワークは入力データx が与えられた下での潜在変数z の条件付分布
2019215500.tif 000012
の確率分布パラメータ（ガウス分布の場合は平均と分散）を出力するNN で、デコーダネットワークは潜在変数z が与えられた下でのデータx の条件付分布
2019215500.tif 000013
の確率分布パラメータを出力するNN である。VAE の学習では、学習データ
2019215500.tif 000014
を用い、エンコーダ分布
2019215500.tif 000015
が事後分布
2019215500.tif 000016
とできるだけ一致するようにエンコーダとデコーダのNN パラメータφ、θを決定することが目標となる。
【００２８】
Jensen の不等式を用いることにより対数周辺尤度（エビデンス）log p(x) の下界
【００２９】
【数１】
2019215500.tif 000017
（１）
【００３０】
が得られる。式(1) の左辺と右辺の差は
2019215500.tif 000018
のKullback-Leibler (KL) ダイバージェンス
2019215500.tif 000019
と等しく、
【００３１】
【数２】
2019215500.tif 000020
（２）
【００３２】
のとき最小となる。よって、式(1) の右辺を大きくすることは
2019215500.tif 000021
を近づけることに相当する。ここで、
2019215500.tif 000022
をパラメータφのエンコーダネットワークの出力、
2019215500.tif 000023
をパラメータθのデコーダネットワークの出力とし、
2019215500.tif 000024
をそれぞれこれらを平均と分散とした正規分布
2019215500.tif 000025
とする。また、
2019215500.tif 000026
を標準正規分布
【００３３】
【数３】
2019215500.tif 000027
（３）
【００３４】
【数４】
2019215500.tif 000028
（４）
【００３５】
【数５】
2019215500.tif 000029
（５）
【００３６】
と仮定すると、式(1) の右辺第一項は
【００３７】
【数６】
2019215500.tif 000030
（６）
【００３８】
と書ける。ここで、
2019215500.tif 000031
を
2019215500.tif 000032
という関係式を通して
2019215500.tif 000033
に変数変換できることを用いている。ただし、
2019215500.tif 000034
は要素ごとの積を表す。式(6)は、εに由来するランダム項を無視すると、x と
2019215500.tif 000035
の重み付き二乗誤差の負となっていることが分かる。また、式(1)の右辺第二項は
2019215500.tif 000036
のKL ダイバージェンスの負で与えられ、エンコーダネットワークの出力の各要素が独立にかつ正規分布に従うよう強制する正則化項として働く。以後、式(1)の右辺第一項を入力値復元誤差規準、第二項を潜在変数分布間距離規準と呼ぶ。
【００３９】
条件付VAE (Conditional VAE; CVAE) は
【００４０】
【数７】
2019215500.tif 000037
（７）
【００４１】
【数８】
2019215500.tif 000038
（８）
【００４２】
のようにエンコーダとデコーダを補助変数c を入力可能な形にしたVAE の拡張版である。このとき、最大化したい目的関数は、
【００４３】
【数９】
2019215500.tif 000039
（９）
【００４４】
となる。ただし、
2019215500.tif 000040
はすべての属性のデータ標本による標本平均を意味する。つまり、式(9) は
【００４５】
【数１０】
2019215500.tif 000041
（１０）
【００４６】
と同じ意味である。
【００４７】
＜CVAE による声質変換（従来法）＞
2019215500.tif 000042
を音響特徴量（メルケプストラム係数など）、ｃを属性コードとすると、非パラレル声質変換の問題はCVAE により定式化することができる（非特許文献１、２）。学習データを
2019215500.tif 000043
とすると、エンコーダは属性コードcnを手がかりに音響特徴量xn を潜在変数zn に変換する関数を学習し、デコーダは属性コードcn を手がかりに潜在変数zn から音響特徴量^xn を再構成する関数を学習する。学習が完了したら変換元となる音声の各フレームにおける音響特徴量をエンコーダに入力し、生成された潜在変数とともにデコーダに目標属性コードを入力して音響特徴量を再構成することで、目標属性をもった音響特徴量の系列を得ることができる。あとはこれを時間領域信号に変換すれば良い。
【００４８】
＜時系列CVAE による声質変換（従来法）＞
音声は文脈や発話内容に応じて話し方や声質の変化の仕方は異なる。よって、音響特徴量を変換する関数は、時間依存性を有する（入力音声と出力音声の音響特徴量系列の履歴に依存して決定される）ことが望ましい。しかし、上述の方法は、各フレーム独立に音響特徴量の変換が行われるため、音響特徴量系列の時間依存関係を捉えた変換を行う方法となっていなかった。そこで、音声の音響特徴量の時間依存性を捉えた変換を行えるようにCVAE の入力と出力を時系列データを想定した形に拡張する。具体的にはエンコーダとデコーダのネットワークをそれぞれCNN（ゲート付きCNNなど）やRNN（LSTM など）によりモデル化する。ここでは発話m の音響特徴量系列を
2019215500.tif 000044
とし、属性コードをcm とする。学習データを
2019215500.tif 000045
とし、エンコーダは発話m ごとに属性コードcmを手がかりに音響特徴量系列xmを潜在変数系列
2019215500.tif 000046
に変換する関数を学習し、デコーダは属性コードcm を手がかりに潜在変数系列zm から音響特徴量系列^xm を再構成する関数を学習する。学習を完了したら変換元となる属性の発話の音響特徴量系列をエンコーダに入力し、生成された潜在変数系列とともにデコーダに目標属性コードを入力して音響特徴量系列を再構成することで、目標属性をもった音響特徴量系列を得ることができる。あとはこれを時間領域信号に変換すれば良い。エンコーダとデコーダのネットワーク構造としては、例えばCNN やRNN などを用いることができる。CNN の場合、xm を1チャネルのサイズがQ×Nm の画像と見なして2次元CNN を適用する場合と、Q チャネルのサイズが1×Nm の画像と見なして1次元CNN を適用する場合が考えられる。また、CNN に各層をゲート付き線形ユニット(Gated Linear Unit; GLU) としたゲート付きCNN、RNN の亜種として長期短期記憶(Long Short-Term Memory; LSTM) を用いることもできる。ゲート付きCNN は、元々単語列の予測モデルとして最初に導入され、同条件の実験でLSTMを超える単語予測性能を発揮することが報告されている。エンコーダの第l層の出力をhlとすると、ゲート付きCNNではhlを
【００４９】
【数１１】
2019215500.tif 000047
（１１）
【００５０】
と表す。ただし、σは要素毎シグモイド関数を表し、Kl を第l層のチャネル数、Qwl×Nwl およびQvl×Nvl を第l層の線形ユニットおよびゲートユニットにおけるフィルタサイズとすると、
2019215500.tif 000048
が推定すべきパラメータとなる。これを要素ごとに表記すると
【００５１】
【数１２】
2019215500.tif 000049
（１２）
【００５２】
となる。以上はデコーダも同様で、デコーダのパラメータを
2019215500.tif 000050
とする。エンコーダとデコーダの出力層（第L層）については例えば線形層
【００５３】
【数１３】
2019215500.tif 000051
（１３）
【００５４】
【数１４】
2019215500.tif 000052
（１４）
【００５５】
【数１５】
2019215500.tif 000053
（１５）
【００５６】
【数１６】
2019215500.tif 000054
（１６）
【００５７】
を用いることができる。
【００５８】
＜InfomaxCVAE 声質変換（本発明の実施の形態の方法）＞
＜学習方法I＞
従来のCVAE ではエンコーダとデコーダが属性コードc を補助入力として受け付ける形をとることで潜在変数系列の条件付分布
2019215500.tif 000055
および音響特徴量系列の条件付分布
2019215500.tif 000056
を学習することが可能になるが、従来の学習規準のみではエンコーダとデコーダの関数としての複雑度や表現能力によっては
2019215500.tif 000057
が属性コードc に独立になるように学習される可能性がある。例えば、エンコーダとデコーダによる入力x の変換プロセスが恒等写像となるような場合が分かりやすい。この場合、モデルはいかなる入力x も補助入力c に頼ることなく表現できるため、
2019215500.tif 000058
が属性コードc に依らない
2019215500.tif 000059
のような状況となる。このように学習されたモデルに、c を目標属性に設定した上で音響特徴系列を入力したとしても、c の影響を受けることなく入力値がそのままデコーダから生成されてしまい、変換効果が生まれないことになる。以上のような状況を回避するため、本発明の実施の形態では、属性コードc のデコーダ出力への影響力ができるだけ大きくなるよう属性コードcとデコーダ出力の相互情報量(Mutual Information) を考慮に入れた学習方法を提案する。この方法をInformation Maximizing CVAE (InfomaxCVAE)と呼ぶ。
【００５９】
本発明の実施の形態の方法では、式(1) の従来のCVAE の学習規準とともに、潜在変数z と属性コードc を入力としたときのデコーダの出力x と属性c の相互情報量
【００６０】
【数１７】
2019215500.tif 000060
（１７）
【００６１】
もできるだけ大きくなるようにエンコーダおよびデコーダを学習することを考える。ただし、H(c)はc のエントロピーを表し、エンコーダNN やデコーダNN のパラメータに依らない定数である。式(17)のように、相互情報量I(c; x) はc の事後分布
2019215500.tif 000061
を含んだ形として書けるが、この分布を解析的に記述することは難しいため、式(17) を直接大きくするようにエンコーダとデコーダを学習することは難しい。そこで、補助分布
2019215500.tif 000062
を導入し、
2019215500.tif 000063
を用いてI(c; x) の下界が
【００６２】
【数１８】
2019215500.tif 000064
【００６３】
で与えられることを利用する。この不等式の等号は、
2019215500.tif 000065
のときに成立するため、
2019215500.tif 000066
を変数として扱い、
2019215500.tif 000067
に関して右辺を大きくすることは、
2019215500.tif 000068
を近似すること、かつI(c; x) を右辺で近似することに相当する。よって、エンコーダとデコーダとともに補助分布
2019215500.tif 000069
に関して式(18) の右辺を大きくしていくことで、間接的に相互情報量I(c; x) を大きくすることができる。補助分布
2019215500.tif 000070
はx の属性c らしさを表すいわば属性識別器と見なせる。本方法ではこの
2019215500.tif 000071
をNNで表現し、そのパラメータψをエンコーダNNとデコーダNNのパラメータφ、θとともに学習する。以後、パラメータψのNN で表された補助分布
2019215500.tif 000072
と表す。式(17) はエンコーダより生成された潜在変数z が与えられた下でのデコーダ入出力間の条件付相互情報量を表したものであったので、エンコーダ入力
2019215500.tif 000073
およびエンコーダ出力zに関する式(18) 右辺の期待値
【００６４】
【数１９】
2019215500.tif 000074
（１９）
【００６５】
が最大化したい規準となる。この規準は、学習データ
2019215500.tif 000075
の各サンプルをエンコーダに入力したときにエンコーダから生成される潜在変数z とランダムに選んだ属性c をデコーダに入力したときにデコーダから生成されるxが、属性識別器rに正しく属性c のものと識別される場合に大きい値をとる規準となっている。よって、この規準が大きくなるように各パラメータを学習することで、デコーディングプロセスにおいて補助入力c の影響が強く反映されるようなモデルを得ることができる。なお、式(18) の最後の段の等式は以下の等式により示される。
【００６６】
【数２０】
2019215500.tif 000076
（２０）
【００６７】
以上より、InfomaxCVAEの学習規準は
【数２１】
2019215500.tif 000077
（２１）
【００６８】
となり、この規準を用いたエンコーダ、デコーダ、属性識別器の学習は各々のNNパラメータφ、θ、ψを誤差逆伝播法により反復更新することにより行うことができる。
【００６９】
＜学習方法II＞
属性識別器
2019215500.tif 000078
は属性コードが付与された学習データ
2019215500.tif 000079
から直接学習することもできるので、例えば
2019215500.tif 000080
に対する識別スコア
【００７０】
【数２２】
2019215500.tif 000081
（２２）
【００７１】
を学習規準に含めることもできる。従って、この場合のInfomaxCVAE の学習規準は
【００７２】
【数２３】
2019215500.tif 000082
（２３）
【００７３】
となる。上記学習方法Iと同様、エンコーダ、デコーダ、属性識別器の学習は各々のNN パラメータφ、θ、ψを誤差逆伝播法により反復更新することにより行うことができる。
【００７４】
あるいは属性識別器
2019215500.tif 000083
を
2019215500.tif 000084
のみを規準として学習しても良い。この場合、φとθに関しては
2019215500.tif 000085
が大きくなるように学習し、ψに関しては
2019215500.tif 000086
が大きくなるように学習する。
【００７５】
＜属性コードと属性識別器について＞
ここで、属性はI個のカテゴリからなり、各カテゴリは複数のクラスからなるものとする。従って、属性c はI 個のクラスラベルによって表現される。例えばc は、各カテゴリ中の該当クラスを示したone-hot ベクトル（要素の一つが１で、それ以外の要素がすべて０のベクトル）を結合したバイナリベクトル
【００７６】
【数２４】
2019215500.tif 000087
（２４）
【００７７】
【数２５】
2019215500.tif 000088
（２５）
【００７８】
で表すことができる。例えばi が「話者」カテゴリであればj = 1，・・・，J は話者ID となり、i が「性別」カテゴリであればj = 1，2は男性／女性を表す。
【００７９】
2019215500.tif 000089
は、
2019215500.tif 000090
のような関数とし、音響特徴量系列
2019215500.tif 000091
を画像と見なしたときにx が各パッチ(q′，n′) においてどれくらいカテゴリi のクラスj らしいかを表す確率を出力する関数と見なす。Q′=1 のときは時刻n′ごとに各クラスの確率が一つ割り当てられ、さらにN′=1のときは音響特徴量系列xの全体に対し各クラスの確率が一つ割り当てられる。
【００８０】
＜NNの構成＞
音声は文脈や発話内容に応じて話し方や声質の変化の仕方は異なる。よって、音響特徴量を変換する関数は、時間依存性を有する（入力音声と出力音声の音響特徴量系列の履歴に依存して決定される）ことが望ましい。そこで、本発明の実施の形態では、音声の音響特徴量の時間依存性を捉えた変換や識別を行えるようにエンコーダ、デコーダ、属性識別器の各々のNNを長短期記憶(Long Short-Term Memory;LSTM) や双方向LSTM(Birectional LSTM; BiLSTM)などのRNN や時間方向の畳み込みを含むCNNまたはゲート付きCNNなどによりモデル化する。
【００８１】
＜変換方法（本発明の実施の形態の方法）＞
音響特徴ベクトルとしては、
(A1) 対数振幅スペクトルを要素としたベクトル
(A2) メルケプストラム係数を要素としたベクトル
(A3) 線形予測係数を要素としたベクトル
(A4) 偏自己相関係数(Partial Correlation; PARCOR)係数を要素としたベクトル
(A5) 線スペクトル対(Line Spectral Pair; LSP)パラメータを要素としたベクトル
などを用いることができる。(A1)はSTFTやウェーブレット変換などの時間周波数解析、(A2)はメルケプストラム分析、(A3)は線形予測分析、(A4)はPARCOR分析、(A5)はLSP分析を用いることにより得ることができる。また、(A1)はSTRAIGHT 分析、WORLD分析などにより得られるスペクトル包絡としても良く、(A2−A5)もスペクトル包絡に対しそれぞれの分析により得られたものとしても良い。例えば、以下の(B1−B5)を音響特徴ベクトルとして用いても良い。
【００８２】
(B1) 対数スペクトル包絡を要素としたベクトル
(B2) B1より得られるメルケプストラム係数を要素としたベクトル
(B3) B1より得られる線形予測係数を要素としたベクトル
(B4) B1より得られるPARCOR係数を要素としたベクトル
(B5) B1より得られるLSPパラメータを要素としたベクトル
【００８３】
φ、θの学習完了後、入力音声の属性コードcと音響特徴量系列xをエンコーダに入力し、エンコーダの出力と目標属性コードc′をデコーダに入力することで変換音声の音響特徴量系列^x を得ることができる。このプロセスは
【００８４】
【数２６】
2019215500.tif 000092
（２６）
【００８５】
と表される。以上により得られる^x から時間領域信号を得ることにより変換音声を得ることができる。これは、音響特徴量として(A1)を用いる場合は時間周波数解析の逆変換（逆STFT、ウェーブレット逆変換など）、(A2)‐(A5)、(B1)‐(B5)を用いる場合はボコーダを用いることにより実現できる。
【００８６】
以上の方法で得られる^x は過剰に平滑化される傾向にあるため、以下の方法を用いても良い。
【００８７】
まず、
【００８８】
【数２７】
2019215500.tif 000093
（２７）
【００８９】
により入力音声の再構成音響特徴量系列を得る。これにより得られる~x もまた過剰に平滑化されるが、このことを利用して、^x と~x からスペクトルゲイン系列を算出した上で、これを入力音声のスペクトル系列またはスペクトル包絡系列にフレームごとに乗じることで変換音声のスペクトル系列またはスペクトル包絡系列を得ることができる。また、各フレームのスペクトルゲインを時間領域に変換してインパルス応答を得た上で入力音声の時間領域信号にフレームごとにインパルス応答を畳み込むことで変換音声の時間領域信号を直接得ることもできる。
【００９０】
＜本発明の実施の形態に係る音声変換学習装置の構成＞
次に、本発明の実施の形態に係る音声変換学習装置の構成について説明する。図１に示すように、本発明の実施の形態に係る音声変換学習装置１００は、ＣＰＵと、ＲＡＭと、後述する音声変換学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この音声変換学習装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。
【００９１】
入力部１０は、変換元の音声信号と、変換元の音声信号における潜在変数系列とのパラレルデータ、及び変換元の音声信号の属性を示す属性コードを受け付ける。なお、変換元の音声信号の属性を示す属性コードは、人手で与えておけばよい。また、音声信号の属性とは、例えば、性別、大人／子供、話者ＩＤ、母語話者か否か（出身）、発話ムードの種類（怒り、悲しみなど）、発話モード（講演風、自由発話風など）などである。
【００９２】
演算部２０は、音響特徴抽出部３０と、学習部３２を含んで構成されている。
【００９３】
音響特徴抽出部３０は、入力された変換元の音声信号から、音響特徴量系列を抽出する。
【００９４】
学習部３２は、変換元の音声信号における音響特徴量系列と、前記変換元の音声信号における潜在変数系列とのパラレルデータ、及び変換元の音声信号の属性を示す属性コードに基づいて、音響特徴量系列及び属性コードを入力として潜在変数系列を推定するエンコーダ、及び潜在変数系列及び属性コードを入力として音響特徴量系列を再構成するデコーダを学習する。
【００９５】
具体的には、学習部３２は、デコーダによって再構成された音響特徴量系列と、パラレルデータの変換元の音声信号における音響特徴量系列との誤差、エンコーダによって推定された潜在変数系列と、パラレルデータの変換元の音声信号における潜在変数系列との距離、任意の属性コードを入力として前記デコーダによって再構成された前記音響特徴量系列について、属性識別器によって識別される前記任意の属性コードらしさを用いて表される、上記（２１）式の目的関数の値を最大化するように、エンコーダ、デコーダ、及び属性識別器を学習し、出力部５０に出力する。ここで、エンコーダ、デコーダ、及び属性識別器の各々は、畳み込みネットワーク又は再帰型ネットワークを用いて構成される。
【００９６】
例えば、エンコーダ、デコーダ、及び属性識別器の各々は、ゲート付きＣＮＮを用いて構成され、各畳み込み層の出力ｈｌは、上記（１１）式で表わされる。
【００９７】
なお、目的関数が、上記（２３）式に示すように、前記変換元の音声信号における音響特徴量系列についての、前記属性識別器によって識別される、前記変換元の音声信号の属性を示す属性コードらしさを更に用いて表されてもよい。
【００９８】
また、エンコーダ及びデコーダについて、上記（２１）式の目的関数の値を最大化するように学習すると共に、属性識別器について、上記（２２）式の値を最大化するように学習してもよい。
【００９９】
＜本発明の実施の形態に係る音声変換装置の構成＞
次に、本発明の実施の形態に係る音声変換装置の構成について説明する。図２に示すように、本発明の実施の形態に係る音声変換装置１５０は、ＣＰＵと、ＲＡＭと、後述する音声変換処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この音声変換装置１５０は、機能的には図２に示すように入力部６０と、演算部７０と、出力部９０とを備えている。
【０１００】
入力部６０は、変換元の音声信号と、変換元の音声信号の属性を示す属性コードと、目標の音声信号の属性を示す属性コードとを、入力として受け付ける。なお、変換元の音声信号の属性を示す属性コードと、目標の音声信号の属性を示す属性コードとは人手で与えればよい。また、変換元の音声信号の属性を示す属性コードに関しては、変換元の音声信号から自動的に抽出するようにしてもよい。
【０１０１】
演算部７０は、音響特徴抽出部７２と、エンコーダ計算部７４と、デコーダ計算部７６と、変換音声生成部７８とを含んで構成されている。
【０１０２】
音響特徴抽出部７２は、入力された変換元の音声信号から、音響特徴量系列を抽出する。
【０１０３】
エンコーダ計算部７４は、音声変換学習装置１００により学習されたエンコーダを用いて、音響特徴抽出部７２により抽出された音響特徴量系列及び入力部６０で受け付けた属性コードから、潜在変数系列を推定する。
【０１０４】
デコーダ計算部７６は、音声変換学習装置１００により学習されたデコーダを用いて、推定された潜在変数系列と、入力された目標の音声信号の属性を示す属性コードとから、上記（２６）式に従って、目標の音声信号の音響特徴量系列を推定する。
【０１０５】
変換音声生成部７８は、推定された目標の音声信号の音響特徴量系列から、時間領域信号を生成し、目標の音声信号として出力部９０により出力する。
【０１０６】
なお、上記（２６）式に従って、エンコーダおよびデコーダで入力音声の音響特徴量系列を目標属性になるように変換した音響特徴量系列と、上記（２７）式に従って、エンコーダおよびデコーダで入力音声と同一の属性になるように変換した音響特徴量系列との間の変化量に基づいて属性変換に伴うスペクトルゲイン関数を算出し、これを入力音声のスペクトル系列又はスペクトル包絡系列にフレーム毎に乗じて、目標の音声信号のスペクトル系列又はスペクトル包絡系列を求め、目標の音声信号の時間領域信号を生成するようにしてもよい。
【０１０７】
＜本発明の実施の形態に係る音声変換学習装置の作用＞
次に、本発明の実施の形態に係る音声変換学習装置１００の作用について説明する。入力部１０により、変換元の音声信号と、変換元の音声信号における潜在変数系列とのパラレルデータ、及び変換元の音声信号の属性を示す属性コードを受け付けると、音声変換学習装置１００は、図３に示す音声変換学習処理ルーチンを実行する。
【０１０８】
まず、ステップＳ１００では、入力された変換元の音声信号から、音響特徴量系列を抽出する。
【０１０９】
次に、ステップＳ１０２では、変換元の音声信号における音響特徴量系列と、前記変換元の音声信号における潜在変数系列とのパラレルデータ、及び変換元の音声信号の属性を示す属性コードに基づいて、エンコーダ、デコーダ、及び属性識別器を学習し、学習結果を出力部５０により出力して、音声変換学習処理ルーチンを終了する。
【０１１０】
＜本発明の実施の形態に係る音声変換装置の作用＞
次に、本発明の実施の形態に係る音声変換装置１５０の作用について説明する。入力部６０により、音声変換学習装置１００による学習結果を受け付ける。また、入力部６０により、変換元の音声信号と、変換元の音声信号の属性を示す属性コードと、目標の音声信号の属性を示す属性コードとを受け付けると、音声変換装置１５０は、図４に示す音声変換処理ルーチンを実行する。
【０１１１】
まず、ステップＳ１５０では、入力された変換元の音声信号から、音響特徴量系列を抽出する。
【０１１２】
次に、ステップＳ１５２では、音声変換学習装置１００により学習されたエンコーダを用いて、音響特徴抽出部７２により抽出された音響特徴量系列及び入力部６０で受け付けた属性コードから、潜在変数系列を推定する。
【０１１３】
次に、ステップＳ１５４では、音声変換学習装置１００により学習されたデコーダを用いて、推定された潜在変数系列と、入力された目標の音声信号の属性を示す属性コードとから、目標の音声信号の音響特徴量系列を推定する。
【０１１４】
ステップＳ１５６では、推定された目標の音声信号の音響特徴量系列から、時間領域信号を生成し、目標の音声信号として出力部９０により出力して、音声変換処理ルーチンを終了する。
【０１１５】
＜実験結果＞
本発明の実施の形態の手法による音声変換の音質と変換効果を確認するため、Voice Conversion Challenge (VCC) 2018 の4 話者の音声データ（女性話者VCC2SF1、男性話者VCC2SM1、女性話者VCC2SF2、男性話者VCC2SM2）を用いて話者性変換実験を行った。よってここでは属性コードは話者ID に対応する4 次元のone-hot ベクトルとした。各話者につき81 文を学習データ、35 文をテストデータとし、全音声信号のサンプリング周波数は22050Hz とした。各発話に対し、WORLD分析によりスペクトル包絡、基本周波数(F0)、非周期性指標の抽出を行い、抽出したスペクトル包絡系列に対し35 次のメルケプストラム分析を行った。F0 に関しては、変換目標音声の学習データから有声区間における対数F0 の平均msrc と標準偏差σsrc、変換元音声の学習データから有声区間における対数F0 の平均mtrg と標準偏差σsrc を算出し、入力音声の対数F0 パターンy(0)，…，y(N‐1) を
【０１１６】
【数２８】
2019215500.tif 000094
（２８）
【０１１７】
のように変換した。本実験ではエンコーダ、デコーダ、属性識別器のネットワーク構造を表１のとおりとした。各表の1列目は各層のタイプ、2列目は各層への入力のチャネル数およびサイズ、3列目は各層の出力のチャネル数およびサイズ、4 列目はフィルタサイズ、5 列目は畳み込みのストライド、6列目は活性化関数のタイプ（GLU はGated Linear Unit、BN はBatch Normalization の略記）を表す。
【０１１８】
【表１】
2019215500.tif 000095
【０１１９】
エンコーダとデコーダの各層の入力の( + 4)ch は属性コードcの補助入力チャネルを意味し、エンコーダとデコーダの出力の(× 2)ch はガウス分布の平均と対数分散に対応するチャネルを意味する。
【０１２０】
図５のテストデータに対し、本発明の実施の形態の方法で変換した音声の音響特徴量系列を図７に示し、非特許文献１に記載の従来法（CVAE 方式）で変換した音声の音響特徴量系列を図８に示し、その改良版である非特許文献２に記載の従来法で変換した音声の音響特徴量系列を図９に示す。また、図６にテストデータと発話文が同一の変換目標音声の音響特徴量系列を示す。図７〜９からも分かるように、二つの従来法と比較して、本発明の実施の形態の方法ではより図６に近い音響特徴量系列の変換音声が得られることを確認した。また、これらの音響特徴量系列から生成した音声信号を聞き比べても、本発明の実施の形態の方法により従来方法に比べて高品質かつ変換目標話者に類似した声質の音声が得られることを確認した。
【０１２１】
以上説明したように、本発明の実施の形態に係る音声変換学習装置によれば、音響特徴量系列及び属性コードを入力として潜在変数系列を推定するエンコーダ、及び潜在変数系列及び属性コードを入力として音響特徴量系列を再構成するデコーダを、デコーダによって再構成された音響特徴量系列と、パラレルデータの変換元の音声信号における音響特徴量系列との誤差、エンコーダによって推定された潜在変数系列と、パラレルデータの変換元の音声信号における潜在変数系列との距離、並びに、任意の属性コードを入力としてデコーダによって再構成された音響特徴量系列について、属性識別器によって識別される任意の属性コードらしさを用いて表される目的関数の値を最大化するように学習することにより、所望の属性の音声に変換することができる変換関数を学習できる。
【０１２２】
また、本発明の実施の形態に係る音声変換装置によれば、デコーダによって再構成された音響特徴量系列と、パラレルデータの変換元の音声信号における音響特徴量系列との誤差、エンコーダによって推定された潜在変数系列と、パラレルデータの変換元の音声信号における潜在変数系列との距離、並びに、任意の属性コードを入力としてデコーダによって再構成された音響特徴量系列について、属性識別器によって識別される任意の属性コードらしさを用いて表される目的関数の値を最大化するように予め学習されたエンコーダ及びデコーダを用いて、エンコーダにより、入力された変換元の音声信号における音響特徴量系列と、変換元の音声信号の属性を示す属性コードとから、潜在変数系列を推定し、デコーダにより、推定された潜在変数系列と、入力された目標の音声信号の属性を示す属性コードとから、目標の音声信号の音響特徴量系列を推定することにより、所望の属性の音声に変換することができる。
【０１２３】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１２４】
例えば、上述した実施の形態では、音声変換学習装置及び音声変換装置を別々の装置として構成しているが、一つの装置として構成してもよい。
【０１２５】
また、上述の音声変換学習装置、音声変換装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０１２６】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【０１２７】
１０ 入力部
２０ 演算部
３０ 音響特徴抽出部
３２ 学習部
５０ 出力部
６０ 入力部
７０ 演算部
７２ 音響特徴抽出部
７４ エンコーダ計算部
７６ デコーダ計算部
７８ 変換音声生成部
９０ 出力部
１００ 音声変換学習装置
１５０ 音声変換装置
【図１】
2019215500.tif 000096
【図２】
2019215500.tif 000097
【図３】
2019215500.tif 000098
【図４】
2019215500.tif 000099
【図５】
2019215500.tif 000100
【図６】
2019215500.tif 000101
【図７】
2019215500.tif 000102
【図８】
2019215500.tif 000103
【図９】
2019215500.tif 000104