(57)【要約】【課題】所望の属性の音声に変換することができる。【解決手段】変換元の音声信号における音響特徴ベクトル系列と、変換元の音声信号における潜在ベクトル系列とのパラレルデータ、及び変換元の音声信号の属性を示す属性ラベルに基づいて、音響特徴ベクトル系列及び属性ラベルを入力として潜在ベクトル系列を推定するエンコーダ、及び潜在ベクトル系列及び属性ラベルを入力として音響特徴ベクトル系列を再構成するデコーダを学習する。【選択図】図１
2019144402.tif 000002
【特許請求の範囲】
【請求項１】
変換元の音声信号における音響特徴ベクトル系列と、前記変換元の音声信号における潜在ベクトル系列とのパラレルデータ、及び前記変換元の音声信号の属性を示す属性ラベルに基づいて、音響特徴ベクトル系列及び属性ラベルを入力として潜在ベクトル系列を推定するエンコーダ、及び前記潜在ベクトル系列及び属性ラベルを入力として音響特徴ベクトル系列を再構成するデコーダを学習する学習部
を含む音声変換学習装置。
【請求項２】
前記学習部は、前記デコーダによって再構成された前記音響特徴ベクトル系列と、前記パラレルデータの変換元の音声信号における音響特徴ベクトル系列との誤差、並びに、前記エンコーダによって推定された前記潜在ベクトル系列と、前記パラレルデータの前記変換元の音声信号における潜在ベクトル系列との距離を用いて表される目的関数の値を最大化するように、前記エンコーダ及び前記デコーダを学習する請求項１記載の音声変換学習装置。
【請求項３】
前記エンコーダ及び前記デコーダの各々は、畳み込みネットワーク又は再帰型ネットワークを用いて構成される請求項１又は２記載の音声変換学習装置。
【請求項４】
音響特徴ベクトル系列及び属性ラベルを入力として潜在ベクトル系列を推定するエンコーダを用いて、入力された変換元の音声信号における音響特徴ベクトル系列と、前記変換元の音声信号の属性を示す属性ラベルとから、潜在ベクトル系列を推定するエンコーダ計算部と、
前記潜在ベクトル系列及び属性ラベルを入力として音響特徴ベクトル系列を再構成するデコーダを用いて、前記推定された潜在ベクトル系列と、入力された目標の音声信号の属性を示す属性ラベルとから、目標の音声信号の音響特徴ベクトル系列を推定するデコーダ計算部と、
を含む音声変換装置。
【請求項５】
前記エンコーダ及び前記デコーダは、
変換元の音声信号における音響特徴ベクトル系列と、前記変換元の音声信号における潜在ベクトル系列とのパラレルデータ、及び前記変換元の音声信号の属性を示す属性ラベルに基づいて、
前記デコーダによって再構成された前記音響特徴ベクトル系列と、前記パラレルデータの変換元の音声信号における音響特徴ベクトル系列との誤差、並びに、前記エンコーダによって推定された前記潜在ベクトル系列と、前記パラレルデータの前記変換元の音声信号における潜在ベクトル系列との距離を用いて表される目的関数の値を最大化するように予め学習されたものである請求項４記載の音声変換装置。
【請求項６】
学習部が、変換元の音声信号における音響特徴ベクトル系列と、前記変換元の音声信号における潜在ベクトル系列とのパラレルデータ、及び前記変換元の音声信号の属性を示す属性ラベルに基づいて、
音響特徴ベクトル系列及び属性ラベルを入力として潜在ベクトル系列を推定するエンコーダ、及び前記潜在ベクトル系列及び属性ラベルを入力として音響特徴ベクトル系列を再構成するデコーダを学習する
音声変換学習方法。
【請求項７】
エンコーダ計算部が、音響特徴ベクトル系列及び属性ラベルを入力として潜在ベクトル系列を推定するエンコーダを用いて、入力された変換元の音声信号における音響特徴ベクトル系列と、前記変換元の音声信号の属性を示す属性ラベルとから、潜在ベクトル系列を推定し、
デコーダ計算部が、前記潜在ベクトル系列及び属性ラベルを入力として音響特徴ベクトル系列を再構成するデコーダを用いて、前記推定された潜在ベクトル系列と、入力された目標の音声信号の属性を示す属性ラベルとから、目標の音声信号の音響特徴ベクトル系列を推定する
音声変換方法。
【請求項８】
コンピュータを、請求項１〜請求項３のいずれか１項に記載の音声変換学習装置、又は請求項４若しくは５に記載の音声変換装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声変換学習装置、音声変換装置、方法、及びプログラムに係り、特に、音声を変換するための音声変換学習装置、音声変換装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
入力音声の言語情報（発話文）を保持したまま非言語・パラ言語（話者性や発話様式など）のみを変換する技術を声質変換といい、テキスト音声合成の話者性変換、発声支援、音声強調、発音変換などへの応用が可能である。声質変換の問題は、変換元の音声の特徴量から変換目標の音声の特徴量への写像関数を推定する回帰分析の問題として定式化することができる。声質変換の従来法の中でも混合ガウス分布モデル(Gaussian Mixture Model; GMM) を用いた手法はその有効性と汎用性から広く用いられている。また、近年では、制約つきボルツマンマシン、フィードフォワード型ニューラルネットワーク(Neural Network; NN)、再帰型NN(Recurrent NN; RNN)、畳み込み型NN(Convolutional NN; CNN) などのNN 系の手法や非負値行列因子分解(Non-negative MatrixFactorization; NMF) などを用いた事例（Exemplar）ベースの手法の検討も進められている。これらの手法の多くは、パラレルデータを用いて変換音声の特徴量が目標音声の特徴量にできるだけ近くなるように変換関数の学習が行われる。しかし、用途によっては同一発話内容の変換元音声と目標音声のペアデータを用意することが難しい場面は多くある。また、仮にそのようなペアデータが用意できる場合でも、高い精度の時間整合が必要となり、これを自動処理で行う際は整合ミスを修正するため目視または手動によるプリスクリーニングが必要となる。
【０００３】
一方、パラレルデータを必ずしも必要としない方法も提案されている。一例は音声認識を用いた方法である。この方法では、変換元音声と変換目標音声において同一音素と認識された時間フレームの音声特徴量をペアとすることでパラレルデータを構築する。この方法は、音声認識が極めて高い精度で行えることが想定されるが、そのためには音声認識自体を学習するための大量の音声コーパスが必要となる場合があるため、利用場面によっては難点になりえる。話者性を変換するタスクに限定した__方法としては話者適応技術を用いるものがある。この方法は、変換元音声と変換目標音声のパラレルデータに関しては準備する必要はないが、話者空間を学習するための参照音声のパラレルデータは必要となる。また、近年、テキストラベルや参照音声などのデータや音声認識などのモジュールおよびパラレルデータを一切必要としない方法の検討も進められている。中でも条件付変分自己符号化器(Conditional Variational Autoencoder; CVAE) を用いた方式が有効な方法として提案されている（非特許文献１、２）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】C．-C． Hsu，H．-T．Hwang，Y．-C． Wu，Y．Tsao， and H．-M． Wang， "Voice conversion from non-parallel corpora using variational auto-encoder，" in Proc． APSIPA，2016， pp．1-6．
【非特許文献２】C．-C． Hsu, H．-T． Hwang， Y．-C． Wu， Y． Tsao, and H．-M． Wang, “Voice conversion from unaligned corpora using variational autoencodingWasserstein generative adversarial networks,” in Proc． In-terspeech, 2017, pp. 3364-3368．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしこれらの方法では、音声の短区間ごとの音響特徴量ごとの変換が独立に行われるため、音声のコンテキスト（発話内容や文脈といった大域的な時間依存性）やダイナミクス（局所的な時間依存性）を反映した変換を難しくしている。
【０００６】
本発明は、上記問題点を解決するために成されたものであり、所望の属性の音声に変換することができる変換関数を学習できる音声変換学習装置、方法、及びプログラムを提供することを目的とする。
【０００７】
また、所望の属性の音声に変換することができる音声変換装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明に係る音声変換学習装置は、変換元の音声信号における音響特徴ベクトル系列と、前記変換元の音声信号における潜在ベクトル系列とのパラレルデータ、及び前記変換元の音声信号の属性を示す属性ラベルに基づいて、音響特徴ベクトル系列及び属性ラベルを入力として潜在ベクトル系列を推定するエンコーダ、及び前記潜在ベクトル系列及び属性ラベルを入力として音響特徴ベクトル系列を再構成するデコーダを学習する学習部を含んで構成されている。
【０００９】
また、本発明に係る音声変換学習方法は、学習部が、変換元の音声信号における音響特徴ベクトル系列と、前記変換元の音声信号における潜在ベクトル系列とのパラレルデータ、及び前記変換元の音声信号の属性を示す属性ラベルに基づいて、音響特徴ベクトル系列及び属性ラベルを入力として潜在ベクトル系列を推定するエンコーダ、及び前記潜在ベクトル系列及び属性ラベルを入力として音響特徴ベクトル系列を再構成するデコーダを学習する。
【００１０】
また、本発明に係る音声変換装置は、音響特徴ベクトル系列及び属性ラベルを入力として潜在ベクトル系列を推定するエンコーダを用いて、入力された変換元の音声信号における音響特徴ベクトル系列と、前記変換元の音声信号の属性を示す属性ラベルとから、潜在ベクトル系列を推定するエンコーダ計算部と、前記潜在ベクトル系列及び属性ラベルを入力として音響特徴ベクトル系列を再構成するデコーダを用いて、前記推定された潜在ベクトル系列と、入力された目標の音声信号の属性を示す属性ラベルとから、目標の音声信号の音響特徴ベクトル系列を推定するデコーダ計算部と、を含んで構成されている。
【００１１】
また、本発明に係る音声変換方法は、エンコーダ計算部が、音響特徴ベクトル系列及び属性ラベルを入力として潜在ベクトル系列を推定するエンコーダを用いて、入力された変換元の音声信号における音響特徴ベクトル系列と、前記変換元の音声信号の属性を示す属性ラベルとから、潜在ベクトル系列を推定し、デコーダ計算部が、前記潜在ベクトル系列及び属性ラベルを入力として音響特徴ベクトル系列を再構成するデコーダを用いて、前記推定された潜在ベクトル系列と、入力された目標の音声信号の属性を示す属性ラベルとから、目標の音声信号の音響特徴ベクトル系列を推定する。
【００１２】
また、本発明に係るプログラムは、コンピュータを、上記発明に係る音声変換学習装置の各部、または上記発明に係る音声変換装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１３】
本発明の音声変換学習装置、方法、及びプログラムによれば、音響特徴ベクトル系列及び属性ラベルを入力として潜在ベクトル系列を推定するエンコーダ、及び前記潜在ベクトル系列及び属性ラベルを入力として音響特徴ベクトル系列を再構成するデコーダを学習することにより、所望の属性の音声に変換することができる変換関数を学習できる、という効果が得られる。
【００１４】
本発明の音声変換装置、方法、及びプログラムによれば、エンコーダを用いて、入力された変換元の音声信号における音響特徴ベクトル系列と、前記変換元の音声信号の属性を示す属性ラベルとから、潜在ベクトル系列を推定し、デコーダを用いて、前記推定された潜在ベクトル系列と、入力された目標の音声信号の属性を示す属性ラベルとから、目標の音声信号の音響特徴ベクトル系列を推定することにより、所望の属性の音声に変換することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態に係る音声変換学習装置の構成を示すブロック図である。
【図２】本発明の実施の形態に係る音声変換装置の構成を示すブロック図である。
【図３】本発明の実施の形態に係る音声変換学習装置における音声変換学習処理ルーチンを示すフローチャートである。
【図４】本発明の実施の形態に係る音声変換装置における音声変換処理ルーチンを示すフローチャートである。
【図５】（ａ）入力音声のメルケプストラム係数行列を示す図、（ｂ）本発明の実施の形態の手法による、入力音声の属性ラベルを与えた場合の変換音声のメルケプストラム係数行列を示す図、（ｃ）本発明の実施の形態の手法による、目標音声の属性ラベルを与えた場合の変換音声のメルケプストラム係数行列を示す図、（ｄ）入力音声に、目標音声の属性ラベルを与えた場合の変換音声の差分を加えた音声のメルケプストラム係数行列を示す図である。
【図６】実験結果を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１７】
＜本発明の実施の形態に係る概要＞
まず、本発明の実施の形態における概要を説明する。
【００１８】
本発明の実施の形態では、パラレルデータを必要としないパラレルデータフリーな声質変換手法を提案する。本発明の実施の形態の方法は、（１）テキストラベルや参照音声などのデータや音声認識などのモジュールを別途必要としない点、（２）従来の多くの声質変換法においてしばしば問題とされる音響パラメータの過剰平滑化が起こりにくい点、（３）変換元と変換目標の音声の時間依存性を捉えた変換が可能である点、を特長にもつ。
【００１９】
また、本発明の実施の形態の方法の特長は、CVAEの入力と出力を時系列データを想定した形に拡張し、エンコーダとデコーダのネットワークをそれぞれ畳み込みネットワークまたはゲート付き畳み込みネットワークによりモデル化することにより実現している点である。
【００２０】
＜本発明の実施の形態の原理＞
＜変分自己符号化器(Variational Autoencoder; VAE)＞
VAEはエンコーダとデコーダのニューラルネットワーク(Neural Network; NN)からなる確率的生成モデルである。エンコーダネットワークは入力データベクトルxが与えられた下での潜在変数ベクトルzの条件付分布q(zjx)のパラメータを出力するNNで、デコーダネットワークは潜在変数ベクトルz が与えられた下でのデータベクトルxの条件付分布p(xjz)のパラメータを出力するNNである。学習データを
2019144402.tif 000003
とすると、VAEはエンコーダ分布q(z｜x)が事後分布p(z｜x) /p(x｜z)p(z)とできるだけ一致するようにエンコーダとデコーダのNNパラメータを学習する。Jensenの不等式を用いることにより対数周辺尤度（エビデンス）log p(x) の下界
【００２１】
【数１】
2019144402.tif 000004
2019144402.tif 000005
【００２２】
が得られる。式(1)の左辺と右辺の差はq(z|x)とp(z|x)のKullback-Leibler (KL)ダイバージェンスKL[q(z|x)||p(z|x)] と等しく、
【００２３】
【数２】
2019144402.tif 000006
【００２４】
のとき最小となる。よって、式(1)の右辺を大きくすることはq(z|x)とp(z|x) ∝p(x|z)p(z)を近づけることに相当する。ここで、μφ(x),logσ2φ(x)をパラメータφのエンコーダネットワークの出力、μφ (z)，logσ2θ(z)をパラメータθのデコーダネットワークの出力とし、q(z|x),p(x|z)をそれぞれこれらを平均と分散とした正規分布、p(z)を標準正規分布
【００２５】
【数３】
2019144402.tif 000007
2019144402.tif 000008
2019144402.tif 000009
【００２６】
と仮定すると、式(1)の右辺第一項は
【００２７】
【数４】
2019144402.tif 000010
【００２８】
と書ける。ここで、z〜q(z|x)を
2019144402.tif 000011
という関係式を通して
2019144402.tif 000012
に変数変換できることを用いている。ただし、
2019144402.tif 000013
は要素ごとの積を表す。式(6)は、εに由来するランダム項を無視するとxとμθ(μφ(x))の重み付き二乗誤差の負となっていることが分かる。これがVAE（確率的な自己符号化器）と呼ばれる所以である。また、式(1)の右辺第二項はq(z|x)とp(z)=N(z|0, I)のKLダイバージェンスの負で与えられ、エンコーダネットワークの出力の各要素が独立にかつ正規分布に従うよう強制する正則化項として働く。
【００２９】
条件付VAE(Conditional VAE; CVAE) は
【００３０】
【数５】
2019144402.tif 000014
2019144402.tif 000015
【００３１】
のようにエンコーダとデコーダを補助変数yを入力可能な形にしたVAEの拡張版である。このとき、最大化したい目的関数は、
【００３２】
【数６】
2019144402.tif 000016
【００３３】
となる。
【００３４】
＜本発明の実施の形態の説明＞
＜CVAE による声質変換（従来法）＞
2019144402.tif 000017
を音響特徴（メルケプストラム係数など）ベクトル、yを属性ラベルに対応するone-hotベクトルとすると、パラレルデータフリー声質変換の問題はCVAEによる定式化することができる（非特許文献１、２）。学習データを{xn,yn}Nn=1とすると、エンコーダは属性ラベルyを手がかりに音響特徴ベクトルxnを潜在変数ベクトルznに変換する関数を学習し、デコーダは属性ラベルyを手がかりに潜在変数ベクトルznから音響特徴ベクトル^xnを再構成する関数を学習する。学習が完了したら変換元となる音声の音響特徴ベクトルをエンコーダに入力し、デコーダに目標属性ラベルを入力して音響特徴ベクトルを再構成することで、音響特徴ベクトルを変換することができる。
【００３５】
＜Sequence-to-Sequence CVAEによる声質変換（本発明の実施の形態の方法）＞
音声は文脈や発話内容に応じて話し方や声質の変化の仕方は異なる。よって、音響特徴ベクトルを変換する関数は、時間依存性を有する（入力音声と出力音声の音響特徴ベクトル系列の履歴に依存して決定される）ことが望ましい。しかし、上述の方法は、各フレーム独立に音響特徴ベクトルの変換が行われるため、音響特徴ベクトル系列の時間依存関係を捉えた変換を行う方法となっていなかった。そこで、本発明の実施の形態では音声の音響特徴ベクトルの時間依存性を捉えた変換を行えるように、CVAEの入力と出力を、時系列データを想定した形に拡張する。具体的にはエンコーダとデコーダのネットワークをそれぞれ畳み込みネットワークまたはゲート付き畳み込みネットワークによりモデル化する。
【００３６】
発話jの音響特徴ベクトル系列をXj =[x1,...，xNj]∈RD×Njとし、属性ラベルをyjとする。学習データを{Xj,yj}Jj=1とすると、エンコーダは発話jごとに属性ラベルyjを手がかりに音響特徴ベクトル系列Xjを潜在変数ベクトル系列Zj= [z1，．．．，zNzj]∈RDz×Nzjに変換する関数を学習し、デコーダは属性ラベルyjを手がかりに潜在変数ベクトル系列Zj から音響特徴ベクトル系列^Xjを再構成する関数を学習する。学習が完了したら変換元となる属性の発話の音響特徴ベクトル系列をエンコーダに入力し、デコーダに目標属性ラベルを入力して音響特徴ベクトル系列を再構成することで、音響特徴ベクトル系列を一挙に変換することができる。
【００３７】
エンコーダとデコーダのネットワーク構造としては、例えば畳み込みネットワーク(ConvolutionalNeural Network; CNN) や再帰型ネットワーク(Recurrent NN; RNN) などを用いることができる。
【００３８】
CNNの場合は、Xjを1チャネルのサイズがD×Njの画像と見なす場合は、2次元CNNとなり、XjをDチャネルのサイズが1×Njの画像と見なす場合は、1次元CNNとなる。また、CNNの亜種としてゲート付きCNN、RNNの亜種として長期短期記憶(Long Short-Term Memory; LSTM)を用いることもできる。ゲート付きCNNは、元々単語列の予測モデルとして最初に導入され、同条件の実験でLSTMを超える単語予測性能を発揮することが報告されている。第l層の出力をHlとすると、ゲート付きCNNではHlは
【００３９】
【数７】
2019144402.tif 000018
【００４０】
で与えられる。ただし、σは要素毎シグモイド関数を表し、Wl∈RDl×Dl-1×Nwl、Bl∈RDl×Nbj,l，Vl∈RDl×Dl-1×Nvl，Cl∈RDl×Ncj,lが推定すべきパラメータとなる。これを要素ごとに表記すると
【００４１】
【数８】
2019144402.tif 000019
【００４２】
となる。エンコーダとデコーダの出力層（第L層）については例えば線形層
【００４３】
【数９】
2019144402.tif 000020
2019144402.tif 000021
2019144402.tif 000022
2019144402.tif 000023
【００４４】
を用いることができる。
【００４５】
＜変換方法（本発明の実施の形態の方法）＞
音響特徴ベクトルとしては、
(A1) 対数振幅スペクトルを要素としたベクトル
(A2) メルケプストラム係数を要素としたベクトル
(A3) 線形予測係数を要素としたベクトル
(A4) 偏自己相関係数(Partial Correlation; PARCOR)係数を要素としたベクトル
(A5) 線スペクトル対(Line Spectral Pair; LSP)パラメータを要素としたベクトル
などを用いることができる。(A1)はSTFTやウェーブレット変換などの時間周波数解析、(A2)はメルケプストラム分析、(A3)は線形予測分析、(A4)はPARCOR分析、(A5)はLSP分析を用いることにより得ることができる。また、(A1)はSTRAIGHT 分析、WORLD分析などにより得られるスペクトル包絡としても良く、(A2−A5)もスペクトル包絡に対しそれぞれの分析により得られたものとしても良い。例えば、以下の(B1−B5)を音響特徴ベクトルとして用いても良い。
【００４６】
(B1) 対数スペクトル包絡を要素としたベクトル
(B2) B1より得られるメルケプストラム係数を要素としたベクトル
(B3) B1より得られる線形予測係数を要素としたベクトル
(B4) B1より得られるPARCOR係数を要素としたベクトル
(B5) B1より得られるLSPパラメータを要素としたベクトル
【００４７】
φ、θの学習完了後、入力音声の属性ラベルyと音響特徴ベクトル系列Xをエンコーダに入力し、エンコーダの出力と目標属性ラベルy′をデコーダに入力することで変換音声の音響特徴ベクトル系列^Xを得ることができる。このプロセスは
【００４８】
【数１０】
2019144402.tif 000024
【００４９】
と表される。以上により得られる^Xから時間領域信号を得ることにより変換音声を得ることができる。これは、音響特徴ベクトルとして(A1) を用いる場合は時間周波数解析の逆変換（逆STFT、ウェーブレット逆変換など）、(A2)-(A5)、(B1)-(B5)を用いる場合はボコーダを用いることにより実現できる。以上の方法で得られる^Xは過剰に平滑化される傾向にあるため、以下の方法を用いても良い。
【００５０】
まず、
【００５１】
【数１１】
2019144402.tif 000025
【００５２】
により入力音声の再構成音響特徴ベクトル系列を得ることができる。これにより得られる~Xもまた過剰に平滑化されるが、このことを利用して、^Xと~Xからスペクトルゲイン系列を算出した上で、これを入力音声のスペクトル系列またはスペクトル包絡系列にフレームごとに乗じることで変換音声のスペクトル系列またはスペクトル包絡系列を得ることができる。また、各フレームのスペクトルゲインを時間領域に変換してインパルス応答を得た上で入力音声の時間領域信号にフレームごとにインパルス応答を畳み込むことで変換音声の時間領域信号を直接得ることもできる。
【００５３】
＜本発明の実施の形態に係る音声変換学習装置の構成＞
次に、本発明の実施の形態に係る音声変換学習装置の構成について説明する。図１に示すように、本発明の実施の形態に係る音声変換学習装置１００は、ＣＰＵと、ＲＡＭと、後述する音声変換学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この音声変換学習装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。
【００５４】
入力部１０は、変換元の音声信号と、変換元の音声信号における潜在ベクトル系列とのパラレルデータ、及び変換元の音声信号の属性を示す属性ラベルを受け付ける。なお、変換元の音声信号の属性を示す属性ラベルは、人手で与えておけばよい。また、音声信号の属性とは、例えば、性別、大人／子供、話者ＩＤ、母語話者か否か（出身）、発話ムードの種類（怒り、悲しみなど）、発話モード（講演風、自由発話風など）などである。
【００５５】
演算部２０は、音響特徴抽出部３０と、学習部３２を含んで構成されている。
【００５６】
音響特徴抽出部３０は、入力された変換元の音声信号から、音響特徴ベクトル系列を抽出する。
【００５７】
学習部３２は、変換元の音声信号における音響特徴ベクトル系列と、前記変換元の音声信号における潜在ベクトル系列とのパラレルデータ、及び変換元の音声信号の属性を示す属性ラベルに基づいて、音響特徴ベクトル系列及び属性ラベルを入力として潜在ベクトル系列を推定するエンコーダ、及び潜在ベクトル系列及び属性ラベルを入力として音響特徴ベクトル系列を再構成するデコーダを学習する。
【００５８】
具体的には、学習部３２は、デコーダによって再構成された音響特徴ベクトル系列と、パラレルデータの変換元の音声信号における音響特徴ベクトル系列との誤差、並びに、エンコーダによって推定された潜在ベクトル系列と、パラレルデータの変換元の音声信号における潜在ベクトル系列との距離を用いて表される、上記（９）式の目的関数の値を最大化するように、エンコーダ及びデコーダを学習し、出力部５０に出力する。ここで、エンコーダ及びデコーダの各々は、畳み込みネットワーク又は再帰型ネットワークを用いて構成される。
【００５９】
例えば、エンコーダ及びデコーダの各々は、ゲート付きＣＮＮを用いて構成され、各畳み込み層の出力Ｈｌは、上記（１０）式で表わされる。
【００６０】
＜本発明の実施の形態に係る音声変換装置の構成＞
次に、本発明の実施の形態に係る音声変換装置の構成について説明する。図２に示すように、本発明の実施の形態に係る音声変換装置１５０は、ＣＰＵと、ＲＡＭと、後述する音声変換処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この音声変換装置１５０は、機能的には図２に示すように入力部６０と、演算部７０と、出力部９０とを備えている。
【００６１】
入力部６０は、変換元の音声信号と、変換元の音声信号の属性を示す属性ラベルと、目標の音声信号の属性を示す属性ラベルとを、入力として受け付ける。なお、変換元の音声信号の属性を示す属性ラベルと、目標の音声信号の属性を示す属性ラベルとは人手で与えればよい。また、変換元の音声信号の属性を示す属性ラベルに関しては、変換元の音声信号から自動的に抽出するようにしてもよい。
【００６２】
演算部７０は、音響特徴抽出部７２と、エンコーダ計算部７４と、デコーダ計算部７６と、変換音声生成部７８とを含んで構成されている。
【００６３】
音響特徴抽出部７２は、入力された変換元の音声信号から、音響特徴ベクトル系列を抽出する。
【００６４】
エンコーダ計算部７４は、音声変換学習装置１００により学習されたエンコーダを用いて、音響特徴抽出部７２により抽出された音響特徴ベクトル系列及び入力部６０で受け付けた属性ラベルから、潜在ベクトル系列を推定する。
【００６５】
デコーダ計算部７６は、音声変換学習装置１００により学習されたデコーダを用いて、推定された潜在ベクトル系列と、入力された目標の音声信号の属性を示す属性ラベルとから、目標の音声信号の音響特徴ベクトル系列を推定する。
【００６６】
変換音声生成部７８は、推定された目標の音声信号の音響特徴ベクトル系列から、時間領域信号を生成し、目標の音声信号として出力部９０により出力する。
【００６７】
＜本発明の実施の形態に係る音声変換学習装置の作用＞
次に、本発明の実施の形態に係る音声変換学習装置１００の作用について説明する。入力部１０により、変換元の音声信号と、変換元の音声信号における潜在ベクトル系列とのパラレルデータ、及び変換元の音声信号の属性を示す属性ラベルを受け付けると、音声変換学習装置１００は、図３に示す音声変換学習処理ルーチンを実行する。
【００６８】
まず、ステップＳ１００では、入力された変換元の音声信号から、音響特徴ベクトル系列を抽出する。
【００６９】
次に、ステップＳ１０２では、変換元の音声信号における音響特徴ベクトル系列と、前記変換元の音声信号における潜在ベクトル系列とのパラレルデータ、及び変換元の音声信号の属性を示す属性ラベルに基づいて、エンコーダ、及びデコーダを学習し、学習結果を出力部５０により出力して、音声変換学習処理ルーチンを終了する。
【００７０】
＜本発明の実施の形態に係る音声変換装置の作用＞
次に、本発明の実施の形態に係る音声変換装置１５０の作用について説明する。入力部６０により、音声変換学習装置１００による学習結果を受け付ける。また、入力部６０により、変換元の音声信号と、変換元の音声信号の属性を示す属性ラベルと、目標の音声信号の属性を示す属性ラベルとを受け付けると、音声変換装置１５０は、図４に示す音声変換処理ルーチンを実行する。
【００７１】
まず、ステップＳ１５０では、入力された変換元の音声信号から、音響特徴ベクトル系列を抽出する。
【００７２】
次に、ステップＳ１５２では、音声変換学習装置１００により学習されたエンコーダを用いて、音響特徴抽出部７２により抽出された音響特徴ベクトル系列及び入力部６０で受け付けた属性ラベルから、潜在ベクトル系列を推定する。
【００７３】
次に、ステップＳ１５４では、音声変換学習装置１００により学習されたデコーダを用いて、推定された潜在ベクトル系列と、入力された目標の音声信号の属性を示す属性ラベルとから、目標の音声信号の音響特徴ベクトル系列を推定する。
【００７４】
ステップＳ１５６では、推定された目標の音声信号の音響特徴ベクトル系列から、時間領域信号を生成し、目標の音声信号として出力部９０により出力して、音声変換処理ルーチンを終了する。
【００７５】
＜実験結果＞
本発明の実施の形態の手法による音声変換の音質と変換効果を確認するため、Voice Conversion Challenge (VCC)2016の音声データ（女性話者SF1と女性話者TF2）を用いて声質変換実験を行った。実験データの216文のうち162文を学習データ、84文をテストデータとした。全音声信号のサンプリング周波数は16kHzとした。各発話に対し、WORLD分析によりスペクトル包絡、基本周波数(F0)、非周期性指標の抽出を行い、抽出したスペクトル包絡系列に対し26次のメルケプストラム分析を行った。F0に関しては、変換目標音声のデータから対数F0の平均mSF1と標準偏差dTF2、変換元音声のデータから対数F0の平均mSF1と標準偏差dSF1を算出し、入力音声の対数F0パターンy(0),...,y(N -1)を
【００７６】
【数１２】
2019144402.tif 000026
【００７７】
のように変換した。エンコーダとデコーダのネットワーク構成は表１のとおりとした。“convolution、32ch，1×12，↓ 2,GLU"はそれぞれ、層のタイプ、フィルタ数、フィルタサイズ、ストライド、活性化関数のタイプを表す。また、Nは入力系列のフレーム数である。
【００７８】
【表１】
2019144402.tif 000027
【００７９】
音質と変換効果の評価は、従来法（非特許文献３の方法）と提案法（本発明の実施の形態の方法）により得られた変換音声をA、Bとし、変換目標の実音声をXとしたABXテストにより行った。
【００８０】
[非特許文献３]T． Toda， A．W． Black， and K．Tokuda， "Voice conversion based on maximumlikelihood estimation of spectral parameter trajectory，” IEEE/ACM Trans． Audio Speech Lang． Process., vol. 15， no． 8， pp. 2222-2235, 2007．
【００８１】
被験者は6名で、各被験者にA、B、Xをそれぞれ10 発話ずつ提示し、それぞれの発話に対しAかBか「同等」かを選定させた。なお、従来法はパラレルデータを用いることを想定した方式のため、従来法に関してはパラレルデータを与える有利な条件で学習を行った。実験結果を表２と図６に示す。
【００８２】
【表２】
2019144402.tif 000028
【００８３】
表２と図６より、音質においては提案法の優位性が確認され、変換音声の目標話者との類似感は提案法と従来法で同等であった。これは不利な学習条件で得られた結果としては特筆すべきものである。図５に、入力音声および提案法による変換音声のメルケプストラム係数系列の例を示す。
【００８４】
以上説明したように、本発明の実施の形態に係る音声変換学習装置によれば、音響特徴ベクトル系列及び属性ラベルを入力として潜在ベクトル系列を推定するエンコーダ、及び潜在ベクトル系列及び属性ラベルを入力として音響特徴ベクトル系列を再構成するデコーダを学習することにより、所望の属性の音声に変換することができる変換関数を学習できる。
【００８５】
また、本発明の実施の形態に係る音声変換装置によれば、エンコーダを用いて、入力された変換元の音声信号における音響特徴ベクトル系列と、変換元の音声信号の属性を示す属性ラベルとから、潜在ベクトル系列を推定し、デコーダを用いて、推定された潜在ベクトル系列と、入力された目標の音声信号の属性を示す属性ラベルとから、目標の音声信号の音響特徴ベクトル系列を推定することにより、所望の属性の音声に変換することができる。
【００８６】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００８７】
例えば、上述した実施の形態では、音声変換学習装置及び音声変換装置を別々の装置として構成しているが、一つの装置として構成してもよい。
【００８８】
また、上述の音声変換学習装置、音声変換装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００８９】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【００９０】
１０   入力部
２０   演算部
３０   音響特徴抽出部
３２   学習部
５０   出力部
６０   入力部
７０   演算部
７２   音響特徴抽出部
７４   エンコーダ計算部
７６   デコーダ計算部
７８   変換音声生成部
９０   出力部
１００ 音声変換学習装置
１５０ 音声変換装置
【図１】
2019144402.tif 000029
【図２】
2019144402.tif 000030
【図３】
2019144402.tif 000031
【図４】
2019144402.tif 000032
【図５】
2019144402.tif 000033
【図６】
2019144402.tif 000034