(57)【特許請求の範囲】
【請求項１】
入力話者の音声の声質を目標話者の声質に変換する声質変換方法であって、
確率モデルであるＲＢＭ（Ｒｅｓｔｒｉｃｔｅｄ  Ｂｏｌｔｚｍａｎｎ  Ｍａｃｈｉｎｅ）を構成する可視素子層と隠れ素子層の２つの異層素子間の結合重みのうち、話者に依存しない重みを非依存重みとして推定する第１のステップと、
前記ＲＢＭにおいて前記非依存重みを固定した状態で、前記結合重みのうち、前記入力話者に依存する重みと、前記目標話者に依存する重みとをそれぞれ依存重みとして推定する第２のステップと、
可視素子層に入力される前記入力話者の音声と、前記入力話者の依存重みとに基づいて、隠れ素子層を推定する第３のステップと、
前記隠れ素子層と、前記目標話者の依存重みとに基づいて、可視素子層として出力される前記目標話者の音声を推定する第４のステップと
を含む声質変換方法。
【請求項２】
前記結合重みは、Ｓ（Ｓは２以上の整数）人の話者のそれぞれに対する０または１を示す要素からなるベクトルと、前記非依存重みと、Ｓ人のそれぞれの話者の依存重みとを用いた演算によって表わされる
請求項１に記載の声質変換方法。
【請求項３】
前記第１のステップでは、複数の話者から発話される互いに異なる発話内容の音声に基づいて、前記非依存重みを推定し、
前記第２のステップでは、前記入力話者と前記目標話者のそれぞれから発話される互いに異なる発話内容の音声に基づいて、前記入力話者の依存重みと、前記目標話者の依存重みとを推定する
請求項１または２に記載の声質変換方法。
【請求項４】
入力話者の音声の声質を目標話者の声質に変換する声質変換装置であって、
確率モデルであるＲＢＭ（Ｒｅｓｔｒｉｃｔｅｄ  Ｂｏｌｔｚｍａｎｎ  Ｍａｃｈｉｎｅ）を構成する可視素子層と隠れ素子層の２つの異層素子間の結合重みのうち、話者に依存しない重みを非依存重みとして推定する非依存重み推定部と、
前記ＲＢＭにおいて前記非依存重みを固定した状態で、前記結合重みのうち、前記入力話者に依存する重みと、前記目標話者に依存する重みとをそれぞれ依存重みとして推定する依存重み推定部と、
可視素子層に入力される前記入力話者の音声と、前記入力話者の依存重みとに基づいて、隠れ素子層を推定する隠れ素子推定部と、
前記隠れ素子層と、前記目標話者の依存重みとに基づいて、可視素子層として出力される前記目標話者の音声を推定する可視素子層推定部と
を備える声質変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力話者の音声の声質を、入力話者以外の人の声質に変換する方法および装置などに関する。
【背景技術】
【０００２】
近年、音声信号処理の分野の中でも、声質変換技術が盛んに研究されている。この声質変換技術は、入力話者の音声の音韻情報を保存したまま、話者性に関する情報のみを、出力話者（つまり目標話者）の情報へ変換させる技術である。その背景として、雑音環境下や感情音声の音声認識精度の向上、発話困難な障がい者のための発話補助、その他様々なタスクへの応用が可能であることが挙げられる。
【０００３】
これまでの声質変換方法では、統計的手法に基づくアプローチが広く研究されてきた。中でもＧＭＭ（Ｇａｕｓｓｉａｎ  ＭｉｘｔｕｒｅＭｏｄｅｌ）を用いた手法が最も広く用いられており、様々な改良がなされてきた。ＧＭＭ以外のアプローチとしては、近年ＮＭＦ（Ｎｏｎ−ｎｅｇａｔｉｖｅ  ｍａｔｒｉｘ  ｆａｃｔｏｒｉｚａｔｉｏｎ）を用いた声質変換手法（非特許文献１参照）が提案され、過平滑の少ない手法として注目されている。
【０００４】
また、可視層と隠れ層との２層から構成されるＲＢＭ（Ｒｅｓｔｒｉｃｔｅｄ  Ｂｏｌｔｚｍａｎｎ  Ｍａｃｈｉｎｅ）を用いた声質変換技術も開示されている（非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】R.Takashima, T.Takiguchi and Y.Ariki: “Exemplar-based voice conversion in noisy environment”, SLT, pp. 313-317 (2012)
【非特許文献２】中鹿亘、滝口哲也、有木康雄「話者依存型 Recurrent Temporal Restricted Boltzmann Machine を用いた声質変換」日本音響学会講演論文集（２０１２年９月）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記非特許文献１および非特許文献２に記載の技術では、入力話者と特定の出力話者（目標話者）との間でのパラレルデータが必要であるという問題がある。
【０００７】
つまり、これらの技術は、いずれもモデルの学習時にパラレルデータ（入力話者と出力話者の、同一発話内容による音声対）を必要とし、パラレルデータの作成には様々な制限が課せられる。第一に、入力話者と出力話者の発話データは同一の発話内容でないといけないという制限があるため、選択（または作成）できる学習データセットの自由度は低い。第二に、フレーム単位で両者の音声の同期を取る必要があるため、動的計画法などを用いてアライメントを取るが、完全にフレームの同期が取れている保証がない。したがって、アライメントの伸縮の際に、音声に変換が加わっているなどの問題がある。また、学習を行っていない話者対に対して、既存の変換モデルを利用できない。つまり、任意の話者の声質に変換することができない。
【０００８】
そこで、本発明は、かかる問題に鑑みてなされたものであって、パラレルデータを用いることなく入力話者の声質を任意の話者の声質に変換することができる声質変換方法および装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明に係る声質変換方法は、入力話者の音声の声質を目標話者の声質に変換する声質変換方法であって、確率モデルであるＲＢＭ（Ｒｅｓｔｒｉｃｔｅｄ  Ｂｏｌｔｚｍａｎｎ  Ｍａｃｈｉｎｅ）を構成する可視素子層と隠れ素子層の２つの異層素子間の結合重みのうち、話者に依存しない重みを非依存重みとして推定する第１のステップと、前記ＲＢＭにおいて前記非依存重みを固定した状態で、前記結合重みのうち、前記入力話者に依存する重みと、前記目標話者に依存する重みとをそれぞれ依存重みとして推定する第２のステップと、可視素子層に入力される前記入力話者の音声と、前記入力話者の依存重みとに基づいて、隠れ素子層を推定する第３のステップと、前記隠れ素子層と、前記目標話者の依存重みとに基づいて、可視素子層として出力される前記目標話者の音声を推定する第４のステップとを含む。例えば、前記結合重みは、Ｓ（Ｓは２以上の整数）人の話者のそれぞれに対する０または１を示す要素からなるベクトルと、前記非依存重みと、Ｓ人のそれぞれの話者の依存重みとを用いた演算によって表わされる。
【００１０】
これにより、拡張されたＲＢＭが用いられる。つまり、ＲＢＭを構成する可視素子層と隠れ素子層の２つの異層素子間の結合重みが、話者に依存しない重み（非依存重み）と、話者に依存する重み（依存重み）とに分離された適応型ＲＢＭが用いられる。したがって、非依存重みを固定させておけば、依存重みを用いて話者性を容易に制御することができる。その結果、パラレルデータを用いることなく入力話者の声質を変換することができる。また、入力話者および目標話者のそれぞれの音声が少なくても、第２のステップにおいて入力話者および目標話者のそれぞれの依存重みを適切に推定することができる。その結果、何れの目標話者の依存重みでも簡単に推定することができるため、第１のステップで推定された非依存重みを流用すれば、入力話者の声質を任意の話者の声質に変換することができる。
【００１１】
例えば、前記第１のステップでは、複数の話者から発話される互いに異なる発話内容の音声に基づいて、前記非依存重みを推定し、前記第２のステップでは、前記入力話者と前記目標話者のそれぞれから発話される互いに異なる発話内容の音声に基づいて、前記入力話者の依存重みと、前記目標話者の依存重みとを推定してもよい。
【００１２】
これにより、第１のステップおよび第２のステップにおいてパラレルデータを用いることがないため、発話内容に制約されることなく声質を適切に変換することができる。
【００１３】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１４】
本発明の声質変換方法は、パラレルデータを用いることなく入力話者の声質を任意の話者の声質に変換することができる。
【図面の簡単な説明】
【００１５】
【図１】図１は、ＲＢＭのグラフ構造を示す図である。
【図２】図２は、実施の形態における適応型ＲＢＭのグラフ構造を示す図である。
【図３】図３は、実施の形態における声質変換装置の構成を示すブロック図である。
【図４】図４は、実施の形態における声質変換装置の処理動作を示すフローチャートである。
【図５】図５は、実施の形態における声質変換方法による声質変換の結果を示す図である。
【図６】図６は、実施の形態における声質変換方法によって、実際に推定されたパラメータを示す図である。
【図７】図７は、実施の形態における声質変換方法によって女性話者の音声を男性話者の音声へ変換した例を示す図である。
【発明を実施するための形態】
【００１６】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【００１７】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００１８】
（概要）
まず、本実施の形態における声質変換方法について、概要を説明する。
【００１９】
本実施の形態における声質変換方法は、確率モデルの一つであるＲＢＭ（Ｒｅｓｔｒｉｃｔｅｄ  Ｂｏｌｔｚｍａｎｎ  Ｍａｃｈｉｎｅ）を拡張したモデルである適応型ＲＢＭ（ａｄａｐｔｉｖｅ  ｒｅｓｔｒｉｃｔｅｄ  Ｂｏｌｔｚｍａｎｎ  ｍａｃｈｉｎｅ；ＡＲＢＭ）を用いて、入力話者−出力話者間のパラレルデータだけではなく、参照話者間のパラレルデータさえも必要としない声質変換方法である。
【００２０】
この適応型ＲＢＭは、複数の話者が混在する音声データから、話者に依存しない情報と話者に依存した情報とに分離しながら、潜在的な特徴を抽出する確率モデルである。このモデルは可視素子層と隠れ素子層からなる無向グラフで表現され、同層素子間の結合はなく、異層素子間のみ話者に依存した強度（重み）で結合が存在する。さらに、この重みは話者依存項と話者非依存項で表現され、複数の話者が混在した音声データ（パラレルである必要はない）を用いて、それぞれが教師なし学習で同時に推定される。結果として、話者依存重みと話者非依存重みに分離しながら潜在特徴（隠れ素子）を得ることができる。任意話者への声質変換を行う際、まず、複数の話者（参照話者）のデータを用いて、上記のように話者依存重みと話者非依存重みとを同時推定する。次に、変換を行いたい話者（入力話者）の（少量の）データを用いて、話者非依存重みを固定しながら新たな話者依存重みを推定する。変換先の話者（出力話者）の話者依存重みに関しても同様に推定する。そして、変換したい音声（入力話者の音声）から、入力話者の話者依存重み、話者非依存重みを用いて潜在特徴を推定し、その後、出力話者の話者依存重み、話者非依存重みを用いて音響特徴ベクトルを逆推定することで変換音声を得る。
【００２１】
ＧＭＭやＮＭＦなど、従来の声質変換方法の多くは線形変換をベースとしているため、変換精度には限界がある。つまり、人の声道形状は非線形的であるため、音声信号に含まれる声質の特性をより正確に捉えるためには非線形ベースのモデル化の方が線形ベースよりも適切であると考えられる。本実施の形態における声質変換方法も非線形関数をベースとした変換式を用いており、精度の高い声質変換を行うことができる。
【００２２】
（ＲＢＭ）
次に、本実施の形態における適応型ＲＢＭの基礎となるＲＢＭについて説明する。
【００２３】
図１は、ＲＢＭのグラフ構造を示す図である。
【００２４】
ＲＢＭは、特殊な構造を持つ２層ネットワークであり、図１のように、可視層（可視素子層）と隠れ層（隠れ素子層）の確率変数分布を表現する無向グラフィカルモデルである。元々、ＲＢＭはバイナリデータを入力させるモデルとして提案されていたが、後に連続値を入力させるモデル（Ｇａｕｓｓｉａｎ−Ｂｅｒｎｏｕｌｌｉ  ＲＢＭ；ＧＢＲＢＭ）が考案された。しかしながらこのモデルは、分散項の影響で学習が不安定になるという問題があったため、ＧＢＲＢＭの改良版（Ｉｍｐｒｏｖｅｄ  ＧＢＲＢＭ；  ＩｍｐＧＢＲＢＭ）が提案された。このＩｍｐＧＢＲＢＭでは、連続値の可視素子
【数１】
0006543820.tif 000002
と２値の隠れ素子
【数２】
0006543820.tif 000003
の同時確率
【数３】
0006543820.tif 000004
は、以下のように表される。
【００２５】
【数４】
0006543820.tif 000005
【数５】
0006543820.tif 000006
【数６】
0006543820.tif 000007
【００２６】
ここで、
【数７】
0006543820.tif 000008
はＬ２ノルム、括線は要素除算を表す。
【００２７】
【数８】
0006543820.tif 000009
【００２８】
はそれぞれ可視層−隠れ層間の重み行列、可視素子の偏差、可視素子のバイアス、隠れ素子のバイアスを示しており、いずれも推定すべきパラメータである。
【００２９】
ＲＢＭでは可視素子間、または隠れ素子間の接続は存在しない。つまり、それぞれの可視素子、隠れ素子は互いに条件付き独立である。したがって、それぞれの条件付き確率
【数９】
0006543820.tif 000010
は以下の様な単純な関数で表現される。
【００３０】
【数１０】
0006543820.tif 000011
【数１１】
0006543820.tif 000012
【００３１】
ここで、
【数１２】
0006543820.tif 000013
と
【数１３】
0006543820.tif 000014
は
【数１４】
0006543820.tif 000015
の第ｊ列ベクトル、第ｉ行ベクトルを表す。また、
【数１５】
0006543820.tif 000016
は要素ごとのシグモイド関数
【数１６】
0006543820.tif 000017
【数１７】
0006543820.tif 000018
は平均、分散σ２の正規分布を表す。
【００３２】
それぞれのＲＢＭのパラメータ
【数１８】
0006543820.tif 000019
は、Ｎ個の観測データを
【数１９】
0006543820.tif 000020
とするとき、この確率変数の対数尤度
【数２０】
0006543820.tif 000021
を最大化するように推定される。この対数尤度をそれぞれのパラメータで偏微分すると、
【数２１】
0006543820.tif 000022
【数２２】
0006543820.tif 000023
【数２３】
0006543820.tif 000024
が得られる。ただし、＜・＞ｄａｔａと＜・＞ｍｏｄｅｌはそれぞれ、観測データ、モデルデータの期待値を表す。しかし、一般に後者の期待値に関しては計算困難であるため、代わりに式（４）（５）によって得られる再構築したデータの期待値＜・＞ｒｅｃｏｎが用いられる（ＣＤ：Ｃｏｎｔｒａｓｔｉｖｅ  Ｄｉｖｅｒｇｅｎｃｅ法）。また、ＩｍｐＧＢＲＢＭでは分散を非負値に制約し、学習を安定化させるため
【数２４】
0006543820.tif 000025
と置き換える。これにより、ｚｉに関する勾配は以下のように計算される。
【００３３】
【数２５】
0006543820.tif 000026
【００３４】
それぞれのパラメータは式（６）（７）（８）から、確率的勾配法を用いて繰り返し更新される（初期値はランダムに設定される）。すなわち、
【数２６】
0006543820.tif 000027
のように、ＲＢＭのそれぞれのパラメータが更新される。ここで、γθは学習率を表す。
【００３５】
（適応型ＲＢＭと声質変換への応用）
本実施の形態では、上述のＲＢＭを拡張したモデルとして、適応型ＲＢＭ（Ａｄａｐｔｉｖｅ  ｒｅｓｔｒｉｃｔｅｄ  Ｂｏｌｔｚｍａｎｎ  ｍａｃｈｉｎｅ；ＡＲＢＭ）を定義し、声質変換タスクへ応用する。
【００３６】
（適応型ＲＢＭの定義）
図２は、適応型ＲＢＭのグラフ構造を示す図である。
【００３７】
適応型ＲＢＭは、図２のように、通常のＲＢＭで見られた可視素子と隠れ素子だけでなく、識別素子
【数２７】
0006543820.tif 000028
が加わったモデルとなっている（
【数２８】
0006543820.tif 000029
は識別素子の数とする）。例えば声質変換において、入力
【数２９】
0006543820.tif 000030
が話者ｋの発話であることを示す場合、
【数３０】
0006543820.tif 000031
となる。このモデルでは、可視素子と隠れ素子の間には識別素子
【数３１】
0006543820.tif 000032
で制御される結合重みが存在する。この結合重みを
【数３２】
0006543820.tif 000033
とし、本実施の形態ではこれを以下のように定義する。
【００３８】
【数３３】
0006543820.tif 000034
ただし、
【数３４】
0006543820.tif 000035
はいずれも、話者依存重みであって、不特定重み行列
【数３５】
0006543820.tif 000036
を特定化（適応）するための３階のテンソルパラメータ
【数３６】
0006543820.tif 000037
である。また、
【数３７】
0006543820.tif 000038
は、モードｄを展開した３階テンソル
【数３８】
0006543820.tif 000039
の各行列とベクトル
【数３９】
0006543820.tif 000040
の内積をとる演算子を表す。声質変換の場合、
【数４０】
0006543820.tif 000041
が不特定話者による結合重み、つまり、話者非依存重みであり、
【数４１】
0006543820.tif 000042
が話者ｋの適応行列及びバイアス行列を表す（ただし
【数４２】
0006543820.tif 000043
は３階テンソル
【数４３】
0006543820.tif 000044
のモード３の第ｋ行列を表す）。
【００３９】
適応型ＲＢＭでは、式（１１）で定義した
【数４４】
0006543820.tif 000045
を用いて、可視素子
【数４５】
0006543820.tif 000046
、隠れ素子
【数４６】
0006543820.tif 000047
、識別素子
【数４７】
0006543820.tif 000048
の同時確率
【数４８】
0006543820.tif 000049
を以下のように定義する。
【００４０】
【数４９】
0006543820.tif 000050
【数５０】
0006543820.tif 000051
【数５１】
0006543820.tif 000052
これらの定義により、条件付き確率
【数５２】
0006543820.tif 000053
は以下のように計算できる。
【００４１】
【数５３】
0006543820.tif 000054
【数５４】
0006543820.tif 000055
【００４２】
適応型ＲＢＭのパラメータ
【数５５】
0006543820.tif 000056
は、Ｎ個の学習データ
【数５６】
0006543820.tif 000057
を用いて、対数尤度
【数５７】
0006543820.tif 000058
を最大化するように推定される。この対数尤度を
【数５８】
0006543820.tif 000059
の要素
【数５９】
0006543820.tif 000060
で偏微分したものは、それぞれ
【数６０】
0006543820.tif 000061
【数６１】
0006543820.tif 000062
【数６２】
0006543820.tif 000063
と計算できる。他のパラメータ
【数６３】
0006543820.tif 000064
に関しては、それぞれ式（７）、（９）、（８）と同様にして求められる。適応型ＲＢＭにおいても、ＣＤ法を適用することができるため、各偏微分値の第二項＜・＞ｍｏｄｅｌを観測データの再構築値＜・＞ｒｅｃｏｎとして計算することで効率よくパラメータを推定することができる。
【００４３】
（適応型ＲＢＭを用いた声質変換）
本実施の形態における声質変換装置は、上述の適応型ＲＢＭを用いて入力話者の音声の声質を任意の出力話者（目標話者）の声質に変換する。
【００４４】
図３は、本実施の形態における声質変換装置の構成を示すブロック図である。
【００４５】
本実施の形態における声質変換装置１０は、入力話者の音声の声質を目標話者の声質に変換する装置であって、非依存重み推定部１１と、依存重み推定部１２と、隠れ素子層推定部１３と、可視素子層推定部１４とを備える。
【００４６】
非依存重み推定部１１は、上述のように、Ｎ個の学習データを用いて、適応型ＲＢＭのパラメータ
【数６４】
0006543820.tif 000065
を、対数尤度を最大化するように推定する。つまり、非依存重み推定部１１は、ＲＢＭを構成する可視素子層と隠れ素子層の２つの異層素子間の結合重み
【数６５】
0006543820.tif 000066
のうち、話者に依存しない重み
【数６６】
0006543820.tif 000067
を話者非依存重みとして推定する。ここで、上述の結合重みは、式（１１）に示すように、Ｓ（Ｓは２以上の整数）人の話者のそれぞれに対する０または１を示す要素からなるベクトルと、話者非依存重みと、Ｓ人のそれぞれの話者の話者依存重みとを用いた演算によって表わされる。また、Ｎ個の学習データは、Ｎ人の話者（参照話者）から発話される互いに異なる発話内容の音声、つまり非パラレルデータであってもよい。
【００４７】
依存重み推定部１２は、ＲＢＭにおいて上述の話者非依存重みを固定した状態で、結合重みのうち、入力話者に依存する重み
【数６７】
0006543820.tif 000068
と、目標話者に依存する重み
【数６８】
0006543820.tif 000069
とをそれぞれ話者依存重みとして推定する。具体的には、依存重み推定部１２は、入力話者の音声に基づいて入力話者の話者依存重みを推定し、目標話者の音声に基づいて目標話者の話者依存重みを推定する。このとき、依存重み推定部１２は、入力話者と目標話者のそれぞれから発話される互いに異なる発話内容の音声に基づいて、つまり、非パラレルデータに基づいて、入力話者および目標話者のそれぞれの話者依存重みを推定してもよい。
【００４８】
隠れ素子層推定部１３は、可視素子層に入力される入力話者の音声と、上述の入力話者の話者依存重みとに基づいて、隠れ素子層
【数６９】
0006543820.tif 000070
を推定する。
【００４９】
可視素子層推定部１４は、隠れ素子層と、目標話者の話者依存重みとに基づいて、可視素子層として出力される目標話者の音声
【数７０】
0006543820.tif 000071
を推定する。
【００５０】
図４は、本実施の形態における声質変換装置１０の処理動作を示すフローチャートである。
【００５１】
まず、声質変換装置１０の非依存重み推定部１１は、図４のように、まず複数（Ｓ人）の参照話者によるデータ（音声）を用いて適応型ＲＢＭの各パラメータ
【数７１】
0006543820.tif 000072
を同時推定する（ステップＳ１）。
【００５２】
次に、依存重み推定部１２は、
【数７２】
0006543820.tif 000073
など話者に依存しないパラメータ（話者非依存重み）を固定して、入力話者および目標話者の音声である適応データを用いて、入力話者と目標話者の話者依存重み
【数７３】
0006543820.tif 000074
を適応パラメータとして、式（１８）（１９）より推定する（ステップＳ２）。
【００５３】
そして、隠れ素子層推定部１３は、入力話者の変換される音声のフレーム音響特徴量
【数７４】
0006543820.tif 000075
から、次式のように潜在特徴量（隠れ素子層）を推定する（ステップＳ３）。
【００５４】
【数７５】
0006543820.tif 000076
ただし、
【数７６】
0006543820.tif 000077
は第
【数７７】
0006543820.tif 000078
要素のみ１、他を０とするベクトルとする。また、同時に変数
【数７８】
0006543820.tif 000079
の長さを
【数７９】
0006543820.tif 000080
へ拡張し、
【数８０】
0006543820.tif 000081
をモード３に沿ってそれぞれ
【数８１】
0006543820.tif 000082
を追加するものとする。式（２０）を書き直すと、
【数８２】
0006543820.tif 000083
が得られ、話者に依存しない項
【数８３】
0006543820.tif 000084
を入力話者に適応させた結合重みを用いて潜在特徴量を推定していることになる。また式（２１）は、一度適応型ＲＢＭの学習が終われば
【数８４】
0006543820.tif 000085
は変数
【数８５】
0006543820.tif 000086
の関数となるので、
【数８６】
0006543820.tif 000087
は話者に依存しない潜在特徴量であることを示唆している。すなわち、話者性は
【数８７】
0006543820.tif 000088
のみで制御され、
【数８８】
0006543820.tif 000089
は話者に依存しない音韻に近い情報を表すと考えられる。したがって、出力話者（目標話者）の話者性を持つ音声を得たい場合、音韻情報
【数８９】
0006543820.tif 000090
から、
【数９０】
0006543820.tif 000091
を用いて音響特徴量を復元すればよい。すなわち、可視素子層推定部１４は、出力話者の変換先のフレーム特徴量
【数９１】
0006543820.tif 000092
を以下のように計算する（ステップＳ４）。
【００５５】
【数９２】
0006543820.tif 000093
【００５６】
これは、入力話者の音声から得られた音韻情報を基に、話者非依存重みを出力話者（目標話者）に適応した基底を用いて、出力話者の音響特徴量を生成していることを表している。また、式（２１）（２２）にもあるように、入力話者の音響特徴量
【数９３】
0006543820.tif 000094
を出力話者の音響特徴量
【数９４】
0006543820.tif 000095
へ変換する際、
【数９５】
0006543820.tif 000096
の推定に非線形関数を用いているため、本実施の形態における声質変換方法は非線形変換ベースの声質変換だと言える。
【００５７】
なお、現実の音声データを使って適応型ＲＢＭを学習する場合、話者は豊富に存在するが、それぞれの発話データは少ないといったケースがある。この場合、
【数９６】
0006543820.tif 000097
の推定に用いられるデータは十分存在するが、適応パラメータ
【数９７】
0006543820.tif 000098
を推定するためのデータが少量となるため、誤推定もしくは過学習の要因となる。そこで本実施の形態による後述の評価実験では、
【数９８】
0006543820.tif 000099
を対角行列、
【数９９】
0006543820.tif 000100
を各列が等しい行列で近似することでパラメータ数を抑える。
【００５８】
（評価実験）
本実施の形態における声質変換方法の評価実験について、以下、図５〜図７を用いて詳細に説明する。
【００５９】
（実験条件）
本実験では、英語圏の複数の話者による音声が含まれたコーパスであるＴＩＭＩＴを用いて、本実施の形態における適応型ＲＢＭを用いた声質変換方法の精度を調べた。なお、ＴＩＭＩＴについては、文献「J. S. Garofolo, L. D. Consortium, et al.: "TIMIT: acoustic-phonetic continuous speech corpus", Linguistic Data Consortium (1993)」に詳細に記述されている。
【００６０】
このコーパスから、話者非依存パラメータ（話者非依存重み）の推定のために、参照話者として３８名（内女性１４名、男性２４名）を選んだ。各話者からは、５文の発話データを学習に用いている（学習に用いた総フレーム数はおよそ２７万）。本実施の形態における声質変換方法を評価するために、女性４名、男性４名の音声を用いて入力話者・出力話者のペア（計２８ペア）を作成し、異性間及び同性間の声質変換の性能比較を行った。このとき、入力・出力話者のパラレルデータ（同一発話内容による、学習データには含まれない２文のデータから動的計画法によって作成）を用いてＳＤＩＲ（ｓｐｅｃｔｒａｌ  ｄｉｓｔｏｒｔｉｏｎ  ｉｍｐｒｏｖｅｍｅｎｔ  ｒａｔｉｏ）による評価をおこなっている。音響特徴量として、ＳＴＲＡＩＧＨＴスペクトルから計算された３２次元のＭＦＣＣ（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  Ｃｏｅｆｆｉｃｉｅｎｔｓ）を用いた。なお、ＳＴＲＡＩＧＨＴスペクトルについては、文献「H. Kawahara, M. Morise, T. Takahashi, R. Nisimura,T. Irino and H. Banno: "TANDEM-STRAIGHT: A temporally stable power spectral representation for periodic signals and applications to interference-free spectrum, F0, and aperiodicity estimation", ICASSP, pp. 3933-3936 (2008)」に詳細に記述されている。
【００６１】
適応型ＲＢＭにおける学習率、バッチサイズ、繰り返し回数はそれぞれ０：００５、５０、５００とした。隠れ素子数を１２８、１９２、２５６、５１２と変えて比較を行った。
【００６２】
（実験結果と考察）
図５は、本実施の形態における声質変換方法による声質変換の結果を示す図である。例えば、ｆｅｍａｌｅ−ｔｏ−ｆｅｍａｌｅでは、評価用の女性４名の音声を、それぞれ他の女性３名へ変換し、全フレームのＳＤＩＲの平均をとったものを表す。「ａｖｇ．」は全組み合わせの平均値である。図５から、一部を除いて隠れ素子数が増加すれば変換精度が向上していることが分かる。隠れ素子数が５１２と２５６の結果を比較すると、５１２の場合は男性への変換（ｆｅｍａｌｅ−ｔｏ−ｍａｌｅ，ｍａｌｅ−ｔｏ−ｍａｌｅ）で優っている。しかし、女性への変換（ｆｅｍａｌｅ−ｔｏ−ｆｅｍａｌｅ，ｍａｌｅ−ｔｏ−ｆｅｍａｌｅ）で精度が下がってしまい、結果として全平均のＳＤＩＲ値が低くなってしまっている。この理由として、パラメータ数の増加に伴い、モデルが過学習しているためだと考えられる（男性と女性の話者数は２４対１４であり、隠れ素子数５１２のモデルでは変換音声が男性側へ強く反応していることからも過学習が窺える）。
【００６３】
図６は、本実施の形態における声質変換方法によって、実際に推定されたパラメータを示す図である。図６における（ａ）、（ｂ）および（ｃ）はそれぞれ、
【数１００】
0006543820.tif 000101
の一部を示す。
【００６４】
【数１０１】
0006543820.tif 000102
に関しては、対角行列として近似した
【数１０２】
0006543820.tif 000103
の対角成分を列ベクトルとして話者ごとに並べた行列を示しており、
【数１０３】
0006543820.tif 000104
も同様に話者ごとに並べた列ベクトルを示している。図６の（ｂ）および（ｃ）において、左１４列ベクトルは女性話者、右２４列ベクトルは男性話者に相当する。この図６から分かるように、
【数１０４】
0006543820.tif 000105
の各々の列ベクトルは同性間で類似性が高く、異性間で類似性が低いベクトルとなっている。これは、音声を聴いて話者の違いを認識する際、個人の差異よりも性別の違いをより大きく感じ取っているという直感と一致する。
【００６５】
図７は、本実施の形態における声質変換方法によって女性話者の音声（コーパスではＦＣＪＦ０）を男性話者の音声（ＭＷＡＲ０）へ変換した例を示す図である。この例では、ＦＣＪＦ０のある時刻における対数スペクトル（図７の（ａ）における点線）からＭＦＣＣを計算し、ＦＣＪＦ０の適応型ＲＢＭによって、
【数１０５】
0006543820.tif 000106
を推定した後、ＭＷＡＲ０の適応パラメータを用いて変換された音響特徴量を対数スペクトルへ復元した（図７の（ｂ）における実線）。参考として、
【数１０６】
0006543820.tif 000107
の推定後ＦＣＪＦ０の適応パラメータによって復元したスペクトル（図７の（ａ）における実線）、目標となるＭＷＡＲ０のスペクトル（図７の（ｂ）における点線）を載せている。この図７より、ＦＣＪＦ０の音声からＦＣＪＦ０の音声へ再構築したスペクトルのみならず、別の話者であるＭＷＡＲ０へ変換した音声スペクトルにおいても、約３．５ｋＨｚ未満の帯域（低域）におけるスペクトルピークの周波数（フォルマント）がおおよそ目標と一致するなど、その話者の特徴を捉えていることが分かる。約３．５ｋＨｚ以上の帯域（高周波数域）に関してはいずれも目標と大きく異なっているが、ＭＦＣＣからスペクトルを復元しているため、高域における情報が損失してしまうことに起因する。
【００６６】
このように、本実施の形態では、パラレルデータを学習時に一切使用せず、かつＦＣＪＦ０からＭＷＡＲ０への変換モデルを学習していないにも関わらずＦＣＪＦ０からＭＷＡＲ０へ変換することができる。
【００６７】
（まとめ）
以上のように、本実施の形態における声質変換方法は、図４に示すように、ステップＳ１〜Ｓ４を含む。ステップＳ１では、ＲＢＭを構成する可視素子層と隠れ素子層の２つの異層素子間の結合重みのうち、話者に依存しない重みを非依存重み（上述の話者非依存重み）として推定する。ステップＳ２では、ＲＢＭにおいて非依存重みを固定した状態で、結合重みのうち、入力話者に依存する重みと、目標話者に依存する重みとをそれぞれ依存重み（上述の話者依存重み、または適応パラメータ）として推定する。ステップＳ３では、可視素子層に入力される入力話者の音声と、入力話者の依存重みとに基づいて、隠れ素子層を推定する。ステップＳ４では、隠れ素子層と、目標話者の依存重みとに基づいて、可視素子層として出力される目標話者の音声を推定する。また、本実施の形態では、結合重みは、Ｓ（Ｓは２以上の整数）人の話者のそれぞれに対する０または１を示す要素からなるベクトルと、非依存重みと、Ｓ人のそれぞれの話者の依存重みとを用いた演算によって表わされる。
【００６８】
これにより、本実施の形態では、ＲＢＭを構成する可視素子層と隠れ素子層の２つの異層素子間の結合重みが、非依存重みと依存重みとに分離された適応型ＲＢＭが用いられる。したがって、非依存重みを固定させておけば、依存重みを用いて話者性を容易に制御することができる。その結果、パラレルデータを用いることなく入力話者の声質を変換することができる。また、入力話者および目標話者のそれぞれの音声が少なくても、ステップＳ２において入力話者および目標話者のそれぞれの依存重みを適切に推定することができる。その結果、何れの目標話者の依存重みでも簡単に推定することができるため、ステップＳ１で推定された非依存重みを流用すれば、入力話者の声質を任意の話者の声質に変換することができる。
【００６９】
つまり、本実施の形態では、潜在的な特徴量を抽出するＲＢＭを拡張して、話者に依存する項（依存重み）と依存しない項（非依存重み）に分離してモデル化することで学習時にパラレルデータを必要としない、任意話者に適応可能な声質変換を行うことができる。
【００７０】
なお、本実施の形態におけるＲＢＭの拡張モデル（適応型ＲＢＭ）は声質変換のみならず、音声の感情付与や物体認識など、様々なタスクへの応用が考えられる。また、このモデルにおいて識別素子
【数１０７】
0006543820.tif 000108
を推定することで、例えば話者認識へ応用することも可能である。音韻情報と話者情報が混在した音声からそれぞれを分離し、話者性を制御できる。
【００７１】
なお、上記実施の形態において、非依存重み推定部１１、依存重み推定部１２、隠れ素子層推定部１３および可視素子層推定部１４などの各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の声質変換装置１０などを実現するソフトウェアは、例えば図４に示すフローチャートに含まれる各ステップをコンピュータに実行させるプログラムである。また、上記実施の形態における声質変換装置１０は、プロセッサ、メモリおよび入出力ポートを有するコンピュータ、あるいは、論理回路などで実現されてもよい。また、上記実施の形態における各隠れ素子は、例えば０または１であり、その隠れ素子に対応する発話中の音素または音韻の有無を表していると考えられる。
【００７２】
以上、一つまたは複数の態様に係る声質変換方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲に含まれてもよい。
【産業上の利用可能性】
【００７３】
本発明にかかる声質変換方法は、パラレルデータを用いることなく入力話者の声質を任意の話者の声質に変換することができるという効果を奏し、例えば、ボイスチェンジャー、発話支援装置またはアミューズメント機器などの声質変換装置に適用することができる。
【符号の説明】
【００７４】
１０    声質変換装置
１１    非依存重み推定部
１２    依存重み推定部
１３    隠れ素子層推定部
１４    可視素子層推定部
【図１】
0006543820.tif 000109
【図２】
0006543820.tif 000110
【図３】
0006543820.tif 000111
【図４】
0006543820.tif 000112
【図５】
0006543820.tif 000113
【図６】
0006543820.tif 000114
【図７】
0006543820.tif 000115