立石科学技術振興財団

助成研究成果集(第32号) 2023

［ 研究助成 (A) ]連合学習に基づく多話者音声変換のユーザ参加型学習
Human-in-the-loop many-to-many voice conversion based on federated learning
2221013

研究代表者

東京大学
大学院情報理工学系研究科

助 教齋

藤佑

樹

ユーザの声を対象とした VC アプリケーション[研 究 の 目 的]が実現されるようになりつつある。
音声は，人間同士の最も自然なコミュニケー一方で，現状の VC 技術は，研究開発者が構ション手段である。人間は，コミュニケーショ築した深層学習モデルに基づく VC アプリケーンにおける自らの意図や感情といった様々な情ションをユーザに提供する単方向型アプローチ

報を音声により相手に伝えられる。しかし，個(図 1(a)) が主流であり，多様なユーザによる人が発声可能な音声は，発声器官などの身体的入力音声に対する変換精度を保証できない。も制約により大きく制限され，更に，加齢によるしユーザが所有するデータを用いた VC モデル

衰えや事故や病気による後天的要因により変化の逐次更新が可能となれば，モデルの学習時としうる。これらの制約を計算機で緩和できれ推論時における入力データのドメインの違いにば，音声アバターによる自己表現拡張や，発声対して柔軟に適応可能な双方向型アプローチの器官に障害を有する話者の支援など，新たな娯ユーザ参加型多話者 VC 技術 (図 1(b)) が実楽の創出や医療福祉への応用が可能となる。本
研究では，計算機を通じた音声コミュニケーション拡張を目指し，任意話者の音声の特徴を，別の任意話者のものに変換する多話者音声変換(voice conversion: VC) に取り組む。
[研究の内容，成果]
1．背景
多様な話者の高品質な音声が学習データとして用意できる場合には，deep neural network(DNN) を用いた VC 技術が高品質な変換を実現できる[1]。近年の深層生成モデリング技術の進展や，学術界・産業界による大規模音声言語データベース (コーパス) の整備に恩恵を受け，変換可能な話者に関する制約が緩和され，歌唱表現の拡張や動画コンテンツ制作など，
― 1 ―

図1

多話者 VC における (a) 従来型，(b) 提案型のアプローチ (研究成果 1 記載の図を一部修正)

立石科学技術振興財団

現できる。しかし，音声データは本質的に発話を参照されたい。

内容と声質から発話者が特定される可能性を孕

2. 2

連合学習

む個人情報であり，研究開発者が所有するサー連合学習[2] はクライアント・サーバ方式にバにユーザのデータを集約させる行為にはプラ基づく分散機械学習フレームワークの一種であイバシー漏洩のリスクが伴う。

り，学習に参加するクライアントが所有する

本研究では，分散機械学習手法の一種であるデータのプライバシーを保護しつつ，単一の機連合学習に基づく多話者 VC モデルの学習法を械学習モデルを逐次的に学習する。連合学習は，提案する。提案法では，研究開発者とユーザの以下に示す Round と呼ばれる一連の処理の反間で VC モデルのパラメータのみを送受信する復として表現される。

ことで，ユーザが所有する音声データのプライ(1) サーバはランダムに選択した複数のクライバシーを保持しつつ，より多様な話者の声質をアントに自身が所有するモデルのパラメー再現可能な多話者 VC モデルを逐次的に学習す

タを送信する。

る。本研究では，提案法の Proof of Concept を(2) クライアントは各自が所有するデータを利検証するために，VC モデルとして最先端の用し，サーバから受信したモデルを学習す

StarGANv2-VC[1] を用いた多話者 VC の連る。

合学習を検討する。日本語の多話者コーパスを(3) クライアントで一定の期間 (local epoch)用いた実験的評価により，提案法が従来型のだけ学習したモデルをサーバ側に送信する。

データ集約型学習法と同程度の話者類似性 (変(4) サーバに集約させたモデルを特定の処理に換先話者にどの程度類似してるか) を達成しう

基づいて一つのモデルへと統合し，サーバることを示す。の 所 有 す る モ デ ル を 更 新 す る。こ のRound の繰り返しによって，個々のクラ2．手法

イアントの所有するデータを用いた学習の2. 1

結果を取り入れ，各クライアントのデータベースラインモデル：StarGANv2-VC

StarGANv2-VC [1] は，音 声 特 徴 量 か ら 話に対応可能なモデルを共同的に学習する。

者非依存な潜在変数を抽出する Encoder，音高

本研究では，最も広く使われているモデル統の潜在変数を抽出する F0 Network，話者の潜合方である FedAvg[3] を用いた。FedAvg で在変数を抽出する Style Encoder，話者の潜在は，各クライアントが学習を終了した後のモデ

変 数 の 確 率 分 布 を モ デ ル 化 す る Matching

ルパラメータに対してデータ数で重み付けされNetwork，これら 3 つの潜在変数から変換音声た平均を計算することで，統合後のモデルパラの特徴量を生成する Decoder，入力音声の話者メータを計算する。

識別と，入力音声が人間の肉声か変換音声か

2. 3

提案法の問題設定の真偽を判定する Discriminator から構成され

1 節で説明したように，深層学習に基づく従る。本研究では，これらのモデルのうち，F0来の多話者 VC 技術では，まず，研究開発者がNetwork のモデルパラメータ (DNN の結合重高品質な多話者コーパスを用いて単一の多話者み・バイアス) は，高品質多話者コーパスを用VC モデルを構築し，そのモデルを用いた VC

いた事前学習により最適化されると仮定し，そアプリケーションをユーザに提供する。ユーザ

れ以外のモデルパラメータを複数のユーザがはこの VC アプリケーションを利用するにあた各々所有するデータにより更新し，その結果をり，必要に応じて自身が所有する音声データを統合する連合学習を想定する。学習アルゴリズ

用いて学習済み VC モデルを fine-tuning するムや DNN アーキテクチャの詳細は，文献[1]ことも可能である。このような単方向型の VC― 2 ―Tateisi Science and Technology Foundation

2アプローチでは，ユーザによる fine-tuning のμ  wr−wr と表される。ここで，wr,wr はそれ結果を研究開発者側にフィードバックし，よりぞれ Round r でのサーバ上のモデルパラメー多様な話者の声を変換できるようにすることはタとk番目のユーザが所有するモデルパラメー困難である。

タである。

この問題に対し，ユーザ参加型の多話者 VCモデル学習を実現するために，本研究では連合

3．実験的評価学習に用いるデータセットを以下の 2 つに分割3. 1

する。

実験条件

本研究では，StarGANv2-VC の学習を単一(1) Anchor データ D ：連合学習に参加するの中央サーバに全データを集約させて行う従来すべてのユーザがアクセス可能なデータ法と，連合学習によってデータを各クライアンセットトに分散させた状態で行う提案法を比較した。

(2) Client データ D ：k番目のユーザだけがなる計算機やエッジ端末であることを想定する

アクセス可能なデータセット

実際の連合学習ではサーバ・クライアントは異は，それぞれオンラインで誰でも入が，実験の簡略化のため，同一の計算機内に仮手可能な公共の多話者音声コーパスとプライバ想的なサーバ・クライアントを用意して連合学シー保護が必要なユーザ所有データに対応する。

習を実施した。

D とD

StarGANv2-VC の実装は，当該論文[1] のすなわち，提案法ではk番目のユーザはこれらの和集合D ∪D を用いて自身の計算機環境

著者により公開されているオープンソース実装

で VC モデルを学習する。これらの 2 つのデーを用いた。DNN のアーキテクチャはすべてこタセットを用いることで，VC モデルは全てのの実装と同じであり，音声特徴量 (メルスペク

ユーザで共通の Anchor 話者特徴と，各ユーザトログラム) から音声波形データを合成するボが所有するデータの話者特徴を分離してモデル

コーダには事前学習済みの Parallel WaveGAN化することができる。

[5] を利用した。

提案法の問題設定では，各ユーザが所有するデータセットとして，日本語の JVS コーパ

デ ー タ 分 布 の 独 立 同 分 布 (independent andス[6] に含まれる男性話者と女性話者をそれぞidentically distributed: iid) 性はもはや仮定でれ 20 名ずつ選択した。これらの各話者の音声

を 100[ms] を基準に無音区間を削除し，5 秒きない。なぜなら，図 2 に示すように，各Dの分布は互いに異なると想定されるためである。

ごとに分割したものを一つのデータ単位とした。

このような non-iid データを用いた連合学習は， 訓練データ，検証データ，テストデータの数はある特定のユーザが所有するデータセットへのそれぞれ 3284, 411, 411 であった。Anchor と過学習といった問題の原因となりうるため，本Client の 話 者 数 は そ れ ぞ れ 10, 30 と し た。

研究では，連合学習の各 Round でサーバ上のAnchor 話者の音声データと Client 話者の音声モデルからの乖離に対する正則化項を導入する

データが均等になるように各クライアントにFedProx[4]を用いる。FedProx の正則化項は，データを割り当てた。

あ る ハ イ パ ー パ ラ メ ー タ μ∈ [0, 1] を 用 い て

連 合 学 習 の ク ラ イ ア ン ト 更 新 時 の local
epoch 数は 10，バッチサイズは 10 とした。学習時の optimizer として AdamW を用いた。ただ し，連 合 学 習 に 基 づ く 提 案 手 法 で は，optimizer は各クライアントごとに異なる内部

図2

提案法における学習データの non-iid 性パラメータが用いられるものとし，各 Round― 3 ―立石科学技術振興財団

におけるクライアントへのモデル配布と同時にoptimizer の内部パラメータを初期化するものとした。FedProx を用いる場合のハイパーパラメータ μ は 1 とした。
以降の評価は，VC の入出力話者が Anchor話者，Client 話者である場合の計 4 通りの変換対についてそれぞれ分けて実施した。各変換対の学習の難易度は異なり，特に，Client 話者同図 4 Round 数に対する客観評価値の遷移

士の変換は連合学習で直接的に学習不可能であるため，最も困難であると考えられる。

同士の VC も実現可能となること，(3) 多話者

3. 2

VC の 連 合 学 習 に お い て も，学 習 デ ー タ の客観評価

変換音声の話者類似性の客観評価指標として，non-iid 性に対処する正則化は有効に機能する音声由来の話者埋め込みベクトルの一種であることを示した。以降の評価では，Client 話者へ

x-vector [8] の コ サ イ ン 類 似 度 (x-vectorの変換性能が最も高い {#Cli=3, #round=800,cossim) を用いた。評価結果を図 3 に示す。提FedProx あり} で学習された VC モデルを用い案法の性能を (1) 連合学習で統合処理に用いた。

るクライアント数，(2) 連合学習の Round 数，3. 3

主観評価(3) non-iid 性に対処するための FedProx 正則

変換先話者との類似性に関するプリファレン化項の有無について調査した結果から，以下のス XAB テストと変換音声の自然性に関するプ傾向が明らかになった。

リファレンス AB テストを実施した。これらの・複数クライアントによるモデルパラメータ統評価では，まず各 Client 話者のテストデータ合により，客観評価指標は一貫して改善した。

から無作為に 3 つを取得し，自身を除く他の全・Round 数を増やすことで客観評価指標は改ての話者へと変換することで，ユーザからの入善し，特に，Client 話者を変換先話者とした

力音声を扱う VC の設定を模擬した。評価セッ

VC においてその改善が顕著であった。このト の 数 は 2 (XAB or AB) ×2 (Cli-to- {Anc,傾向は，図 4 にも示されている。

Cli})×4 ({male, female}-to-{male, female})=16・FedProx を 導 入 す る こ と に よ る 改 善 は，であり，各評価につき 50 名ずつの評価者をClient 話者を変換先とした VC において顕著

Lancers によるクラウドソーシングで募集しであった。

た。すなわち，合計の評価者数は 800 名であ

これらの結果は，(1) 複数クライアントによるる。XAB テストでは，評価者はまず変換先話

連合学習は，VC モデルが再現可能な話者の多者の音声を参照し，その後に再生される従来法様性を増加させること，(2) 十分な Round の(連 合 学 習 な し で 700 エ ポ ッ ク 学 習 さ れ た

反復により，直接学習が不可能な Client 話者

StarGANv2-VC) と提案法による変換音声サンプル対のうち，どちらのサンプルがより変換先話者に類似しているかどうかを回答した。この際，評価者に提示する音声サンプル対の順番はランダムシャッフルした。AB テストでは，参照音声は提示せず，提示された従来法・提案
法の音声サンプルのうち，どちらがより人間ら

図3

x-vector cossim の評価結果

しく自然に発話しているかどうかを回答した。
― 4 ―Tateisi Science and Technology Foundation

衡さが挙げられる。すなわち，Client 話者数(30) は Anchor 話者数 (10) よりも多く，少数派の Anchor 話者の変換は多話者 VC モデルが十分に学習できなかったということが推測される。
4．結論と今後の課題
本研究では，プライバシーを保持しつつユーザが所有する音声データを活用して多対多 VCモデルを学習を手法を提案した。実験的評価の結果から，データを分散させた状態では直接的に学習不可能である Client 同士の VC につい
図5ても，データを集約させて学習を行う従来法と主観評価結果同程度の変換音声の話者類似性を達成できるこ

各評価で 10 個の音声サンプル対を評価させた。とを示した。

XAB テスト，AB テストの評価結果をそれ[今後の研究の方向，課題]

ぞ れ 図 5 (a)，(b) に 示 す。図 中 の (M) と(F) はそれぞれ VC 変換元話者の性別が男性，女性であることを意味する。太字のスコアは比今後は Anchor/Client データセットの不均衡

較対象よりも有意 (p<0.05) に高いことを示

さが連合学習に及ぼす影響や，実際に異なる端している。

末間での連合学習を実施した場合の提案手法の

図 5(a) より，全ての VC 設定において，提振る舞いなどを詳細に調査する。また，悪意の案法は従来法よりも同程度か，有意に高い話者あるユーザが連合学習に参加し，完全なノイズ類似性を達成した。すなわち，多話者 VC モデなどの学習に悪影響を与えるケースを想定した

ルの連合学習でユーザが所有するデータも活用学習も検討する。

することにより，モデルが再現可能な話者の多様性を改善できることが主観的にも確認された。
この改善の要因の一つとして，従来法では 40
名の話者間の VC を単一のモデルで一度に学習するが，提案法では 10 名の Anchor 話者 +1
名の Client 話者という複数の小規模 VC タスクに分散させることで，学習が容易になったということが推測される。

[参考文献][ 1 ] Y. Li et al., “StarGANv2-VC: A diverse, unsupervised, non-parallel framework for natural-sounding
voice conversion,” in Proc. INTERSPEECH, 2021.
[2]

J. Konečný et al., “Federated learning: strategies

for improving communication efficiency,” in NIPS
Workshop on Private Multi-Party Machine Learning, 2016.

一方で，図 5(b) より，変換音声の自然性については，VC 設定によって異なる傾向が示された。具体的には，提案法による変換音声の自然性は，Client-to-Anchor VC の設定では従来法より劣り，Client-to-Client VC の設定では従来法を上回る結果となった。この要因の一つとして，Client データと Anchor データの不均― 5 ―[ 3 ] H. McMahan et al., “Communication-efficientlearning of deep networks from decentralized data,”
in Proc. AISTATS, 2017.
[ 4 ] T. Li et al., “Federated optimization in heterogeneous networks,” in Proc. AMTL, 2019.
[ 5 ] R. Yamamoto et al., “Parallel WaveGAN: A fast
waveform generation model based on generative
adversarial networks with multi-resolution spectrogram,” in Proc. ICASSP, 2020.

立石科学技術振興財団[6]

S. Takamichi et al., “JSUT and JVS: FreeJapanese voice corpora for accelerating speechsynthesis research,” Acoustical Science and Technology, vol. 41, no. 5, 2020.

[成果の発表，論文など]
1 ) 平 井 龍 之 介，齋 藤 佑 樹，猿 渡 洋，“Fed-StarGANv2-VC：連合学習を用いた多対多声質変換，”情報処理学会研究報告，2023 年．
2 ) Ryunosuke

Hirai,

Yuki

Saito,andHiroshi

Saruwatari: “Federated Learning for Human-inThe-Loop Many-to-Many Voice Conversion,” inProc. 12th ISCA Speech Synthesis Workshop, Aug.
2023. (Accepted)― 6 ―