情報処理学会研究報告
IPSJ SIG Technical Report

Fed-StarGANv2-VC：連合学習を用いた多対多声質変換
平井 龍之介1,a)

齋藤 佑樹1,b)

猿渡 洋1

概要：本稿では，連合学習を用いたユーザ参加型の多対多声質変換モデル学習法を提案する．従来の多対多声質変換技術は，多数話者の音声を含むデータセットを用いて声質変換モデルを学習する．しかし，学習されたモデルが多種多様なユーザによる入力音声に対して高品質な声質変換を実現する保証はない．提案手法では，高品質な多対多声質変換を実現する StarGANv2-VC モデルを研究開発者とユーザが協同的に学習し，ユーザが所有する音声データのプライバシーを保護しながら，より多様な話者の音声を変換可
能な深層学習モデルを構築する．実験的評価の結果より，提案手法が従来の非分散型学習法と同程度の話
者類似性を達成しうることを示す．

Ryunosuke Hirai1,a)Yuki Saito1,b)

1. はじめにHiroshi Saruwatari1

タを用いた声質変換モデルの逐次更新が可能となれば，モデルの学習時と推論時における入力データのドメイン（話音声は人間がリアルタイムに情報交換を行うにあたって

者のみならず収録環境 [7]）の違いに対して柔軟に適応可能用いられる主要な手段の一つである．音声にはその発話内な双方向型アプローチのユーザ参加型多対多声質変換技術

容にとどまらず，個人性や感情などの非言語・パラ言語的（図 1(b)）が実現できる．しかし，音声データは本質的にな部分にも多くの情報を持つという特性がある．音声の持その発話内容と声質から発話者が特定される可能性を孕むつ情報の一つに声質と呼ばれる話者の個人性を表現する

個人情報であり，研究開発者が所有する中央サーバにユー

非言語情報がある．声質は発話の印象を大きく左右する重ザのデータを集約させる行為にはプライバシー漏洩のリス

要な特徴の一つである一方で，その形成は年齢や身体的クが伴う．

特徴などに大きく依存する．声質変換 (Voice Conversion:

本研究は，高品質な多対多声質変換が可能な StarGANv2-

VC) [1] はある話者の音声データについて，その発話内容をVC [8] に連合学習 (Federated Learning) を導入した Fed-

保持したまま，声質を異なる話者のものに変換する技術でStarGANv2-VC を提案する．提案手法では，研究開発者ある．声質変換技術はかねてより人間社会と深いかかわりとユーザの間で声質変換モデルのパラメータのみを送受信を持ち，話者の持つ声質の匿名化による個人情報の保護 [2]することで，ユーザが所有する音声データのプライバシー

や，音声バーチャルリアリティや歌声変換 [3] などのエンを保持しつつ，より多様な話者の声質を再現可能な多対多ターテインメント応用がその一例として考えられる．

声質変換モデルを逐次的に学習する．実験的評価では，従

昨今の深層学習技術の発展と，研究開発者による大規模

来の非分散型の StarGANv2-VC モデル学習と提案手法をな多話者音声データセットの構築・整備に恩恵を受け，多比較し，連合学習特有の困難性である分散学習データの非様な話者の音声を高品質に変換可能な技術が数多く提案さ独立同一分布 (non-iid) 性と，連合学習の反復回数が声質れている [4], [5], [6]．一方で，現状の声質変換技術は，研変換性能に及ぼす影響を調査する．評価結果より，提案す究開発者が構築した深層学習モデルに基づく声質変換アプ

る Fed-StarGANv2-VC が従来型の学習法と同程度の話者

リケーションをユーザに提供する単方向型アプローチ（図類似性を達成しうることを示す．

1(a)）が主流であり，多種多様なユーザによる入力音声に対する変換精度を保証できない．もしユーザが所有するデー
1
a)
b)

東京大学
hirai-ryunosuke@g.ecc.u-tokyo.ac.jp
yuuki saito@ipc.i.u-tokyo.ac.jp

c 1959 Information Processing Society of Japan⃝

2. 関連研究2.1 深層学習に基づく声質変換
高品質な声質変換技術の実現には，入力音声からその発

1

情報処理学会研究報告
IPSJ SIG Technical Reportέϧ΢Πϱφγʖώέϧ΢Πϱφ΃ૻ৶

入力音声

確率変数

ཤ༽υʖν

識別器

ร‫׷‬Ϡυϩ

話者ドメイン

αʖϏη
ָस

参照音声

生成器

マッピング
ネットワークor

出力音声

スタイルベクトル

ドメイン分類器

スタイル
エンコーダ

図 2

StarGANv2-VC のモデル構造

Ϡυϩ͹ཤ༽

の枠組みを拡張し，入力音声特徴量からその話者を識別すD ॊཔ͹ୱ๏޴‫ܗ‬͹ଡଲଡ੢࣯ร‫׷‬Ϡυϩָसるドメイン分類器と，変換先話者を指定する離散的な属性情報を導入することで，単一の生成器で非パラレル多対多γʖώ΃ૻ৶

౹߻ॴཀྵ

声質変換を実現する StarGAN-VC [5] を提案した．

2.1.2 StarGANv2-VC
Li らにより提案された StarGANv2-VC [8] は，StarGANVC に対して以下の改良を加え，多様な話者の高品質な非パラཤ༽υʖν

レル多対多声質変換を実現している．図 2 に StarGANv2-

VC のモデル構造を示す．
ָसϠυϩ͹ཤ༽

ス タ イ ル エ ン コ ー ダ に よ る ス タ イ ル ベ ク ト ル 抽 出:

StarGAN-VC では生成器を離散的な属性情報で条件付けするため，話者の多様な発話スタイルの再現精度に限界があった．StarGANv2-VC では，変換先の話者を指定する

図 1

E ఑ҌͤΖ૔๏޴‫ܗ‬͹ଡଲଡ੢࣯ร‫׷‬Ϡυϩָस

話者ドメイン c と当該話者の参照音声 X ref から，その話

多対多声質変換における従来技術 (a) と提案技術 (b)者の発話スタイルの連続値ベクトル表現であるスタイルベ
クトル s を生成するスタイルエンコーダ S(X ref , c) を導入

話内容と話者性を高精度に分離する統計モデリング手法がし，再現可能な発話スタイルの多様性を向上させている．

要求される．変換元・変換先話者による同一発話内容の音マッピングネットワークによるスタイルベクトル生成:

声データから構成されるパラレルデータを用いた深層学習

話者の発話スタイルは確率的にゆらぐため，元来の GAN

法 [9], [10], [11] では，音声特徴量間の精緻な変換を実現すが有する，既知の確率分布からのランダムサンプリングがる一方で，パラレルデータの収録に要するコストから，変実現できることが望ましい．StarGANv2-VC では，前述

換可能な話者対に関するスケーラビリティが低いという欠のスタイルエンコーダに加え，Gauss 分布に従う確率変数

点がある．一方で，近年では深層学習モデルのドメイン敵z から話者ドメイン c に属するスタイルベクトルを生成す

対学習 [12] による話者非依存な特徴表現学習や，学習済み

るマッピングネットワーク M (z, c) を同時に学習し，変換

自動音声認識 (Automatic Speech Recognition: ASR) モデ

先話者の参照音声を用いることなく，スタイルベクトルのルに由来する発話内容の潜在変数 [13], [14] の導入などに

ランダムサンプリングを実現する．

より，非パラレルデータを用いた高品質な声質変換モデルの学習が可能になりつつある．

2.1.1 一巡一貫性損失を用いた敵対的生成ネットワークに基づく非パラレル声質変換

Goodfellow らにより提案された敵対的生成ネットワー
ク (Generative Adversarial Network: GAN) [15] は，デー

StarGANv2-VC で入力音声のメルスペクトログラム Xを変換する生成器 G(·) は，以下の 3 つのサブモジュールから構成される．

( 1 ) エンコーダ: X から，潜在変数 hx を抽出する．
( 2 ) F0 ネットワーク: X から，韻律特徴量 hF0 を抽出する．

タの生成器 (generator) と真贋識別器 (discriminator) と呼( 3 ) デコーダ: hx と hF0 に加え，変換先話者のスタイル

ばれる 2 つの深層ニューラルネットワーク (Deep Neuralベクトル s を入力として受け取り，当該話者のメルス

Network: DNN) の交互最適化に基づく生成モデルであり，ペクトログラム X̂ を復元する．

近年の高品質なメディア生成技術を支える基盤となっていLi らの論文 [8] では，事前学習済みの Joint Detection andる．Kaneko らの CycleGAN-VC [4] では，CycleGAN [16]Classiﬁcation (JDC) ネットワーク [17] を F0 ネットワー

で提案された一巡一貫性 (cycle consistency) 損失を用いてクとして利用し，変換元話者の F0 軌跡パターンが声質変

変換元・変換先話者対ごとの GAN を学習させ，高品質な換過程で不変であることを保証している．生成器 G(·) は，

非パラレルデータ声質変換を実現した．Kameoka らはこ

話者ドメイン c で条件付けされた真贋識別器 D(·) と，入c 1959 Information Processing Society of Japan⃝2

情報処理学会研究報告
IPSJ SIG Technical Report

力メルスペクトログラムが属するドメイン（即ち，話者）

F0 ネットワークにより抽出された韻律特徴量である．

を分類するドメイン分類器 C(·) に敵対するように学習さ• F0 一貫性損失: 声質変換過程で韻律軌跡パターン

れる．以降の説明では，話者ドメイン c(s) に属する音声が 不 変 で あ る こ と を 保 証 す る 損 失 で あ り ，Lf0 =のメルスペクトログラム X
(s→t)

(s)

からドメインを c

(t)

に変換

||F̄ (X (s) ) − F̄ (X̂(s→t))||1 として定義される．ここで，= G(X (s) , s(t) ) と表記する．ただし，F̄ (X) は音声から正規化された韻律軌跡パターンを抽

s(t) = S(X (t) , c(t) ) は話者ドメイン c(t) に対応するスタイ

出する処理であり，生成器に内包されている F0 ネッ

ルベクトルである．また，元論文 [8] での定式化におけるトワーク F (·) の予測結果を用いて F̄ (X) = ∥F (X)∥1

する処理を X̂

期待値演算記号 E[·] は表記の簡略化のため省略する．
真贋識別器の損失関数は，次式で定義される．
)))(( (s→t)(, c(t)
Ladv = − log D X (s) , c(s) − log 1 − D X̂(1)
式 (1) の第一項と第二項は，それぞれ学習データに含まれる真の音声と，変換元話者の音声 X (s) から c(t) に属する
話者に変換された偽の音声を正しく識別するための損失である．ドメイン分類器の損失関数は，次式で定義される．
)( ( (s→t) )(2)
Lcls = CE C X̂, c(s)
ここで，CE(·) はドメイン分類の Cross-Entropy 損失である．式 (2) に示す通り，ドメイン分類器は生成器 G(·) により変換された音声から，変換元の話者ドメイン c(s) を正
しく識別するように学習される．このドメイン分類器に対し，生成器は次式の敵対分類損失の最小化により学習する．
( ( (s→t) ))Ladvcls = CE C X̂, c(t)(3)

F (X)として計算される．

• 発 話 内 容 一 貫 性 損 失: 声 質 変 換 過 程 で 発 話 内 容が不変であることを保証する損失であり，Lasr =||hasr (X (s) ) − hasr (X̂(s→t))||1 として定義される．ここで，hasr (·) は学習済み ASR モデルから抽出される音声の発話内容に関する中間表現である．

• ノ ル ム 一 貫 性 損 失: 声 質 変 換 過 程 で ノ ル ム が 不
変 で あ る こ と を 保 証 す る 損 失 で あ り ，Lnorm =
∑T
(s→t)
(s)
1
|| | として定義される．
t=1 | ||X t || − ||X̂ t
T
ここで，t, T はそれぞれメルスペクトログラムのフ
レームインデックス，総フレーム数を表す．

2.2 連合学習
連合学習 [18] はクライアント・サーバ方式に基づく分散機械学習フレームワークの一種であり，学習に参加する
クライアントが所有するデータのプライバシーを保護しつ
つ，単一の機械学習モデルを逐次的に学習する．連合学習は，以下に示す Round と呼ばれる一連の処理の反復として表現される．

即ち，任意話者の音声を話者ドメイン c(t) に属する音声に( 1 ) サーバはランダムに選択した複数のクライアントに自変換した結果が，ドメイン識別器を詐称するようにモデル

身が所有するモデルのパラメータを送信する．

パラメータを更新する．加えて，生成器は以降に示す複数( 2 ) クライアントは各自が所有するデータを利用し，サー損失の重み付き和を最小化するマルチタスク学習により最適化される．

( 3 ) クライアントで一定の期間 (local epoch) だけ学習し• 一巡一貫性損失: 生成器により変換した音声が元のドメインに復元可能であることを保証する損失であり，

Lcyc = ||X (s) − X̂で，X̂

バから受信したモデルを学習する．

(s→t→s)(s→t→s)= G(X̂

||1 として定義される．ここ

(s→t)

(s)

, s ) である．

−Ladv として定義される．

つのモデルへと統合し，サーバの所有するモデルを更この Round の繰り返しによって，個々のクライアントの所有するデータを用いた学習の結果を取り入れ，各クライ• スタイル復元損失: 変換音声からスタイルエンコーダ
により抽出されたスタイルベクトルと，変換先話者のスタイルベクトルの一貫性を保証する損失であり，(s→t)( 4 ) サーバに集約させたモデルを特定の処理に基づいて一新する．

• 真贋敵対損失: 真贋識別器を詐称する損失であり，

Lsty = ||s(t) − S(X̂

たモデルをサーバ側に送信する．

アントのデータに対応可能なモデルを共同的に学習する．

2.2.1 FedAvg
McMahan らにより提案された FedAvg [19] は，連合学, c(t) )||1 として定義される．

習における代表的なモデル統合法の一つである．FedAvg• ス タ イ ル 多 様 性 損 失: 生 成 器 が 多 様 な 発 話 ス タ

では，各クライアントが学習を終了した後のモデルパラ

イルの音声を変換可能にするための損失であり，メータに対してデータ数で重み付けされた平均を計算する(s→t)

Lds = ||X̂ 1(s→t)− X̂ 2

(s→t)

(s→t)

(s→t)

||1 + ||hF0,1 − hF0,2 ||1 と(s→t)

ことで，統合後のモデルパラメータを計算する．

はそれぞれ同一話

FedAvg を利用した学習のサーバ側，クライアント側の者ドメインに属する異なる 2 つのスタイルベクトル

アルゴリズムをそれぞれ Algorithm 1 と Algorithm 2 に示(t) (t)s1 , s1 を用いて X (s) から変換された音声である．
(s→t)
(s→t)
(s→t)
(s→t)
また，hF0,1 , hF0,2 はそれぞれ X̂ 1
, X̂ 2からす． FedAvg を用いて連合学習を行ったモデルは，一定のして定義される．X̂ 1, X̂ 2c 1959 Information Processing Society of Japan⃝

条件下でデータセットを集約させて学習したモデルと同等

3

情報処理学会研究報告
IPSJ SIG Technical Report

Algorithm 1 FedAvg のサーバ側アルゴリズム

質のユーザからの入力音声を想定する必要がある．故に，

1: C = {1, 2, . . . , K} := クライアントの添字集合
2: M := 各ラウンドでランダムに選択するクライアント数
3: wk := k 番目のクライアントが所有するモデルのパラメータ4: nk := k 番目のクライアントが所有するデータ数
5: R := 連合学習の Round 数
6: for r = 1, 2, . . . , R do
7:
Cr ∈ C := 乱択クライアントの添字集合 (|Cr | = M )∑8:
Nr = k∈Cr nk := Round r で用いられる全データ数
9:
for all k ∈ Cr do
10:
モデルパラメータの配布: wkr ← wr
11:
クライアントの更新: wkr ← Update Client(k, wkr )12:
end for∑nk
13:
モデルの統合: wr ← k∈Cr N
wkrr
14: end for2.2.2 節で述べたように，連合学習で多対多声質変換モデ
ルを学習する場合においても，参加するクライアントが所有するデータセットに iid 性を仮定することは非現実的である．一方で，近年では研究開発者により多数の話者を含む大規模な音声データセット（例えば，日本語の JVS コー
パス [21] や英語の LibriTTS コーパス [22]）の構築・整備が進められており，これらを活用することで non-iid 性への対処が容易になると考えられる．そこで，本研究では連合学習に用いるデータセットを以下の 2 つに分類する．

• Anchor データセット DAnc : すべてのクライアント
が共通でアクセス可能なデータセット• Client データセット DCli : 各クライアントのみアク
Algorithm 2 FedAvg のクライアント側アルゴリズム
Update Client(k, w)
1: D k := k 番目のクライアントが所有するデータ
2: Bk := D k から構成されるバッチの集合
3: E := Local epoch 数
4: η := 学習率
5: h(b; w) := モデルパラメータ w，バッチ b から計算される損失関数
6: for i = 1, 2, · · · , E do
7:
for b ∈ Bk do
8:w ← w − η∇w h(b; w)
9:
end for
10: end for
11: モデルパラメータ w をサーバに送信セス可能なデータセット
即ち，Algorithm 2 に示すクライアント側のモデルパラメーk
タ更新では，k 番目のクライアントは D = DAnc ∪ DCliを用いて損失関数と勾配を計算できると仮定する．

3.2 Fed-StarGANv2-VC のアルゴリズム
提 案手法では，StarGANv2-VC を構成する各サ ブモ
ジュールを連合学習により最適化する．提案手法における

FedAvg のサーバ側・クライアント側のアルゴリズムはそれぞれ Algorithm 1 と Algorithm 2 と同じであるが，クライアント側の更新において学習時のバッチを構成する処理
kとなると（Algorithm 2 2 行目）が B k := D = DAnc ∪ DCli

いう点で異なる．
の性能を達成することが解析的に示されている [19]．

2.2.2 FedProx
連合学習における既知の課題の一つが，各クライアント

4. 実験的評価
4.1 実験条件のデータ分布の非独立同一分布 (non-iid) 性が学習に与え

本稿では，StarGANv2-VC モデルの学習を単一の中央る悪影響である．一般に，各クライアントが所有するデー

サーバに全データを集約させて行う従来手法と，連合学習

タの分布はクライアント毎に異なると想定されるため，そによってデータを各クライアントに分散させた状態で行う

れぞれのデータセットに過適合したモデルの統合により，提案手法を比較した．実際の連合学習ではサーバ・クライ

学習収束速度の低下やモデルの性能低下が生じる．Li らに

アントは異なる計算機やエッジ端末であることを想定するより提案された FedProx [20] では，クライアントのモデル

が，本稿では実験の簡略化のため，同一の計算機内に仮想パラメータ w がサーバのモデルパラメータ w0 から極端に的なサーバ・クライアントを用意して連合学習を実施した．

乖離することを防ぐために，µ||w − w0 || で表される正則

StarGANv2-VC の実装は，当該論文 [8] の著者により化項を導入する．ここで，µ ∈ [0, 1] は正則化項の影響を調公開されているオープンソース実装*1 を用いた．DNN の節するハイパーパラメータである．

アーキテクチャはすべてこの実装と同じであり，メルスペ

2

3. 提案手法: Fed-StarGANv2-VC

クトログラムから音声波形データを合成するボコーダには事前学習済みの Parallel WaveGAN [23] を利用した．

本研究では，ユーザが所有するデータのプライバシーを

データセットとして，JVS コーパス [21] の parallel100

保護しながらユーザ参加型多対多声質変換モデル学習の実

サブセットに含まれる男性話者と女性話者をそれぞれ 20

現を目的とし，StarGANv2-VC に連合学習の枠組みを適名ずつ選択した．これらの各話者の音声を 100 ms を基準用した Fed-StarGANv2-VC を提案する．

に無音区間を削除し，5 秒ごとに分割したものを一つのデータ単位とした．訓練データ，検証データ，テストデー

3.1 問題設定
多対多声質変換技術のアプリケーションでは，多様な声

c 1959 Information Processing Society of Japan⃝*1

https://github.com/yl4579/StarGANv2-VC

4

情報処理学会研究報告
IPSJ SIG Technical Report

ラベル名

表 1 評価する変換対
入力話者
出力話者

Anc → Anc

Anchor 話者

Anchor 話者

Anc → Cli

Anchor 話者

Client 話者

Cli → Anc

Client 話者

Anchor 話者

Cli → Cli

Client 話者

Client 話者

タの数はそれぞれ 3284, 411, 411 であった．本研究では，
クライアントごとに異なる話者の音声データを持っている状況を再現するために，40 名の話者を 10 名の Anchor 話k
者 (DAnc ) と 30 名の Client 話者 (DCli(k = 1, . . . , 30)) に分類した．Anchor 話者は全てのクライアントが学習に利用できる話者，Client 話者はそれぞれ一つのクライアント
のみにデータが存在する話者とした．Anchor 話者の音声

図 3

連合学習の Round 数に対する x-vector cossim 評価値の遷移

データと Client 話者の音声データが均等になるように各クライアントにデータを割り当てた．

いては FedProx 正則化項の有無・変換話者対のパターンの連合学習のクライアント更新時の local epoch 数は 10，

違いに関わらず，概ね僅かに改善した．一方で，pMOS のバッチサイズは 10 とした．学習時の optimizer として評価結果（表 3）については，FedProx 正則化項の有無に

AdamW [24] を用いた．ただし，連合学習に基づく提案手関わらず，クライアント数の増加により，Anchor 話者を変法では，optimizer は各クライアントごとに異なる内部パラ

換先に指定した場合では pMOS 値が劣化し，その逆の場合メータが用いられるものとし，各 Round におけるクライ

では pMOS 値が改善した．本稿の実験設定では，Anchor

アントへのモデル配布と同時に optimizer の内部パラメー

話者の数 (10 名) と比較して Client 話者の数 (30 名) が多い

タを初期化するものとした．FedProx を用いる場合のハイため，複数クライアントからの学習結果のモデルを統合す

パーパラメータ µ は 1 とした．

る処理により，全体の割合としては少数派にあたる Anchor

以降の各評価は，入出力話者が Anchor 話者，Client 話

話者への変換性能が自然性の観点で劣化したと考えられる．

者である場合の計 4 通りの変換対についてそれぞれ分けて連合学習の Round 数: 表 2 及び表 3 より，どちらの実施した．各変換対の学習の難易度は異なり，特に，Client

評価指標においても，Round 数を増加させることで概ね話者同士の変換は連合学習で直接的に学習不可能であるた改善する傾向にあった．注目すべき点として，Anchor 話

め，最も困難であると考えられる．評価における変換対の者を変換先に指定した場合ではその改善傾向が弱いのに対ラベルを表 1 に示す．

し，その逆の場合では顕著な改善傾向が示された．この傾向は，統合クライアント数 3，FedProx 正則化項ありの場

4.2 客観評価

合について横軸を Round 数，縦軸を x-vector cossim とし

本稿では，変換音声の話者類似性の客観評価指標としてて作成した図 3 に顕著に示されている．これらの結果は，x-vector [25] のコサイン類似度 (x-vector cossim) を，自然連合学習によって多対多声質変換モデルが表現可能な話者性の客観評価指標として UTMOS [26] による自然性 Meanの多様性を向上させるためには，十分な Round 数が要求

Opinion Score (MOS) 評価の予測値 (pMOS) を用いた．

されることを示唆している．

x-vector の抽出には JTubeSpeech コーパス [27] を用いて

FedProx 正則化項の有無: 表 3 より，達成可能な変換学習された事前学習済みモデル*2 を利用した．

音声の自然性に関しては，FedProx 正則化項の有無は大き4.2.1 連合学習の実験条件に関する調査

く寄与せず，学習の Round 数による影響が支配的であっはじめに，提案手法である Fed-StarGANv2-VC の性能た．一方で，表 2 より，Anchor 話者を変換先に指定したを (1) 連合学習で統合処理に用いるクライアント数，(2)場合では正則化の影響は小さく，その逆の場合では顕著な連合学習の Round 数，(3) non-iid 性に対処するための改善が見られた．これらの結果は，多対多声質変換モデル

FedProx 正則化項の有無について調査した．提案手法におの連合学習における学習データの non-iid 性への対処は，

ける x-vector cossim，pMOS の評価結果をそれぞれ表 2，

モデルが変換先として表現可能な話者の多様性を増加させ

表 3 に示す．

るために重要である可能性を示唆している．

モデル統合時のクライアント数の影響: Round 数を 400

以降の評価では，Client 話者を対象とした変換時の話者で固定した場合，x-vector cossim の評価結果（表 2）につ類似性が最も高い {# Cli = 3, # Round = 800, FedProx*2

正則化あり } で学習した提案手法を比較対象として採用

https://github.com/sarulab-speech/xvector_
jtubespeechc 1959 Information Processing Society of Japan
⃝

した．

5

情報処理学会研究報告
IPSJ SIG Technical Report
表 2

提案手法の x-vector cossim 評価結果（平均 ± 標準偏差）

Model

Anc→Anc

Anc→Cli

Cli→Anc

Cli→CliNo

0.48 ± 0.19

0.23 ± 0.39

0.48 ± 0.18

0.23 ± 0.39

No

0.51 ± 0.17

0.37 ± 0.40

0.51 ± 0.17

0.38 ± 0.40

No

0.53 ± 0.19

0.26 ± 0.41

0.54 ± 0.20

0.27 ± 0.41

400

No

0.53 ± 0.16

0.39 ± 0.37

0.53 ± 0.17

0.41 ± 0.36

1

200

Yes

0.53 ± 0.20

0.31 ± 0.38

0.53 ± 0.21

0.32 ± 0.38

1

400

Yes

0.52 ± 0.17

0.41 ± 0.36

0.52 ± 0.18

0.43 ± 0.35

3

200

Yes

0.56 ± 0.19

0.34 ± 0.36

0.56 ± 0.19

0.35 ± 0.36

3

400

Yes

0.53 ± 0.18

0.42 ± 0.35

0.53 ± 0.18

0.43 ± 0.34

3

600

Yes

0.55 ± 0.18

0.44 ± 0.35

0.55 ± 0.19

0.46 ± 0.34

3

800

Yes

0.55 ± 0.19

0.46 ± 0.35

0.55 ± 0.19

0.48 ± 0.34

# Cli

# Round

1

200

1

400

3

200

3

FedProx?

表 3

提案手法の pMOS 評価結果（平均 ± 標準偏差）

Model

Anc→Anc

Anc→Cli

Cli→Anc

Cli→CliNo2.03 ± 0.34

1.93 ± 0.30

2.10 ± 0.32

2.05 ± 0.28

No

2.25 ± 0.33

2.28 ± 0.30

2.33 ± 0.32

2.38 ± 0.28

No

2.13 ± 0.35

2.30 ± 0.31

2.19 ± 0.34

2.43 ± 0.25

No

2.16 ± 0.32

2.44 ± 0.29

2.28 ± 0.34

2.59 ± 0.27

200

Yes

2.17 ± 0.27

2.23 ± 0.27

2.21 ± 0.29

2.30 ± 0.28

1

400

Yes

2.25 ± 0.33

2.25 ± 0.31

2.35 ± 0.32

2.39 ± 0.30

3

200

Yes

2.19 ± 0.39

2.32 ± 0.29

2.23 ± 0.37

2.42 ± 0.26

3

400

Yes

2.18 ± 0.34

2.45 ± 0.29

2.27 ± 0.34

2.56 ± 0.25

3

600

Yes

2.13 ± 0.34

2.41 ± 0.25

2.22 ± 0.34

2.65 ± 0.26

3

800

Yes

2.09 ± 0.33

2.37 ± 0.29

2.20 ± 0.34

2.63 ± 0.28

# Cli

# Round

1

200

1

400

3

200

3

400

1

FedProx?

4.2.2 従来の非分散型学習法に関する調査

ランダムに選択し，従来手法・提案手法で学習した多対多次に，本実験のベースラインである，連合学習を用いず声質変換モデルを用いて自身以外の話者に変換した音声をに学習を行う StarGANv2-VC のモデルを比較するために，用いた．また，本評価では学習後のモデルがユーザにより異なる Epoch 数での客観評価指標を計算した．表 4 と表 5提供される音声を高精度に変換可能かどうかに着目するたにそれぞれ従来手法で学習された多対多声質変換モデルのめに，変換元は Client 話者のデータで固定した．主観評価

x-vector cossim と pMOS 値の評価結果を示す．なお，変の被験者は Lancers*3 でのクラウドソーシングにより，変換話者対のパターンは提案手法と同様の 4 種を示している

換話者対の種別ごとに独立して各 50 名ずつ，計 800 名をが，従来手法の学習では {Anc, Cli} を区別していない．こ募集した．被験者は従来手法と提案手法で変換された同一れらの表から，Epoch の増加によって x-vector cossim（表発話内容の変換音声対を聴取し，AB テストの場合はどち4）は改善傾向にあるが，pMOS 値（表 5）の改善傾向は弱らの音声がより自然かを回答した．XAB テストの場合は，いことが確認できる．また，600 Epoch と 700 Epoch 終了

同時に提示された変換先話者の参照音声データと比較し，時点での客観指標に大きな差は見られないが，800 Epoch

どちらの音声が当該話者に類似しているかを回答させた．

終了時点にて x-vector cossim と pMOS の評価結果に僅か

表 6 と表 7 にそれぞれ話者類似性と自然性に関する主な劣化が見られたため，以降の評価では，700 Epoch 学習

観評価結果を示す．なお，入出力話者の性別は男性を (M)，後の従来手法を比較対象として採用した．

女性を (F) で表現した．ここで，太字は対照手法のスコア
を p < 0.05 の有意差で上回っていることを示す．表 6 よ4.3 主観評価

り，提案手法はすべての声質変換設定において従来手法と節での客観評価で最良な結果を示した従来手法 (Conven-

同程度・もしくは有意に上回る話者類似性を達成した．故tional) と提案手法 (Proposed) により変換された音声の品に，提案手法はユーザ参加型の多対多声質変換モデル学習

質に関する主観評価を実施した．評価手法は，変換音声のにより，変換可能な話者の多様性を改善できる可能性が示

話者類似性に関するプリファレンス XAB テストと，自然唆された．この結果に対する考察として，従来手法では，性に関するプリファレンス AB テストとした．評価ではテ

40 話者間の変換を単一のモデルで一度に学習する一方で，

ストデータから全 40 話者のそれぞれの音声データ 3 つを
*3c 1959 Information Processing Society of Japan⃝

https://www.lancers.jp/

6情報処理学会研究報告
IPSJ SIG Technical Report
従来手法の x-vector コサイン類似度評価結果（平均 ± 標準偏差）

表 4# EpochAnc→Anc

Anc→Cli

Cli→Anc

Cli→Cli200

0.49 ± 0.21

0.50 ± 0.34

0.49 ± 0.22

0.51 ± 0.34300

0.54 ± 0.17

0.52 ± 0.33

0.55 ± 0.17

0.53 ± 0.32

400

0.51 ± 0.20

0.52 ± 0.35

0.53 ± 0.20

0.53 ± 0.34500

0.52 ± 0.18

0.50 ± 0.35

0.52 ± 0.17

0.50 ± 0.34

600

0.55 ± 0.19

0.55 ± 0.32

0.55 ± 0.18

0.56 ± 0.32

700

0.54 ± 0.18

0.55 ± 0.33

0.56 ± 0.18

0.55 ± 0.33

800

0.53 ± 0.19

0.53 ± 0.33

0.54 ± 0.18

0.53 ± 0.33

表 5

表 6

従来手法の pMOS 評価結果（平均 ± 標準偏差）# EpochAnc→Anc

Anc→Cli

Cli→Anc

Cli→Cli200

2.13 ± 0.31

2.21 ± 0.29

2.24 ± 0.30

2.28 ± 0.27300

2.18 ± 0.31

2.27 ± 0.28

2.27 ± 0.31

2.37 ± 0.28400

2.22 ± 0.34

2.26 ± 0.28

2.28 ± 0.32

2.33 ± 0.29

500

2.27 ± 0.32

2.29 ± 0.26

2.32 ± 0.33

2.35 ± 0.28

600

2.17 ± 0.31

2.21 ± 0.28

2.26 ± 0.32

2.28 ± 0.28

700

2.23 ± 0.38

2.25 ± 0.29

2.28 ± 0.35

2.32 ± 0.29

800

2.19 ± 0.31

2.23 ± 0.26

2.25 ± 0.34

2.31 ± 0.28

話者類似性に関するプリファレンス XAB スコア
VC setting
Conventional Proposed

表 7

自然性に関するプリファレンス AB スコア

VC setting

Conventional

ProposedCli(F) → Anc(F)

0.448

0.552

Cli(F) → Anc(F)

0.526

0.474

Cli(F) → Anc(M)

0.484

0.516

Cli(F) → Anc(M)

0.574

0.426

Cli(M) → Anc(F)

0.432

0.568

Cli(M) → Anc(F)

0.584

0.416

Cli(M) → Anc(M)

0.490

0.510

Cli(M) → Anc(M)

0.604

0.396

Cli(F) → Cli(F)

0.520

0.480

Cli(F) → Cli(F)

0.366

0.634

Cli(F) → Cli(M)

0.472

0.528

Cli(F) → Cli(M)

0.368

0.632

Cli(M) → Cli(F)

0.510

0.490

Cli(M) → Cli(F)

0.326

0.674

Cli(M) → Cli(M)

0.480

0.520

Cli(M) → Cli(M)

0.408

0.592

提案手法では，各クライアントのデータセットに存在する
話者数は Anchor 話者 10 名 + Client 話者 1 人であるため，より少ない話者間の変換を学習することになる．連合学習では先述の少ない話者間の変換を学習したものを統合する
ため，結果として，従来手法よりも話者性の再現精度が悪い局所解に陥ることなく，より良いモデルパラメータに収束したと考えられる．
一方で，表 7 より，変換音声の自然性に関しては，変換
話者対の設定で大きく異なる傾向を示した．つまり，提案
手法により変換された音声の自然性は，従来手法と比較して，Anchor 話者を変換先とした場合は有意に低く，Client

手法として Fed-StarGANv2-VC を提案した．実験的評価の結果から，データを分散させた状態では直接的に学習不可能である Client 同士の話者変換についても，データを集約させて学習を行う従来手法と同程度の変換音声の話者類似性を達成できることを示した．今後は Anchor/Client
データセットの不均衡さが連合学習に及ぼす影響や，仮想的にではなく，実際に異なる端末間での連合学習を実施した場合の提案手法の振る舞いなどを詳細に調査する．
謝辞

本研究は，公益財団法人 立石科学技術振興財団

2022 年度研究助成 (A)，JSPS 科研費 21K21305 による支援を受けたものです．

話者を変換先とした場合は有意に高い結果となった．この傾向は客観評価における pMOS 指標の大小関係と概ね等しい．即ち，4.2.1 節で述べたように，変換音声の自然性については，Anchor/Client 話者のデータ量の不均衡さが連

参考文献
[1]

合学習における統合結果に悪影響を及ぼす可能性が客観評
価結果と主観評価結果の両方において示唆された．

5. おわりに[2]

本研究では，プライバシーを保持しつつユーザが所有する音声データを活用して多対多声質変換モデルを学習する

c 1959 Information Processing Society of Japan⃝[3]

Toda, T., Black, A. W. and Tokuda, K.: Voice conversion based on maximum likelihood estimation of spectral parameter trajectory, IEEE Transactions on Audio, Speech, and Language Processing, Vol. 15, No. 8,
pp. 2222–2235 (2007).
Fang, F., Wang, X., Yamagishi, J., Echizen, I., Todisco,M., Evans, N. and Bonastre, J.-F.: Speaker anonymization using x-vector and neural waveform models, Proc.
SSW, Vienna, Austria, pp. 155–160 (2019).
Doi, H., Toda, T., Nakano, T., Goto, M. and Nakamura,7

情報処理学会研究報告
IPSJ SIG Technical Report

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

S.: Singing voice conversion method based on many-tomany Eigenvoice conversion and training data generation using a singing-to-singing synthesis system, Proc.
APSIPA ASC, Hollywood, U.S.A., pp. 1–6 (2012).
Kaneko, T. and Kameoka, H.: CycleGAN-VC: Nonparallel voice conversion using cycle-consistent adversarial networks, Proc. EUSIPCO, Rome, Italy, pp. 2114–
2118 (2018).
Kameoka, H., Kaneko, T., Tanaka, K. and Hojo, N.:
StarGAN-VC: Non-parallel many-to-many voice conversion using star generative adversarial networks, Proc.
SLT, Greece, Athens, pp. 266–273 (2018).
Qian, K., Zhang, Y., Chang, S., Yang, X. and HasegawaJohnson, M.: AutoVC: Zero-shot voice style transfer
with only autoencoder loss, Proc. ICML, Long Beach,
U.S.A., pp. 5210–5219 (2019).
Xie, C., Wu, Y.-C., Tobing, P. L., Huang, W.-C. andToda, T.: Direct noisy speech modeling for noisy-tonoisy voice conversion, Proc. ICASSP, Singapore, pp.
6787–6791 (2022).
Li, Y. A., Zare, A. and Mesgarani, N.: StarGANv2VC: A diverse, unsupervised, non-parallel frameworkfor natural-sounding voice conversion, Proc. INTERSPEECH, Brno, Czech Republic, pp. 266–273 (2021).
Desai, S., Raghavendra, E. V., Yegnanarayana, B.,
Black, A. W. and Prahallad, K.: Voice conversion using Artiﬁcial Neural Networks, Proc. ICASSP, Taipei,
Taiwan, pp. 3893–3896 (2009).
Tanaka, K., Kameoka, H., Kaneko, T. and Hojo, N.:
AttS2S-VC: Sequence-to-sequence voice conversion withattention and context preservation mechanisms, Proc.
ICASSP, Brighton, U.K., pp. 6805–6809 (2019).
Hayashi, T., Huang, W.-C., Kobayashi, K. and Toda,
T.: Non-autoregressive sequence-to-sequence voice conversion, Proc. ICASSP, Montreal, Canada, pp. 7068–
7072 (2021).
Ganin, Y., Ustinova, E., Ajakan, H., Germain, P.,
Larochelle, H., Laviolette, F., Marchand, M. and Lempitsky, V.: Domain-adversarial training of neural networks, Journal of Machine Learning Research, Vol. 17,
No. 59, pp. 1–35 (2016).
Sun, L., Li, K., Wang, H., Kang, S. and Meng, H.:
Phonetic posteriorgrams for many-to-one voice conversion without parallel data training, Proc. ICME, Seattle,
U.S.A. (2016).
Zhang, J.-X., Ling, Z.-H. and Dai, L.-R.: Non-parallel
sequence-to-sequence voice conversion with disentangled linguistic and speaker representations, IEEE/ACM
Transactions on Audio, Speech, and Language Processing, Vol. 28, No. 1, pp. 540–552 (2020).
Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B.,
Warde-Farley, D., Ozair, S., Courville, A. and Bengio,
Y.: generative adversarial nets, Proc. NIPS, Montreal,
Canada, pp. 2672–2680 (2014).
Zhu, J.-Y., Park, T., Isola, P. and Efros, A. A.: Unpaired
image-to-image translation using cycle-consistent adversarial networks, Proc. ICCV, Venice, Italy, pp. 2223–
2232 (2017).
Kum, S. and Nam, J.: Joint detection and classiﬁcation of singing voice melody using convolutional recurrent neural networks, Applied Sciences, Vol. 9, No. 7(2019).
Konečný, J., McMahan, H. B., Yu, F. X., Richtarik,
P., Suresh, A. T. and Bacon, D.: Federated learning:strategies for improving communication eﬃciency, NIPS

c 1959 Information Processing Society of Japan
⃝

[19]

[20]

[21]

[22]

[23]

[24]
[25]

[26]

[27]

Workshop on Private Multi-Party Machine Learning(2016).
McMahan, H. B., Moore, E., Ramage, D., Hampson, S.
and y Arcas, B. A.: Communication-eﬃcient learning ofdeep networks from decentralized data, Proc. AISTATS,
Fort Lauderdale, U.S.A.
Li, T., Sahu, A. K., Zaheer, M., Sanjabi, M., Talwalkar,
A. and Smith, V.: Federated optimization in heterogeneous networks, Proc. AMTL, Long Beach, U.S.A.
Takamichi, S., Sonobe, R., Mitsui, K., Saito, Y., Koriyama, T., Tanji, N. and Saruwatari, H.: JSUT and
JVS: Free Japanese voice corpora for accelerating speechsynthesis research, Acoustical Science and Technology,
Vol. 41, No. 5, pp. 761–768 (2020).
Zen, H., Dang, V., Clark, R., Zhang, Y., Weiss, R. J.,
Jia, Y., Chen, Z. and Wu, Y.: LibriTTS: A corpus derived from LibriSpeech for text-to-speech, Proc. INTERSPEECH, Graz, Austria, pp. 1526–1530 (2019).
Yamamoto, R., Song, E. and Kim, J.: Parallel WaveGAN: A fast waveform generation model based on generative adversarial networks with multi-resolution spectrogram, Proc. ICASSP, Barcelona, Spain, pp. 6199–6203(2020).
Loshchilov, I. and Hutter, F.: Decoupled weight decay
regularization, Proc. ICLR, New Orleans, U.S.A. (2019).
Snyder, D., Garcia-Romero, D., Sell, G., Povey, D. andKhudanpur, S.: X-Vectors: Robust DNN embeddings forspeaker recognition, Proc. ICASSP, Alberta, Canada,
pp. 5329–5333 (2018).
Saeki, T., Xin, D., Nakata, W., Koriyama, T.,
Takamichi, S. and Saruwatari, H.: UTMOS: UTokyoSaruLab system for VoiceMOS Challenge 2022, Proc.
INTERSPEECH, Incheon, South Korea, pp. 4521–4525(2022).
Takamichi, S., Kürzinger, L., Saeki, T., Shiota, S. and
Watanabe, S.: JTubeSpeech: Corpus of Japanese speechcollected from YouTube, arXiv, Vol. abs/2112.09323(2021).

8