日本データベース学会和文論文誌
一般論文

Vol. 21-J, Article No. 2, 2023年 3月

ルを集約してグローバルモデルを構築するモデル集約という2つモデル構造の自動チューニングを用のステップから構成されている．この2つのステップを，グローいたパーソナライズド連合学習手法

バルモデルが収束するまで繰り返す．このように学習後のモデルを共有することで，クライアントのローカルデータをモデルの構松田光司1佐々木勇和2肖川3

築に有効的に活用することができる．

鬼塚真4

連合学習の課題. 連合学習の課題の1つにデータの不均一性がある．データの不均一性とは，クライアント間でローカルデータの連合学習は，サーバと複数のクライアントがデータセットを共分布が異なる，すなわち独立同分布（IID）でないという課題で有することなく，協同して機械学習モデルを構築する分散型の機ある．データが不均一な環境では，各クライアントに対して最械学習手法である．これまで，連合学習におけるデータ不均一性

適な単一のグローバルモデルを学習することは困難である．実の問題に対処するために多くの手法が提案されてきた．既存手法

際，一般的な連合学習手法では，各クライアントがNon-IIDのロでは，サーバがモデル構造をチューニングする必要があるが，サーカルデータを持つ場合，グローバルモデルのモデルパラメー

ーバはローカルデータを保持していないため，モデル構造のチュ

タが発散することが示されている [12]．データの不均一性に対ーニングが困難である．本研究では，先行研究であるFederated

処するために，パーソナライズド連合学習手法が提案されていLearning via Model exchange (FedMe)を拡張し，モデル構造のる [16, 21, 22, 24]．これらの手法は，クライアント毎に最適化さチューニングを可能とする． FedMeは，クライアントがモデルれたモデルであるパーソナライズドモデルを構築することを目的

を互いに交換し合い，モデル同士を深層相互学習によって学習すとしている．
最適なパーソナライズドモデルの構築のためには，以下の研究ることで異種モデル構造間の学習を可能にする技術である．さら課題に取り組む必要がある．

に，本拡張によって，モデルパラメータを学習しながらモデル構
造を自動的にチューニングし，クライアント毎にモデルを構築す• パーソナライズドモデルのモデル構造をどのように決定する

る．ローカルデータに対してモデル構造を最適化するために，各か？ 既存のパーソナライズド連合学習手法では，サーバはクライアントは交換モデルと比較しながら自身のパーソナライ

事前にモデル構造をチューニングする必要がある．サーバはズドモデルのチューニングを行う． 3つの実データセットで実験

クライアントのローカルデータの分布を知らないため，構造を行い，本拡張によりFedMeがモデル構造を自動的にチューニの異なる複数のモデルを学習させ，モデル構造をチューニン

ングしながら，最新の連合学習手法よりも高精度であることを示グする必要がある．しかし，この作業はサーバとクライアン

す．

ト間の通信コストが高く，実際に行うことが不可能である．
近年，学習中にモデル構造を自動的にチューニングする自動

1 はじめに

モデル構造チューニング手法が提案された [7]．この手法は，スマートフォンやタブレット端末などのモバイル端末の普及にサーバによって単一のグローバルモデルの構造をチューニン

伴い，かつてないほど大量のデータが生成されている．これらグするものである．しかし，サーバによってチューニングさのデータは，行動認識 [1]，次単語予測 [6]，ウェイクワード検れたモデル構造は，各クライアントにとって最適でない可能出 [10]など様々なアプリケーションで機械学習モデルの構築に性が高い．また，サーバはチューニングしたモデルの精度を役立っている．しかしデータのプライバシーやネットワーク帯域

クライアントのローカルデータを用いて評価することができの制限のため．クライアントからすべてのローカルデータを収集ない．そのため，各クライアントは個別にモデル構造をチュ

しサーバが集中的にモデルを学習することは現実的ではない．こーニングする必要があり，データの不均一性によりクライアのようなプライバシーやネットワーク帯域の問題を解決するため

ント間で最適なモデル構造が異なる可能性がある（実験研究に，クライアントのローカルデータを共有せずにモデルを構築すの表3参照）．我々の知る限り，学習過程においてモデル構造

る分散型学習手法として連合学習が提案された [19]．

を自動的にチューニングすることができるパーソナライズド
連合学習手法は存在しない．各クライアントは他のクライア

連合学習は，サーバと複数のクライアントが協同してモデルを構築する．連合学習の一般的な学習手順は（1）クライアントがントのローカルデータを知らないため，モデル構造をチュー

自分のローカルデータに対してモデルを学習し学習後のモデルをニングするために他のクライアントのモデルを利用する学習
手順が必要である．

サーバに送信するクライアント学習，（2）サーバがそれらのモデ• 各クライアントはどのようにして構造の異なる他のクライア
ントのモデルを利用し，モデルの精度を向上させるか？ モ
1 学生会員デル構造はクライアント間で異なる可能性があるため，サー

大阪大学大学院情報科学研究科

matsuda.koji@ist.osaka-u.ac.jp
2 正会員

バは異なるパーソナライズドモデル間の集約を行うことがで

大阪大学大学院情報科学研究科

きない場合がある．そのため，他のクライアントのモデルをsasaki@ist.osaka-u.ac.jp
3 正会員

大阪大学大学院情報科学研究科

利用するためにモデル集約に依存することは効果的ではな

chuanx@ist.osaka-u.ac.jp
4 正会員

い．そこで，ローカルデータと自身と異なる構造のモデルの大阪大学大学院情報科学研究科

onizuka@ist.osaka-u.ac.jp

1

日本データベース学会和文論文誌
一般論文

Vol. 21-J, Article No. 2, 2023年 3月

両方を活用するための新たな学習手順が必要である．

の不均一性のための手法は，クライアントがNon-IIDなローカル
データを持つ環境において，適切にモデルを構築することを目的

貢献点. 本稿では，先行研究であるFederated Learning via Modelとする．パーソナライゼーションの手法は，クライアント毎に最exchange (FedMe) [27]を拡張し，モデル構造のチューニングを可

適なパーソナライズドモデルを構築することを目的としている．

能とする． FedMeでは，各クライアントが他のクライアントかパーソナライゼーションは，すべてのパーソナライズドモデルのら受け取ったモデルである，交換モデルという概念を導入する．

モデル構造が同じである場合と異なる場合に分けることができクライアントは交換モデルを利用してモデル構造のチューニング

る．モデル構造チューニングを用いた手法は，モデル構造を自動とモデルの学習を行うことができる．拡張を加えたFedMeの学習

的にチューニングすることを目的としている．

は下記の流れで行う．まず，クライアントは交換モデルの性能に連合学習で最も基本的な手法はFedAvg [19]である． FedAvgで基づいて自身のモデル構造をチューニングする．モデル構造のチはクライアントの学習後のモデルをモデルパラメータの平均ューニングでは，ローカルデータに対してモデル構造を最適化す化により集約し，単一のグローバルモデルを構築する． デー

るために，各クライアントは自身のパーソナライズドモデルと交タが不均一な環境ではFedAvgの精度は低下するため， FedMA換モデルを比較し，最も良い性能であるモデル構造を選択する．

[23]やHierFAVG [14]など，FedAvgを発展させた手法がいくつか

このようにして，クライアントはモデル構造を自動的かつ匿名的考案されている．これらの手法は学習後のモデルを集約して1つにチューニングし，最適化することができる．次に，クライアンのグローバルモデルを構築するが，単一のモデルだけでは高い精トは自身のモデルと交換モデルの両方を学習する．そして，サー度を達成することは困難である．

バは同じクライアントの学習後のモデルを集約する．モデル学習

クライアントごとに異なるモデルを構築するパーソナライズには，深層相互学習 [25]とモデルクラスタリングの2つの方法を

ド連合学習手法もいくつか提案されている [16, 17, 22, 24]．パー

用いる．深層相互学習は，お互いのモデルの出力を模倣するよう

ソナライズド連合学習手法は，単一のグローバルモデルを構築に学習することで，モデルの構造によらず2つのモデルを効果的する方法と比較して精度を向上させることができる．まず，クに学習する．モデルクラスタリングでは，パーソナライズドモデ

ライアント毎に異なるモデルパラメータで同じモデル構造を持ルと類似している他のモデルを交換モデルとして選択すること

つモデルを構築するパーソナライズド連合学習手法について説

で，深層相互学習によってモデルがノイズにオーバーフィットす

明する． MansourらはHypClusterとMAPPERを提案した [16]．

るのを防ぐ．他のクライアントのローカルデータと交換モデルを

HypClusterでは，サーバは複数のグローバルモデルを作成し，ク用いて学習されるため，他のクライアントのローカルデータを集

ライアントは自身のローカルデータ上で最も精度の高いモデ

約後のモデルに反映させることができる．

ルのみを学習する． MAPPERでは，クライアントはグローバ

実験では3つの実データセットを用いて，最先端手法と比較す

ルモデルとパーソナライズドモデルを学習し，それらのパラメることでFedMeの性能を評価した．評価実験から，最先端手法

ータを加重平均する． T. Dinhらは，モロー包絡を用いた正規において最適なモデル構造を手動でチューニングした場合でも，化によりグローバルモデルとパーソナライズドモデルを構築す

FedMeが最先端の手法より高い精度を達成することが示された．

るpFedMe [22]を提案した．これらの手法では，すべてのパーソ

また，興味深いことに，従来の連合学習手法にfine-tuningを施す

ナライズドモデルが同じモデル構造である必要があるため，クラことで高精度なパーソナライズドモデルを構築できることも実験

イアント毎に異なるモデル構造を設計することができない．まによって示された．今後の研究のためにソースコード（既存の手た，これらの手法はfine-tuningを行わず（すなわちモデルの構築

法を含む）を公開する *1．

後，クライアントはローカルデータ上でモデルを再学習しない），

本稿の構成. 本稿の構成は以下の通りである． 2章にて関連研

FedAvgのような単純な手法でfine-tuningを行う場合との比較を行

究について説明し， 3章にて問題定義について説明する． 4章にっていないことに注意されたい．本研究の実験では，ほとんどのてFedMeについて説明し，5章にて評価実験の結果を示す. 6章に手法がFedAvgでfine-tuningを行った場合より精度が低いことが示て本稿をまとめ，今後の課題について論ずる. なお，本稿の提案されている．

技術は予稿 [18]に準ずる．

クライアントごとに異なるモデルパラメータと構造を持ったパ

2 関連研究ーソナライズドモデルを構築するパーソナライズド連合学習手法も存在する [11, 21]．クライアントはローカルデータのサイズや連合学習に関する研究はMcMahanらが連合学習を考案 [19]し自身の計算資源に応じて任意のモデル構造を選択することができて以来活発に行われており，いくつかの論文では連合学習に関す

る． ShenらはFederated Mutual Learning (FML) [21]を提案した．

る研究がまとめられている [8, 13]．

FMLでは，サーバがグローバルモデルを配布し，クライアント

近年，多くの連合学習手法が提案されているが，本章ではペーはグローバルモデルとパーソナライズドモデルの両方を深層相ジの都合上，代表的な手法のみを紹介する．ここでは，（1）デー

互学習により学習する．本研究はクライアントの学習にFMLとタの不均一性，（2）パーソナライゼーション，（3）モデル構造の同様の考え方を用いるが，FedMeはグローバルモデルを構築しな

チューニングの3つの観点から連合学習手法を紹介する．データ

い． Liらは連合学習に知識蒸留を取り入れたFedMD [11]を提案した． FedMDは，すべてのサーバとクライアントが利用することができるパブリックデータを必要とする．これらの手法では，*1 https://github.com/OnizukaLab/FedMe

2

日本データベース学会和文論文誌
一般論文

Vol. 21-J, Article No. 2, 2023年 3月

クライアント毎に異なるモデル構造を設計することができるが．

表1: 本稿で使用する表記

サーバとクライアントは学習前にモデルの構造を決定する必要がある．また本研究の実験では，これらの手法が非パーソナライズ
ド連合学習手法よりも低い精度であることが示されている．
モデル構造探索は深層学習分野で注目されており，あらかじめ定義された探索空間（例：層の種類や最大層数）の中から最適なモデル構造を探索する [26]． FedNAS [7]は，連合学習におけるモデル構造の探索を行う． FedNASはモデル構造を自動的にチューニングするが，単一のグローバルモデルを構築することを目的としており，パーソナライズドモデルの構築は目的としていな
い．
以上より，拡張したFedMeはデータの不均一性，クライアント
毎にモデルパラメータと構造が異なるモデルの構築，そしてモデ

記号

説明

𝑆
𝑖
𝐷𝑖
𝑛𝑖
𝑥𝑖 , 𝑦 𝑖
𝑀
𝑇
𝑡
𝐸
𝑤 𝑡𝑝𝑖
𝑤 𝑡𝑒𝑥 𝑖𝐼𝑑𝑥(𝑤 𝑡𝑒𝑥 𝑖 )𝐶𝑘𝐾𝑡

全クライアントの集合
クライアントのインデックス
クライアント𝑖 のローカルデータ

𝐷 𝑖 のサイズ
それぞれ 𝐷 𝑖 に含まれるサンプルの特徴量とラベル
ラベルのクラス数
グローバル通信ラウンド数
グローバル通信ラウンド数のインデックス
ローカル学習エポック数
ラウンド𝑡 におけるクライアント𝑖 のパーソナライズドモデル
ラウンド𝑡 におけるクライアント𝑖 の交換モデル

𝑤 𝑡𝑒𝑥 𝑖 の元のクライアントのインデックス
クラスタ 𝑘 に割り当てられた全モデル
ラウンド𝑡 のクラスタ数

ル構造の自動チューニングの全てを満たすことができる初めての手法である．
ナライズドモデルのモデル構造が固定されているため， 𝑤 𝑝𝑖 のサ

3 事前知識イズは事前に決定されており固定値である．これに対し，本稿の本章では，問題定義について説明する．本稿で使用する表記法

最適化問題では𝑤 𝑝𝑖 のサイズも最適化するため，パーソナライズ

を表1にまとめた．

ドモデルのモデル構造を最適化することを目的としている．この

分類タスクが与えられたとき，サーバと複数のクライアント

最適化問題を解くことで，クライアント毎に最適なパーソナライ

が協同してクライアントのパーソナライズドモデルを構築す

ズドモデルを構築することができる．

る． 𝑆 をクライアントの集合とし，クライアントの数を |𝑆| で表4

す．添え字𝑖 を𝑖 番目のクライアントのインデックスとする．例えFedMe
本章では拡張したFedMeについて説明する．先行研究と異なるば， 𝐷 𝑖 はクライアント𝑖 のローカルデータであり， 𝑛𝑖 は 𝐷 𝑖 のサイズ（すなわちレコードの数）である． 𝑁 は全クライアントの𝑛𝑖 の点は，主にモデルチューニングである．

総和である． 𝑥 と 𝑦 はそれぞれローカルデータに含まれるレコー

4.1 アイデアとフレームワーク

ドの特徴量とラベルである．ここでは分類タスクを想定してい本研究の研究課題は，クライアント毎に最適なモデル構造を自るので， 𝑦 には 𝑀 個のクラスの中から1つのクラスが割り当てら

動的にチューニングする方法と，クライアントが異なる構造のモれる． 𝑇 と 𝐸 はそれぞれグローバル通信ラウンドとローカル学習

デルを用いて自身のモデルを更新する方法である．先行研究であエポックの総数である．グローバル通信とは，学習時のサーバ

るFederated Learning via Model exchange (FedMe) [27]は，モデとクライアント間の通信を意味する．ローカル学習とは，クラル交換によってクライアント毎に異なる構造のモデルを保持可能

イアントが自身のローカルデータ上でモデルを学習することをなパーソナライズド連合学習手法である．そこで，FedMeを拡張意味する． 𝑡 はグローバル通信ラウンドのインデックスである．

することで前述の研究課題を解決する． FedMeを拡張しモデル

𝑤 𝑡𝑝𝑖 と𝑤 𝑡𝑒𝑥 𝑖 は，それぞれラウンド𝑡 におけるクライアント𝑖 のパー

チューニングを行うためのアイデアは簡潔である．クライアント

ソナライズドモデルと交換モデルである． 𝐼𝑑𝑥(𝑤 𝑡𝑒𝑥 𝑖 ) は𝑤 𝑡𝑒𝑥 𝑖 のは他のクライアントから受け取った交換モデルを効果的なモデル

元のクライアントのインデックスである． 例えば 𝐼𝑑𝑥(𝑤 𝑡𝑒𝑥 𝑖 ) は，
𝑤 𝑡𝑒𝑥 𝑖 がクライアント 𝑗 のパーソナライズドモデルであれば， 𝑗 をる．つまり，クライアントはモデルの学習とモデル構造のチュー

返す．

ニングのためにモデルを交換する．

の学習のためだけでなく，モデル構造のチューニングにも利用す

FedMeでは単一のグローバルモデルではなく，各クライアント

FedMeは拡張によって，次のような方法で交換モデルを効果的がパーソナライズドモデルを構築する．本研究では最適化問題をに利用する．第一に，クライアントは交換モデルの性能に基づい以下のように定義する．

て，自身のパーソナライズドモデルをチューニングする．具体的{𝑤 𝑝1 , . . . , 𝑤 𝑝|𝑆| } = argmin∑︁には，クライアントは交換モデルの方がローカルデータに対するT𝑖 (𝑤 𝑝𝑖 ).

(1)

損失が小さい場合，自身のパーソナライズドモデルを交換モデル

𝑖 ∈ |𝑆 |に置き換える．こうすることで，各クライアントはローカルデー

T𝑖 はクライアント𝑖 の目的関数であり，以下のように定義する．
T𝑖 = min L (𝑤 𝑝𝑖 , 𝐷 𝑖 ),タに対する精度が向上するように，モデル構造を自動的にチューニングすることができる．第二に，クライアントはパーソナライ(2)

ズドモデルと交換モデルの両方を学習し，サーバは同じクライア

L (𝑤 𝑝𝑖 , 𝐷 𝑖 ) : Θ ↦−→ Rは ク ラ イ ア ン ト𝑖 の 損 失 関 数 を 表 し，ントの学習後のモデルを集約する．こうすることで，クライアン

𝐷 𝑖 と𝑤 𝑝𝑖 に対応する． Θはモデル空間を表しており，固定ではな

ト毎にパーソナライズドモデルの構造が異なっていても，モデル

い．これは [24]の最適化問題と類似している． [24]では，パーソを学習することができる．第三に，クライアントは深層相互学習

3日本データベース学会和文論文誌
一般論文

Vol. 21-J, Article No. 2, 2023年 3月
(1)

Model
Clutering

outputs

Cluster 1

ModelTraining

Cluster Kt

Model
TuningClient1(2)(3)
perfomance✔
✖

unlabeledserverdata

NEW
Clienti,tuningModel
Aggregation

Client|S|(4)

図1: FedMeのフレームワーク [18]とモデルクラスタリングにより，パーソナライズドモデルと交換

目），各クライアントは自身のモデルと同じクラスタに属する交モデルの両方を効果的に学習する．深層相互学習によって，モデ換モデルをサーバから受け取る（8-9行目）．その後，各クライア

ル構造に依存せず，互いのモデルの出力を模倣しながら2つのモントはパーソナライズドモデルと交換モデルを学習し（11行目），

デルを学習することができる．このとき，分布の異なるローカル

新しいパーソナライズドモデルのインデックスを決定する（13行

データ上でモデルが学習された場合，他のモデルの出力はノイズ

目）．各クライアントは2つの学習後のモデルと𝑎 𝑖𝑡 をサーバに送信となり，ノイズにオーバーフィットする可能性がある [3]．このする（14行目）．サーバは各モデルのパラメータを平均化するこようなノイズへのオーバーフィットを防ぐために，サーバはモデとで集約し（16行目）， 𝑎 𝑖𝑡 に基づいて各クライアントにモデルをルクラスタリングを行い，類似した出力を持つモデルを交換モデ送信する（18行目）．これらのステップをグローバル通信のラウ

ルとして選択する．モデルクラスタリングは，Kmeans [15]を用

ンド数が𝑇 になるまで繰り返す．

いて，類似の出力を持つモデル同士でグループ化する．

続いて初期化，モデル学習，モデルチューニング，モデルクラ

図1にFedMeのフレームワークを示す *2． FedMeは， 5つの学

スタリング，そしてモデル集約の詳細について説明する．
初期化. まずFedMeでは，クライアントが自身のモデル構造を初

習手順によってモデルを構築する．（0）各クライアントは任意のモデル構造でパーソナライズドモデルを初期化し，（1）クライア期化する．クライアントは任意のモデル構造を使用することがでントはパーソナライズドモデルをサーバに送信する．（2）サーバ

きるため，ローカルデータに応じてモデル構造を決定することがはモデルクラスタリングの結果に基づいて各クライアントの交換できる．例えば，クライアントは自身のローカルデータに対してモデルを決定し，交換モデルをクライアントに送信する．（3）ク

最適なモデル構造を構築する．もちろん，サーバが任意のモデル

ライアントは，深層相互学習によってパーソナライズドモデルと構造を決定し，クライアントに配布することも可能である．

交換モデルを学習し，交換モデルの性能に基づいてパーソナライ

モデルトレーニング. FedMeでは，各クライアントがパーソナラ

ズドモデルの構造をチューニングする．（4）クライアントが学習

イズドモデルを交換することで，複数のクライアントのローカル

後の交換モデルとパーソナライズドモデルをサーバに送り返した

データ上でモデルを学習させることができる．これにより，各ク

後，サーバが全てのクライアントのパーソナライズドモデルと交ライアントが異なる構造のモデルを持っていてもモデルを学習さ換モデルを集約し，集約後のパーソナライズドモデルをクライアせることが可能である．

ントへ送信する． (1)〜(4)の手順を，グローバル通信の回数が閾

各クライアントは，パーソナライズドモデルと交換モデルを深

値𝑇 に達するまで繰り返す．

層相互学習によりローカルデータ上で学習させる．パーソナライ

4.2 アルゴリズム

ズドモデルと交換モデルの間で深層相互学習を行うことで，それ本節では，FedMeのアルゴリズムについて説明する． FedMeのぞれを個別に学習させるよりも精度を向上させることができる．

擬似コードをAlgorithm1に示す．クライアントがモデルを初期化

実際，深層相互学習によって複数のモデルを学習させた場合，モした後（1行目），FedMeは学習を開始する．まずクライアントはデルの推論性能が向上することが知られている [25]．したがっパーソナライズドモデルをサーバに送信する（4行目）．サーバはて，深層相互学習はFedMeでの学習において大きな利点を持つ．

ラベルのなしデータを使用してモデルをクラスタリングし（6行

こ こ で， パ ー ソ ナ ラ イ ズ ド モ デ ル と 交 換 モ デ ル の 損 失 関*2 以後，モデルチューニングを含むFedMeを単にFedMeと呼ぶ．

4

日本データベース学会和文論文誌
一般論文

Vol. 21-J, Article No. 2, 2023年 3月

ことができる． FedMeの学習過程では，グローバル通信のたび

Algorithm 1 Algorithm of FedMe.

に他のクライアントのモデルを交換モデルとして受け取るため，

Input: number of global communication rounds 𝑇, number of

各クライアントは自身のモデル構造を最適化する機会を多く持

local training epochs 𝐸, set of clients 𝑆 and their local data

つ．交換モデルが自身の現在のモデルよりも高い性能を示した場
合，クライアントは交換モデルを基に自身のモデル構造をチュー{𝐷 𝑖 }1|𝑆 | , unlabeled data 𝑈, numbers of cluster {𝐾 1 , 𝐾 2 , · · · 𝐾 𝑇 },ニングする．

learning rate 𝜂

ここで，FedMeではモデル構造のチューニング方法に制限がな

Output: personalized models {𝑤 𝑇𝑝𝑖 }1|𝑆 |い．本稿では，FedMeの性能を検証するために，パーソナライズ

1: Initialize(𝑤 0𝑝𝑖 ) on all client 𝑖

ドモデルを交換モデルに置き換えるという簡単なチューニング方

2: for 𝑡 = 1, · · · , 𝑇 do
3:4:法を用いている．具体的には，各クライアントは深層相互学習に

for 𝑖 ∈ 𝑆 doよりモデルを学習した後，ラウンド𝑡 で自身のパーソナライズド

Client 𝑖 sends 𝑤 𝑡𝑝−1
to server𝑖

モデルと交換モデルのどちらかを選択する． FedMeは，クライ5:

end for6:{𝐶1 , . . . , 𝐶𝐾 𝑡 } ← Model Clustering({𝑤 𝑡𝑝−1
}𝑖 ∈𝑆𝑡 , 𝑈, 𝐾 𝑡 )𝑖

7:

for 𝑖 ∈ 𝑆 do

アント𝑖 が選択するパーソナライズドモデルのインデックスを表8:

𝑤 𝑡𝑒𝑥−1𝑖 ← 𝑤 ∈ 𝐶 𝑘 𝑡ℎ𝑎𝑡 𝑖𝑛𝑐𝑙𝑢𝑑𝑒𝑠 𝑤 𝑡𝑝−1𝑖9:Server sends 𝑤 𝑡𝑒𝑥−1𝑖 to client 𝑖

す𝑎 𝑖𝑡 を，以下のように計算する．



𝑖


if 𝑤 𝑡𝑝𝑖 ∈ argmin L (𝑤, 𝐷 𝑖 ),

 𝐼𝑑𝑥(𝑤 𝑡 )𝑒𝑥 𝑖

otherwise.

𝑎 𝑖𝑡 =
𝑡
𝑤=𝑤 𝑡𝑝𝑖 ,𝑤𝑒𝑥
𝑖

(7)

11:

for 𝑒 = 1, · · · , 𝐸 do
Model Training(𝑤 𝑡𝑝−1
, 𝑤 𝑡𝑒𝑥−1𝑖 , 𝐷 𝑖 )𝑖

この式では，各クライアントはパーソナライズドモデルと交換モ

12:

end for

デルの損失を比較し，交換モデルの損失がパーソナライズドモデ

13:𝑎 𝑖𝑡 ← Model Tuning(𝑤 𝑡𝑝𝑖 , 𝑤 𝑡𝑒𝑥 𝑖 , 𝐷 𝑖 )ルの損失より小さければ，パーソナライズドモデルを交換モデル

14:

Client 𝑖 sends 𝑤 𝑡𝑝𝑖 , 𝑤 𝑡𝑒𝑥 𝑖 , 𝑎 𝑖𝑡 to serverに置き換える．

10:

15:

end for16:

Model aggregation({𝑤 𝑡𝑝𝑖 , 𝑤 𝑡𝑒𝑥 𝑖 }𝑖 ∈𝑆 )17:

for 𝑖 ∈ 𝑆 do

18:

もちろん，置き換える代わりに，例えばモデルの層数を増やすなど，他のチューニング方法を用いることも可能である．また，
ここでは損失を考慮してモデル構造をチューニングしているが，Server sends aggregated 𝑤 𝑡𝑝𝑎𝑡 to client 𝑖

各クライアントがモデルサイズや推論時間など独自の基準を持つ

𝑖

19:

end forことも可能である． FedMeでの最適なモデルチューニング方法

20: end forは今後の課題である．
モデルクラスタリング. クライアント間のデータが不均一である
ため，パーソナライズドモデルの出力はクライアントごとに異な数L 𝑝 とL𝑒𝑥 をそれぞれ以下のように定義する．
𝑀
𝑀
∑︁ ∑︁
∑︁ ∑︁
𝑝 𝑚 (𝑥)𝑚
L 𝑝 =−𝐼 (𝑦,𝑚)log( 𝑝 𝑚𝑝 𝑒𝑥(𝑥)log 𝑒𝑥,
𝑝 (𝑥))+
𝑝𝑚
𝑝 (𝑥)
𝑚=1
𝑚=1
(𝑥,𝑦) ∈𝐷𝑖

(3)

モデルを出力に基づいてクラスタリングし，各クライアントは自(4)バから交換モデルとして受け取る．

(𝑥,𝑦) ∈𝐷𝑖

𝑀
𝑀
∑︁ ∑︁
∑︁ ∑︁
𝑝𝑚
𝑝 (𝑥)
𝑚
L𝑒𝑥 =−𝐼 (𝑦,𝑚)log( 𝑝 𝑒𝑥
(𝑥))+
𝑝𝑚
,
𝑝 (𝑥)log 𝑚𝑝𝑒𝑥 (𝑥)
𝑚=1
𝑚=1(𝑥,𝑦) ∈𝐷𝑖

る．出力が大きく異なるモデル間で深層相互学習を行うと，モデルがノイズにオーバーフィットする可能性がある． FedMeでは，身のパーソナライズドモデルと類似した出力を持つモデルをサーモデルクラスタリングにより，パーソナライズドモデルの出力(𝑥,𝑦) ∈𝐷𝑖𝑚
ここで， 𝑝 𝑚
𝑝 と 𝑝 𝑒𝑥 は，それぞれクラス𝑚 に対するパーソナライズと交換モデルの出力の差が小さくなり，ノイズへのオーバーフィ

ドモデルと交換モデルの予測値である． これらの式の第1項とットを防ぐことができる [4]．一方，類似した出力を持つモデル

第2項は，それぞれクロスエントロピー誤差とカルバック・ライ

のみを用いて学習すると，汎化性能が失われてしまう．そこで，ブラー（KL）ダイバージェンスである．関数 𝐼 (𝑦, 𝑥) は 𝑦 = 𝑚 のと学習初期にはモデルクラスタリングを行わず，モデルの汎化性能を高めるようにする．そして学習が進むにつれて，モデルクラス

き1を返し，それ以外のときは0を返す．

タリングのクラスタ数を増やす．こうすることで，汎化性能を維クライアント𝑖 は上記の損失関数を最小化するように，2つのモ持したまま，オーバーフィットすることなくモデルをクライアン

デルを更新する．

𝑤 𝑡𝑝𝑖 ← 𝑤 𝑡𝑝−1
− 𝜂∇L 𝑝 ,𝑖(5)𝑤 𝑡𝑒𝑥 𝑖 ← 𝑤 𝑡𝑒𝑥−1𝑖 − 𝜂∇L𝑒𝑥 ,(6)

ト毎に最適化することができる．
連合学習ではデータを共有しないため，モデルクラスタリン
グにローカルデータを利用することができない．そこでFedMeは

ここで， 𝜂 は学習率， ∇L 𝑝 と∇L𝑒𝑥 はそれぞれパーソナライズド

ワンショット連合学習 [5]のように，サーバがラベルなしデータ

モデルと交換モデルの勾配である．

にアクセス可能と仮定し，ラベルなしデータ𝑈 を入力として用い

モデルチューニング. クライアントは任意のモデル構造のモデル

る．
モデルクラスタリングにはKmeans [15]を用いる． サーバはを使用可能なため，クライアントはモデル構造を自由に変更する

5

日本データベース学会和文論文誌
一般論文

Vol. 21-J, Article No. 2, 2023年 3月

まず，ラベルなしデータを用いて各モデルの出力を計算する．

表2: データセットの統計量

次に，サーバはこれらの出力を用いてKmeansを行い，モデル
Datasets
FEMNISTCIFAR-10
Shakespeare

を𝐾 𝑡 個のクラスタに分割する．
モデル交換では，クライアントは自身のパーソナライドモデルと同じクラスタのモデルを交換モデルとしてサーバからランダム

Total
671585
49000
413629Mean
197.532450
2892.51SD
76.69
1024.665445.89

Max
418
5018
33044

Min
16
1131
2

に1つ受け取る．クラスタ内にモデルが1つしかない場合，クライ
アントは他のクラスタからランダムにモデルを受け取る．
モデル集約. クライアント𝑖 は𝑤 𝑝𝑖 と𝑤 𝑒𝑥 𝑖 を同時に学習する．そのタスク.

FEMNISTおよびCIFAR-10データセットに対しては画ため，クライアントごとに学習後のモデルを新しいモデルに集約

像分類を， Shakespeareデータセットに対しては与えられた文のする必要がある． FedMeはFedAvgのようにモデルパラメータを

次の文字を推論する次文字予測を行う．

平均化することでモデルを集約する．

モ デ ル.

𝑤 𝑡𝑝𝑖 ←

|𝑆 |∑︁1
(𝑤 𝑡𝑝𝑖 +𝑢 𝑖,𝑡 𝑗 𝑤 𝑡𝑒𝑥 𝑗 ),(𝑠𝑖 + 1)
𝑗=1

る モ デ ル を 使 用 す る． FEMNISTとShakespeareで は， そ れ ぞれCNNとLSTMを用いる [20]． CIFAR-10では， [23]と同様の(8)

修正を加えたVGGを使用する．各データセットに対して，層数を変化させた4つのモデルを用いる． CNNとLSTMに対しては畳

𝑠𝑖 は，交換モデルとして𝑤 𝑡𝑝𝑖 を受け取ったクライアントの総数でみ込み層とLSTMの層数を1–4層まで変更し，デフォルトは2層とある． 𝑢 𝑖, 𝑗 は，どのクライアントがモデル𝑤 𝑡𝑝𝑖 を交換モデルとしした． VGGに対してはVGG11，VGG13，VGG16，VGG19の4つて受け取ったかを表し，以下の式で定義する．

(
𝑢 𝑖,𝑡 𝑗 =既 存 研 究 [20, 23]に 従 い， 各 デ ー タ セ ッ ト に 異 なを使用し，デフォルトはVGG13とした．

1
0

if 𝑖 = 𝐼𝑑𝑥(𝑤 𝑡𝑒𝑥 𝑗 ),otherwise.

学習と評価. 実験では，クライアントの数は20とした． FEM-

(9)NISTとShakespeareでは，クライアントにローカルデータを割りモデル構造の違いに依存しないように，モデルパラメータは各ク当てるために20個のサブデータをランダムに選択する． CIFAR-

ライアントのパーソナライズドモデル毎に平均化される．

10では，全てのデータをランダムに20個のローカルデータに分割し，各クライアントに割り当てた．全てのクライアントは最5 評価実験

新研究 [23]に従って，学習に毎回参加する．各データセットから1,000個のラベルなしデータを選択する．このラベルなしデー

本章では，データの不均一性が高い3つのデータセットを用い

タは訓練用データとテスト用データから除外した．

てFedMeの性能を検証する．実験では， Q1.「FedMeは最先端の手法と比較してどの程度精度が高いか？」， Q2.「モデルチューニ

グ ロ ー バ ル 通 信 ラ ウ ン ド 数𝑇 はFEMNIST， CIFAR-10，

ングはうまく動作しているか？」，そしてQ3.「FedMeは最先端のShakespeareでそれぞれ300， 500， 100とし，ローカル学習エポ手法と比較してどの程度学習に時間がかかるか？」という3つのック数 𝐸 は全ての実験において2とした．異なるクライアント上で行った5回の実験における精度の平均と標準偏差を示す．

問に答えることを目的としている．

ベースラインとハイパーパラメータチューニング. FedMeを（1）簡単化のために， Pytorchを用いて単一のGPUマシンで仮想的にクライアントとサーバを作成し実験を行う.

非パーソナライズド連合学習手法，（2）パーソナライズド連合

5.1 実験設定

学習手法，そして（3）非連合学習手法の3種類の手法と比較す
実 験 で は， FEMNIST， CIFAR-10，

る．（1）ではFedAvgを使用し，（2）ではHypCluster，MAPPER，

Shakespeareの3つ の デ ー タ セ ッ ト を 使 用 し た． こ れ ら の デ

FML， pFedMeを使用する．（3）では，クライアントがローカ

ータセットは，既存研究 [3, 11, 12, 16, 19, 23]で頻繁に利用されルデータのみを用いてモデルを構築するLocal Data Onlyと，サデ ー タ セ ッ ト.

ているものである． FEMNIST（Federated EMNIST-62） [2]は，ーバが全クライアントからローカルデータセットを収集し学習

62種類のラベルを持つ手書き文字の画像データである．このデするCentralized（Centralizedは理想値と見なすことができる）をータセットは書き手によって3, 400のサブデータに分割されてい使用する． Centralized， FedAvg， HypCluster，そしてFedMeでる． CIFAR-10 [9]は， 10種類のラベルを持つ写真画像である．

は，モデルの構築後，各クライアントは自身のローカルデータ

このデータセットを [23]と同様にディリクレ分布を用いて20個でfine-tuningを行う． MAPPERとpFedMeではfine-tuningと似たのサブデータに分割する．ラベルとローカルデータサイズの不学習手順をアルゴリズム中に含んでいるため，fine-tuningを行わ

均一性の度合いを決定するために， 𝛼𝑙𝑎𝑏𝑒𝑙 と𝛼𝑠𝑖𝑧𝑒 という2つのない．また， pFedMe *3 以外の手法はコードが公開されていなかパラメータを用いる．本実験では， 𝛼𝑙𝑎𝑏𝑒𝑙 を0.5， 𝛼𝑠𝑖𝑧𝑒 を10としったため，実装した．

ている． Shakespeare [12]は，「The Complete Works of William

次にハイパーパラメータチューニングについて説明する．各

Shakespeare」に含まれる台詞で構成されるデータセットである．

手法の学習率は， 𝜂 ∈ {10 −3 , 10 −2.5 , 10 −2 , . . . , 100.5 }の中からグ

このデータセットは役者によって143のサブデータに分割されてリッドサーチにより最適化した. 最適化手法はSGDを使用し，モいる．表2は，データセットに含まれるクライアントのデータ数

ーメンタムは0.9，重み減衰は10 −4 とした． FEMNIST, CIFAR-の統計である．なお， CIFAR-10は各テストでランダムに分割しているため，統計量は一例である．

*3 https://github.com/CharlieDinh/pFedMe

6

日本データベース学会和文論文誌
一般論文

Vol. 21-J, Article No. 2, 2023年 3月

表3: 各モデル構造を選択したクライアントの平均数

表5: モデル構造の自動チューニングの効果検証

FEMNISTCIFAR-10

Shakespeare

FEMNISTCIFAR-10

Shakespeare

model16.8 ± 2.5

5.6 ± 1.5

7.4 ± 1.7

model 174.80 ± 2.75

89.25 ± 0.74

45.31 ± 3.20

model27.4 ± 0.5

9.2 ± 1.6

6.6 ± 1.8

model 278.06 ± 3.00

90.96 ± 0.84

45.83 ± 2.48

model34.4 ± 2.8

4.0 ± 2.0

5.0 ± 1.6

model 377.85 ± 2.90

90.67 ± 0.47

46.01 ± 2.72

model41.4 ± 1.1

1.2 ± 0.4

1.0 ± 1.7

model 478.54 ± 2.92

90.45 ± 0.54

42.55 ± 5.12

auto-tuning

78.52 ± 2.64

89.76 ± 0.90

44.71 ± 1.12

表4: テスト用データに対する精度(平均±標準偏差).

Local Data Only
Centralized
FedAvg
HypCluster
MAPPERFML
pFedMeFedMe

FEMNIST
64.71 ± 2.94
79.35 ± 2.29
77.25 ± 3.99
76.29 ± 3.15
60.95 ± 3.04
67.91 ± 2.53
72.92 ± 3.54
78.52 ± 2.64

CIFAR-10
73.17 ± 1.55
90.80 ± 0.92
89.59 ± 0.94
88.54 ± 1.42
61.29 ± 4.19
79.89 ± 1.44
79.46 ± 2.08
89.76 ± 0.90

Shakespeare
24.77 ± 1.95
48.43 ± 3.32
42.53 ± 2.19
41.10 ± 3.29
36.77 ± 1.58
28.73 ± 1.78
40.33 ± 2.27
44.71 ± 1.12

ことを示す．表5は，モデル構造を固定した場合のFedMeの精度を示している．モデル1–4はそれぞれ， FEMNISTでは畳み込み層の数が1–4のCNN，CIFAR-10では(VGG11，VGG13，VGG16，

VGG19)， Shakespeareで はLSTM層 の 数 が1–4のLSTMで あ る．
全てのデータセットにおいて，オートチューニングはモデル1–4の中間程度の精度である．特に，FEMNISTでは，オートチュー
ニングの精度は，モデル構造固定した場合の最高精度に匹敵する．この結果は，モデル構造の自動チューニングが有効であることを示しており，モデル構造を手動でチューニングするコストを

10, Shakespeareのバッチサイズはそれぞれ20， 40， 10とした．

削除できることを示している．

Hypclusterでは，2つのグローバルモデルを構築する． FedMeでQ3. FedMeは最先端の手法と比較してどの程度学習に時間がかは，各クライアントはモデル1–4のうち，Local Data Onlyで最もかるか？ それぞれの手法において，学習にかかる実行時間をサ

精度の高いモデルを初期のモデル構造とする（表3を参照）．ク

ーバ上とクライアント上でそれぞれ計測した．図3は，1グローバ

ラスタ数の範囲は1–4で初期値を1とし， FEMNIST， CIFAR-10，

ル通信ラウンドにおけるサーバ上とクライアント上の平均実行時

Shakespareのそれぞれについて，グローバル通信ラウンドが[150,間である．この結果から，FedMeは各クライアントが2つのモデ

225, 275], [250, 375, 450], [50, 75, 90] のタイミングでクラスタ数

ルを学習するが，クライアント上の実行時間は他の手法と同等程を1ずつ増加させる．

度であることがわかる．一方，FedMeはサーバが全てのパーソナ

5.2 実験結果

ライズドモデルの出力を取得しモデルクラスタリングを行うた

Q1. FedMeは最先端の手法と比較してどの程度精度が高いか？

め，サーバ上での実行時間は他の手法より大きい．しかし，本実各手法の精度を表4と図2に示す．表4はテスト用データに対する

験ではサーバとクライアントに同じハードウェアを使用している

平均精度と標準偏差，図2は各グローバル通信ラウンドでの検証

が，実際のシナリオでは一般にサーバの方が強力な計算資源を持用データに対する精度を示している．

っている．つまり，実世界のアプリケーションではサーバの計算

表4から，FedMeは全てのデータセットにおいて連合学習手法

コストが小さくなる傾向がある．また，ラベルなしデータのサイの中で最も高い精度を達成し，その精度はCentralizedと同等程ズを変更することで，サーバの計算コストを制御することも可能度であることがわかる．なおFEMNISTとShakespeareの標準偏差である．以上より，FedMeによる精度向上を考慮すると，サーバは，各実験で使用するクライアントが異なるためCIFAR-10と比の計算コストは許容可能であると言える．

較して大きい． FedMeは全てのデータセットにおいて，連合学習

6 まとめ

手法の中で最も低い（あるいは次点）標準偏差を達成しており，

本稿では，先行研究であるFederated Learning via Model ex-

FedMeが最も頑健であることがわかる．この結果は，FedMeの学

change (FedMe)を拡張し，モデル構造のチューニングを可能とし習手順が有効であることを示している．
ベースライン内で比較すると，興味深いことに最もシンプル

た． FedMeは，モデル交換と深層相互学習により，クライアン

なFedAvgでfine-tuningしたものがベースライン中で最も高い精度

ト毎に異なる構造のモデルを学習することができる．本拡張によを達成している．この結果は，データの不均一性がfine-tuningにって，モデルパラメータを学習しながらモデル構造を自動的にチューニングし，クライアント毎にモデルを構築する．評価実験でよって十分に解決できることを示している．

は，FedMeが最先端の手法よりも精度が高く，モデル構造を自動

図2より，FedAvgとFedMeはどちらも早期のラウンドで高い精度を達成していることがわかる．これは，FedMeが他のパーソナでチューニングできることを示した．
今後の課題として，モデルチューニングを拡張し，モデル構

ライズド連合学習手法と比較して早期に収束することを示してい造をより柔軟にチューニングできるようにする予定である．

る．

Q2. モデルチューニングはうまく動作しているか？ ここでFedMeはモデル構造を自動的にチューニングするが，その候補は， FedMeが最適なモデル構造を自動的にチューニングできるはあくまでクライアントが事前に設計したモデル構造に限定さ

7

日本データベース学会和文論文誌
一般論文

Vol. 21-J, Article No. 2, 2023年 3月
HypCluster

MAPPERFML

pFedMe

FedMe
50

80

80

40

60

40

valid accuracy

100

valid accuracy

valid accuracy

FedAvg
100

60

40

20

20

0

100

200

0
0

300

20

10

0

0

30

100

200

300

400

500

0

25

50

75

global communication rounds

global communication rounds

global communication rounds(a) FEMNIST(b) CIFAR-10(c) Shakespeare100

図2: 各手法の検証用データに対する精度の推移

FEMNISTCIFAR-10

Shakespeare

10

10time [s]100time [s]

100

1

0.1

0.01

[9] Alex Krizhevsky, Geoffrey Hinton, et al. Learning multiple layers offeatures from tiny images. technical report, 2009.
[10] David Leroy, Alice Coucke, Thibaut Lavril, Thibault Gisselbrecht, andJoseph Dureau. Federated learning for keyword spotting. In ICASSP,
pages 6341–6345, 2019.
[11] Daliang Li and Junpu Wang. Fedmd: Heterogenous federated learning
via model distillation. arXiv, 2019.
[12] Tian Li, Anit Kumar Sahu, Manzil Zaheer, Maziar Sanjabi, Ameet
Talwalkar, and Virginia Smith. Federated optimization in heterogeneous networks. In MLSys, volume 2, pages 429–450, 2020.
[13] Wei Yang Bryan Lim, Nguyen Cong Luong, Dinh Thai Hoang, Yutao
Jiao, Ying-Chang Liang, Qiang Yang, Dusit Niyato, and Chunyan
Miao. Federated learning in mobile edge networks: A comprehensive
survey. IEEE Commun. Surv. Tutor., 2020.
[14] Lumin Liu, Jun Zhang, SH Song, and Khaled Ben Letaief. Edgeassisted hierarchical federated learning with non-iid data. arXiv, 2019.
[15] James MacQueen et al. Some methods for classification and analysis
of multivariate observations. In BSMSP, volume 1(14), pages 281–
297, 1967.
[16] Yishay Mansour, Mehryar Mohri, Jae Ro, and Ananda Theertha
Suresh. Three approaches for personalization with applications tofederated learning. arXiv, 2020.
[17] Koji Matsuda, Yuya Sasaki, Chuan Xiao, and Makoto Onizuka. An
empirical study of personalized federated learning. arXiv preprint
arXiv:2206.13190, 2022.
[18] Koji Matsuda, Yuya Sasaki, Chuan Xiao, and Makoto Onizuka.
FedMe: Federated learning via model exchange. In SDM, 2022.
[19] Brendan McMahan, Eider Moore, Daniel Ramage, Seth Hampson, andBlaise Aguera y Arcas. Communication-efficient learning of deep
networks from decentralized data. In AISTATS, pages 1273–1282,
2017.
[20] Sashank Reddi, Zachary Charles, Manzil Zaheer, Zachary Garrett,
Keith Rush, Jakub Konečnỳ, Sanjiv Kumar, and H Brendan McMahan.
Adaptive federated optimization. arXiv, 2020.
[21] Tao Shen, Jie Zhang, Xinkang Jia, Fengda Zhang, Gang Huang, Pan
Zhou, Kun Kuang, Fei Wu, and Chao Wu. Federated mutual learning.
arXiv, 2020.
[22] Canh T. Dinh, Nguyen Tran, and Josh Nguyen. Personalized federated
learning with moreau envelopes. In NeurIPS, pages 21394–21405,
2020.
[23] Hongyi Wang, Mikhail Yurochkin, Yuekai Sun, Dimitris Papailiopoulos, and Yasaman Khazaeni. Federated learning with matched averaging. In ICLR, 2020.
[24] Michael Zhang, Karan Sapra, Sanja Fidler, Serena Yeung, and Jose
M. Alvarez. Personalized federated learning with first order model
optimization. In ICLR, 2021.
[25] Y. Zhang, T. Xiang, T. M. Hospedales, and H. Lu. Deep mutual
learning. In CVPR, pages 4320–4328, 2018.
[26] Barret Zoph and Quoc V. Le. Neural architecture search with reinforcement learning. In ICLR, 2017.
[27] 松田光司，堀敬三，佐々木勇和，肖 川，鬼塚真. FedMe：モデル交換に基づく連合学習手法. In 第13回データ工学と情報マネジメント
に関するフォーラム, 2021.

1

0.1

FedAvg HypCluster MAPPER

FML

pFedMe

FedMe

0.01

FedAvg HypCluster MAPPER

FML

Methods

Methods(a) Client(b) Server

pFedMeFedMe

図3: 1ラウンドあたりの平均実行時間

れる． そのため，最適なモデル構造が設計されていない場合，

FedMeの自動チューニングはうまく動作しない可能性がある．そこで，構造自動探索（NAS）などを用いた，より柔軟なモデルチューニング方法を考案する必要がある．

謝辞
本 研 究 はJSTさ き が けJPMJPR21C5JSPS， お よ び 科 学 研 究
費JP17H06099， JP22H03700，およびJP20H00584の支援によって行われた．

参考文献[1] Davide Anguita, Alessandro Ghio, Luca Oneto, Xavier Parra, andJorge Luis Reyes-Ortiz. A public domain dataset for human activity
recognition using smartphones. In ESANN, volume 3, pages 437–442,
2013.
[2] Sebastian Caldas, Sai Meher Karthik Duddu, Peter Wu, Tian Li,
Jakub Konečnỳ, H Brendan McMahan, Virginia Smith, and Ameet
Talwalkar. Leaf: A benchmark for federated settings. arXiv, 2018.
[3] Hong-You Chen and Wei-Lun Chao. Fedbe: Making bayesian model
ensemble applicable to federated learning. In ICLR, 2021.
[4] Jiyang Gao, Zhen Li, Ram Nevatia, et al. Knowledge concentration:
Learning 100k object classifiers in a single cnn. arXiv, 2017.
[5] Neel Guha, Ameet Talwalkar, and Virginia Smith. One-shot federated
learning. arXiv, 2019.
[6] Andrew Hard, Kanishka Rao, Rajiv Mathews, Swaroop Ramaswamy,
Françoise Beaufays, Sean Augenstein, Hubert Eichner, Chloé Kiddon, and Daniel Ramage. Federated learning for mobile keyboard
prediction. arXiv, 2018.
[7] Chaoyang He, Murali Annavaram, and Salman Avestimehr. Fednas:
Federated deep learning via neural architecture search. In CVPR 2020
Workshop on Neural Architecture Search and Beyond for Representation Learning, 2020.
[8] Peter Kairouz, H Brendan McMahan, Brendan Avent, Aurélien Bellet,
Mehdi Bennis, Arjun Nitin Bhagoji, Keith Bonawitz, Zachary Charles,
Graham Cormode, Rachel Cummings, et al. Advances and open
problems in federated learning. arXiv, 2019.

8