DEIM Forum 2023 5a-3-2

連合学習におけるクライアントサイドでの局所差分プライバシの検証
松本 茉倫†

高橋翼††

リュウセンペイ††

小口 正人†† お茶の水女子大学 〒 112–8610 東京都文京区大塚 2-1-1†† LINE 株式会社 〒 160–0004 東京都新宿区四谷 1-6-1 四谷タワー 23 階
E-mail: †marin@ogl.is.ocha.ac.jp, oguchi@is.ocha.ac.jp, ††{tsubasa.takahashi,sengpei.liew}@linecorp.com
あらましクライアントに分散された機微データをプライバシ保護しながら活用し，機械学習モデルを訓練する方法として，局所差分プライバシ (以下 LDP: Local Diﬀerential Privacy) を適用した連合学習 (以下 FL: Federated

Learning) がある．LDP は，プライバシパラメータ ϵ で表される程度に情報の識別性を困難にすることができる一方で，どういった攻撃に対してどの程度の強度があるのかは未知であり，FL のクライアントにとって理解しやすい説明が必要となる．そこで本研究では，FL で送信する勾配の判別可能性を FL のクライアント自身が検査し，経験的なプ
ライバシ強度を得ることを考える．このとき，2 つの勾配を判別可能な確率が高くなるほどにランダム化手法のプラ
イバシ強度が十分でなく，逆に判別可能な確率が低くなるほどプライバシ強度が高いことを示すことができる．また，
この勾配の生成方法についてはアクセスレベル (入力画像を加工できる，勾配を加工できる，など) の異なる 5 種類を提案し，クライアントがプライバシ保護レベルについて理解することを助ける．
キーワード 局所差分プライバシ, 連合学習，経験的プライバシ，仮説検定
査した結果 [6] よると，LDP の説明を受けた場合に機微な情報

1 はじめに連合学習 (以下 FL: Federated Learning) [1] はクライアント
から生データではなく，勾配をサーバに集約して機械学習を行う手法である．勾配だけをサーバに共有する FL はクライアントのプライバシが保護されるように見えるが，勾配から元画像を復元可能であることを指摘されている [2]．FL において，プライバシ保護した状態で勾配を集める手法の 1 つとして，局所差分
プライバシ (以下 LDP: Local Diﬀerential Privacy) [3, 4] の適用が挙げられる．まず，差分プライバシ (以下 DP: Diﬀerential

Privacy) [5] とはプライバシ基準であり，メカニズムが ϵ-DPを満たす場合，メカニズムによる出力を公開したとしても，ϵで示される程度に個人のプライバシが厳密に保護される．標準的な集中型の DP(以下 CDP: Central Diﬀerential Privacy) では，信頼できるデータ収集者が正しく DP を満たすメカニズムを使用することを前提としているが，LDP はこの前提を必要としない．そのため，FL におけるクライアントのプライバシ保護に有用であるとされている．LDP を適用したメカニズム
はどんな 2 つの入力でもプライバシパラメータ ϵ で表される程
度に識別を困難にする．FL の場合，勾配を LDP を適用したメカニズムによってランダム化することで，任意の 2 つの勾配が判別可能な確率は ϵ で表される程度である．
しかしながら，LDP によるプライバシ保護は FL のどんなク
ライアントにも理解しやすいとは言い難い．LDP を保証したメカニズムは，敵対者が出力から入力の判別に成功する確率の上限 (ワーストケース) を定めることができる．このような説
明をサービス提供者から受けた場合，クライアントは納得することができるだろうか．実際に，LDP によるプライバシ保護の説明がユーザの情報共有への意思にどのように影響するか調(生年月日，収入など) を公開するユーザが増加した．一方で，「ランダムなノイズとは何か」，「専門用語が多すぎる」などの回答があり，ユーザは LDP を理解するための助けを必要としていることが示された．LDP が提供するプライバシレベルはプ
ライベート/プライベートではない, のように 2 値ではなくパラメータ ϵ によって制御される統計的なプライバシであり理解が難しい．プライバシレベルの説明は情報共有の意思決定に影響するため，サービス提供者は FL のクライアントに LDP を理
解しやすく説明する必要がある．

LDP を保証した FL では，クライアント自身が勾配をランダム化するため信頼できるサーバを必要としない．一方で，クライアントはランダム化メカニズムがどのように勾配をランダ
ム化しているのかを心配する可能性がある．調査 [6] によると，情報共有を許可しなかったユーザはその理由として，DP の技術を信用できないため，アプリケーションまたは企業を信用できないため，と回答している．したがって，より多くのユーザにデータを提供してもらうためには，LDP に関して理解しやすく説明するだけでなく，ランダム化メカニズムが信頼できること示す必要がある．さらに，ユーザ (FL のクライアント) はメカニズムを提供する企業を信用しない場合があるため，FL
クライアント自身がメカニズムを検証できる必要がある．
本研究では，FL のクライアント自身で検証可能なプライバ
シレベルの測定テストを提案する．図 1(a) に示す本研究で提案するプライバシレベルの測定テストは，勾配の生成と LDPを保証した勾配のランダム化を行う Crafting phase とメカニ
ズムの出力から入力を予測する Distinguishing phase に分けられる．この測定テストでは，FL における LDP を保証した
ランダム化メカニズム LDP-SGD(locally diﬀerentially private

stochastic gradient descent) [7, 8] を対象として，出力から入6Raw Gradient

J& or J3

LDP-SGD:' or :(

Theoretical
MNIST
CIFAR-10

Fashion-MNIST
SVHN
Dummy

4

Measured

Randomized
Gradient

J&

5

JK

3
2

J3

(a) 連合学習のクライアントによる局所差分プライバシの検査

22

y
mm

n
sio
llu

Du

t
Co

ien
ad
Gr

La
be

l

0

Distinguishing phasenCrafting phaseBe
nig

Federated Learning

1(b) 経験的なプライバシ強度

図 1: (a) 本研究で提案するプライバシ測定テストはメカニズムの入力候補を生成する Crafting phase と出力から入力を予測す
る Distinguishing phase で構成され，メカニズムの入力から出力を予測する工程を十分な回数繰り返すとクライアントは経験的なプライバシ強度を得ることができる．このとき，入力の生成方法を変えることでさまざまな攻撃面を実現する．(b) ϵ = 4 を保証したときの経験的なプライバシ強度は，Benign setting において理論値と差があり想定よりも強いプライバシ保護がされていることを示している．また，LDP-SGD のワーストケースである Dummy ではこのメカニズムが ϵ-LDP を満たすことを確認できる．

力 (勾配) を判別可能な確率を算出することで経験的なプライ変化量の最大値すなわち local sensitivity [11] から算出される．

バシ強度 ϵempirical を得る．このとき，さまざまなアクセスレベ

しかしながら，これらのパラメータはデータ収集時には未知でル (入力画像を加工できる，勾配を加工できる，など) で操作しあり，クライアントへの説明としては不向きである．Mehner

た勾配をメカニズムの入力とすることによって，クライアント

ら [10] の提案したプライバシリスク P = 1/(1 + e−ϵ ) は，デーがプライバシ保護レベルについて理解することを助ける．

タ収集時でも ϵ の説明に利用できる．例えば ϵ = 0.1 を設定しプライバシレベル測定の結果，図 1(b) より以下 4 つの観測た場合は P = 0.525 であり，
「DP を適用したとき，データベーが得られた．(1) 悪意を持った勾配の操作を行わない Benign

ス中にある個人のレコードの有無が特定される確率は最大でsetting において実際に保証しているプライバシレベルは想定52%」のように説明できる [12]．プライバシリスク P は ϵ を説よりも強い．(2) 勾配が操作可能な場合は，保証しているプラ

明することが可能であるが，その説明はワーストケースに限ら

イバシレベル ϵ に達する．(3) FL のサーバとの共謀，すなわちれ，ワーストケース以外の入力に対する出力のプライバシレベ

悪意のあるモデルによっては攻撃者の能力を高める．(4) 入力

ルの説明は難しい．本研究では，さまざまな入力に対するプラ

データの正解ラベルを付け加えることは，勾配を操作できない

イバシレベルの説明によって，FL のクライアントが LDP を理場合でも入力された勾配の判別確率を高める．

解することを助ける．

本研究の貢献をまとめると以下の 3 つである．

•

LDP を保証した FL において，クライアントによる経験

的なプライバシ強度の測定テストを提供する．

•

LDP-SGD のワーストケース，すなわちメカニズムの出力に最も差が出やすい入力のペアを分析する．

•

さまざまな攻撃の場面を想定した経験的なプライバシ強度を測定する．

2. 2 プライバシ保護の検証
ML Privacy Meter [13] は学習モデルからあるデータが学
習データに含まれるかどうかを予想するメンバシップ推定攻撃 [14] によってプライバシリスクを評価する．しかしながら，

ML Privacy Meter は DP の検証に特化したものではないため，メカニズムが ϵ-LDP を満たしていることを確認できない．

Bullek ら [15] は，Randomized Response と呼ばれる DP の変

2 関連研究種を可視化した際のユーザの快適さ，理解，信頼に与える影響を検討した．Bullek らのプロトコルにおいて，ユーザは「過去

2. 1 プライバシレベルの説明にドラッグを使用したことがあるか」のようなセンシティブな

LDP は厳密なプライバシ基準であるが，そのプライバシパ

質問をされたとき，正直に答えるかどうかをルーレットのようラメータ ϵ は理解しやすいものではない．文献 [9, 10] では ϵなデバイスを使って選択する．この調査では，自身の回答に適の代わりの指標を使ったプライバシレベルの説明を提案した．

用されたランダム化が可視化されることで，ユーザはプライバ

Lee ら [9] はデータベースに発行するクエリの種類やデータのシ保護メカニズムへの信頼を高めることが示された．Bullek ら

分布・サイズによっては，同じ ϵ を設定してノイズを加えてもはルーレットによってメカニズムの可視化を試みているが，本個人を特定できる確率は異なることを示した．データベース中研究で対象とする LDP-SGD [8] は Randomized Response とに個人が含まれる/含まれないを特定できるプライバシリスク

比べて複雑なメカニズムである．さらに，LDP-SGD が確かに

ρ は，データベースのレコード数，1 レコードの有無がクエリ

ϵ-LDP を保証していることをユーザ (FL のクライアント) に示の出力に与える変化量の最大値すなわち global sensitivity [5]，すためには，LDP-SGD のワーストケースを分析し，ユーザがあるデータセットの 1 レコードの有無がクエリの出力に与える再現できる必要がある．

（ 1 ） サーバが n 人のクライアントにグローバルモデル θt

2. 3 差分プライバシを保証した機械学習の監査
いくつかの研究 [16–18] では，CDP を適用した機械学習におを配布．

ける具体的な攻撃モデルの導入を行った．Liu ら [17] は，仮説検（ 2 ） 各クライアントは学習後の勾配 ∇ℓ(θt ; xi ) を生成し定による CDP の解釈を提案し，Jagielski ら [16] は仮説検定をサーバに送信．

用いた経験的なプライバシ強度の測定を最初に試みた．彼らは（ 3 ） サーバは FedSGD [1] によってクライアントの勾配を

CDP を保証した機械学習アルゴリズムである DP-SGD [19] で集約してグローバルモデルを更新．ここで，η は学習率とする．

プライバシ保護された学習モデルがメンバシップ推定攻撃 [20]1X∇ℓ(θt ; xi )n i=1 | {z }{z} clientsnと 2 つのポイズニング攻撃 [16, 21] に晒された場合のプライバ

θt+1 ← θt − η ·シ強度を測定した．Nasr ら [18] は，汚染されたデータベース|

serverを学習に使用した場合，理論的・経験的な ϵ がタイト，すなわ
ちワーストケースであることを示した．逆に，最終的な学習済
みモデルのみを見ることが許された場合のように，より制限された敵対者を想定した場合，理論値よりも強いプライバシが保護されている可能性があることを経験的に示した．メンバシッ
プ推定攻撃の代わりに，Bernau ら [22] は，任意の補助知識を持つ敵対者を考え，敵対者が学習データのメンバを識別する際の確実性を制限する (ϵ, δ) に関する識別可能境界として最大ベ
イズ事後確率の導出を提案した．

3 準

FL では勾配だけをサーバに共有するが，勾配から学習デー
タを復元できることが指摘されており [2]，プライバシが保護されているとは言い難い．したがって，FL だけではクライアン
トのプライバシを保護していることにはならないため，何らかのプライバシ保護を取り入れる必要がある．勾配から元データの復元を防ぎ，プライバシを保護する方法の 1 つとして，LDPを適用した勾配のランダム化が挙げられる．

3. 3 LDP-SGD
LDP-SGD(Locally Diﬀerentially Private Stochastic Gradi-備

ent Descent) [7, 8] は分散環境で動作するように設計されており，クライアントからサーバへの通信全体を最小化することが

3. 1 ϵ-局所差分プライバシ
DP [5] はデータ所持者がデータベース D の統計量を公開する際に，隣接データベース (D と 1 レコードのみ異なるデータベース) の識別不能性を保証することで個人のプライバシを保護する．このとき，信頼できるデータ所持者が正しく DP を満
たすメカニズム，つまり信頼できる第三者を必要とする．一方
で LDP は，そのような前提を必要とせず，データ提供者が提供の前に自身のデータにノイズを加えることでプライバシを保護する．この場合，各個人が 1 つのデータで構成されるデータ可能である．本研究で想定する LDP を保証した FL は，信頼されないサーバと機密データを所有するクライアントで構成される．まず，クライアントはサーバから配布されたパラメー
タを用いて勾配を生成する．次に，クライアントはアルゴリズ
ム 1 のように LDP を保証して勾配をランダム化し，サーバに送信する．サーバは，クライアントから収集した勾配を使い，アルゴリズム 2 によってパラメータを更新する．クライアント
側のアルゴリズムは，2 行目と 3 行目で 2 つのランダム化を実

ベースを所持しており，データそのものという統計量を公開す

行する．ここでは，2 行目を Gradient Norm Projection，3 行ると捉えることもできる．その場合，隣接データベースはドメ

目を Random Gradient Sampling と呼ぶこととする．これら

イン上の任意のデータであり，DP と同様に任意の隣接データ
ベースとの識別不能性を保証することでプライバシは保護できると考える．ϵ ∈ R+ について LDP は以下のように定義される．
定義 1 (ϵ-局所差分プライバシ). x, x′ ∈ X および，任意の出は以下の特徴を持つ．

•

Gradient Norm Projection: 勾配のノルムが L 以上の場合は 100%符号を保ち，L より小さくなるほど符号が反転されやすい．この工程によってノルムは L に矯正される．

•

Random Gradient Sampling: プライバシパラメー

力 S ∈ S についてランダム化メカニズム M : X → S が以下

タ ϵ を大きくすると，サンプリング前の勾配に近い勾配が生成を満たしているとき，M は ϵ-局所差分プライバシを満たす．

されやすい．このサンプリングによって生成される ẑ は図 2 よ′Pr(M(x) ∈ S) <= e · Pr(M(x ) ∈ S)ϵ(1)

直感的にはメカニズム M に x を入力とした場合の出力が，任意のデータ x′を入力とした場合の出力と識別することがでり以下のように場合分けされる．

ẑ =緑の領域からサンプリングする． w.p.

eϵ
1+eϵ

白の領域からサンプリングする． w.p.

1
1+eϵ

きないため，本来のデータが何であったかが推測できないことを確率的に保証している．

3. 2 連 合 学 習

4 ワーストケースの分析
本節では LDP-SGD のワーストケース，つまり最もメカニズ

連合学習 (FL) [1] は分散型の機械学習手法である．従来の機ムの出力に差が出やすい入力のペアを分析する．これは，メカ械学習と FL の大きな違いはクライアントのデータがサーバやニズムが主張するプライバシ強度 ϵ-LDP を確かに満たしてい他のクライアントに共有されない点である．本研究の FL ではるかを確認するために必要である．

以下のプロトコルに従うものとする．

Algorithm 1 LDP-SGD; client-side Aclient [8]Algorithm 2 LDP-SGD; server-side Aserver [8]Require: Local privacy parameter: ϵ, current model: θt ∈ Rd ,Require: Local privacy budget: ϵ, number of epochs: T , parameter set: Cℓ2 -clipping norm: L
1: Compute clipped gradient{}x ← ∇ℓ(θt ; d) · min 1, ||∇ℓ(θL ;d)||
t
2

||x||
L · xw.p. 12 + 2L 2||x||2
2: z ←
−L · xotherwise.

||x||2
3: Sample v ∼u S d , the unit sphere in d dimsẑ ←sgn(⟨z, v⟩) · v

−sgn(⟨z, v⟩) · v

1: θ0 ← {0}d2: for t ∈ [T ] do
3:

Send θt to all clients

4:gt ← L 2 π ·√Γ( d−1
+1)
2
Γ( d
+1)
2

ϵ

+1
· eeϵ −1

( ∑
1
n

)
i∈[n] ẑi∏
Update: θt+1 ← C (θt − ηt · gt ),∏where
C (·) is the ℓ2 -projection onto set C, and ηt =5:√||C||2 n eϵ −1√· eϵ +1
L dϵew.p. 1+eϵotherwise.

6: end for7: return θpriv ← θT

4: return ẑ

する．ランダム化前後の勾配のコサイン類似度を比較すると以!!
" + !!

下の場合に分けられる．
Raw gradient"" + !!

Worst-case gradient（ 1 ） cos(g̃target , g) > 0•ϵe
かった．w.p. 12 · 1+eϵ•
図 2: LDP-SGD によるランダム化．ϵ が大きいほど緑色の領域からサンプリングされやすい．ワーストケースとなるペアはノルムが L 以上である勾配とその勾配と逆向きの勾配である．
21

4. 1 LDP-SGD のワーストケース
アルゴリズム 1 より，LDP-SGD の特徴として，ランダム化前のデータに依存するオブジェクトは，ẑ の計算における内積の符号のみであることが挙げられる．すなわち，0 ≪ λ として，ノル
ムが大きく異なる勾配のペア g1 = (0, 0, ..., 0), g2 = (λ, λ, ..., λ)をメカニズムの入力としても，Gradient Norm Projection に
よってどちらもノルムが L に矯正されるため判別しやすくならない．さらに，g1 = (0, 0, ..., 0), g2 = (0, λ, ..., 0) のようにランダム化された勾配は g であり，±90 度以上回転しな
ランダム化された勾配は gﬂip であり，±90 度以上回転1
した．w.p. 12 · 1+eϵ（ 2 ） cos(g̃target , g) < 0•

ランダム化された勾配は gﬂip であり，±90 度以上回転ϵe
しなかった．w.p. 21 · 1+eϵ•

ランダム化された勾配は g であり，±90 度以上回転し1
た．w.p. 12 · 1+eϵDistinguishing phase で，クライアントは cos(g̃target , g) が正の場合に gtarget が g であると予想すると，その予想は確率ϵ1· e で正しい．同様に，cos(g̃target , g) が負の場合，クライ
2 1+eϵeϵアントは gtarget が gﬂip であると予想するとその予想は 12 · 1+eϵeϵの確率で正しいので，クライアントは g と gﬂip を確率 1+eでϵ区別することができる．よって，ノルムが L 以上かつ勾配の符号を反転させることが最も効果的である．

透かし λ を挿入した場合でも Randam Gradient Sampling に
よって紛れてしまうため区別しにくい．したがって，GradientNorm Projection と Randam Gradient Sampling の影響を受けない勾配のペアを考慮すると，以下の命題が導かれる．
命題 1. ϵ で与えられる理論上の上限に達するワーストケースの入力のペアは，ノルムが L 以上になる勾配とその符号を反転させた勾配である．
証明 1. Gradient Norm Projection によって，ノルムが L 未満

4. 2 ワーストケースに関する制限
4. 1 節で示したワーストケースは LDP-SGD の場合に限ったものであり，例えば，DP-SGD [19] のようにクライアントが勾配にガウシアンノイズを加えるメカニズムを採用する場合は異なる可能性がある．DP-SGD のワーストケースについては，

Nasr ら [18] によって示されている．

5 経験的なプライバシ強度の検査の場合は勾配の符号が確率的に反転する．これを防ぐため，勾配のノルムは L 以上である必要がある．これより，g をノルム
が L の勾配とする．次に，勾配は Randam Gradient Samplingϵeによって図 2 の緑色の領域から 1+eϵ の確率でサンプリングさ2 節で触れたように，プライバシパラメータ ϵ を別の指標で説明する方法としては以下の 3 つが挙げられる．
（ 1 ） sensitivity，ϵ をデータベース中にある個人のレコー

れる．2 つの勾配 g1 と g2 は反対方向を向いていない限り，ラドの有無が特定される確率に変換する [9, 10]

ンダム化後の勾配は混ざってしまうため出力に差が出にくい．

（ 2 ） 最大ベイズ事後確率を識別可能境界とする [22]gﬂip を g を反転させた勾配，g̃ﬂip と g̃ をランダム化後の勾配と（ 3 ） 仮説検定によって経験的な ϵ を計算する [18]する．g̃target を 50%の確率で g または gﬂip をランダム化した

本研究では，直感的かつさまざまな入力から ϵ を説明可能な (3)勾配としたとき，ランダム化前の勾配はどちらだったかを予想の仮説検定を使った経験的なプライバシレベルの測定を採用す

る．本節では，LDP を適用した FL の経験的なプライバシ強度を検査する方法について説明する．

Algorithm 3 LDP Test in FL clients
Require: Privacy parameter: ϵ, #trials: K

5. 1 仮説検定としての局所差分プライバシ
メカニズム M の入力 x, x′ と出力 y について，以下のよう

1: FP, FN, TP, TN ← 0
2: for k ∈ [K] do

な仮説検定を考える．帰無仮説を入力 x，対立仮説を x′ ，棄却

3:

The FL server sends θt to the client.

領域を S とする．

4:

Crafting phase5:

H0 : 出力 y は入力 x から作られた．

{g1 , g2 } ← Craft(x1 , x2 , θt )6:

Randomly choose g from {g1 , g2 }H1 : 出力 y は入力 x′ から作られた．

7:g̃ ← Aclient (g).

8:

帰 無 仮 説 H0 が 実 際 に は 真 で あ る の に 棄 却 し た 割 合 ( 以 下

9:FPR:False Positive Rate) は Pr(M(x) ∈ S) と定義される．

10:

そして，帰無仮説 H0 が実際には偽であるのに棄却されなかっ11:た割合 (以下 FNR:False Negative Rate) は S の補集合を S̄

12:′とすると，Pr(M(x ) ∈ S̄) と定義される．メカニズム M が

13:

ϵ-LDP を保証するとは，以下の条件を満たすと同等である [23]．

14:
15:

定理 1 (経験的 ϵ-局所差分プライバシ). ϵ ∈ R+ について，メ′16:

カニズム M : X → S は任意の入力のペア x, x ∈ X および任17:

意の棄却領域 S ∈ S 対して次の条件が満たされる場合にのみ，

18:

ϵ-局所差分プライバシを満たす．
′

Pr(M(x) ∈ S) + e Pr(M(x ) ∈ S̄) >
=1
ϵ

19:

Submit g̃ to the distinguishing phase.
Distinguishing phaseguess ← D(g̃, g1 , g2 )if g is g1 and guess is g2 thenFP += 1else if g is g2 and guess is g1 then
FN += 1else if g is g2 and guess is g2 thenTP += 1else
TN += 1
end if

20: end for
21: Compute ϵempirical as (2)eϵ Pr(M(x) ∈ S) + Pr(M(x′ ) ∈ S̄) >=1
定理 1 を変形すると，経験的なプライバシ強度 ϵempirical は
1 − FNR
1 − FPR, log(2)
ϵempirical = max log
FNR
FPRと表せる．例えば 1000 回の試行で，実際には x から作られた
出力 y を x′ から作られたと予想した割合 (=FPR) が 0.1，実際には x′ から作られた出力 y を x から作られたと予想した割合 (=FNR) が 0.2 だった場合，式 (2) より ϵempirical ≃ 2.0 と力を判別する際にランダム化前後の勾配のコサイン類似度を比較することが効果的である．このフェーズでは，D(g̃, g1 , g2 ) を

2 つのランダム化前の勾配 {g1 , g2 } とランダム化後の勾配 g̃ のコサイン類似度を利用してランダム化前の勾配を予想する．

guess =
 g1cos(g̃, g1 ) >= cos(g̃, g2 )

gotherwise2(3)

なる．ここで注意しなければならないのは，設定する ϵ の値に比例して試行回数を増やす必要があることである．ϵ = 4 であ

5. 4 Crafting phase

れば試行回数は 10,000 回で十分だが，ϵ = 16 など大きな値をすべての入力のペアの効果を評価することは原理的には可能設定した場合はさらに多くの試行を必要とするのでクライアン

だが，計算上困難である．本研究では，アルゴリズム 3 におけトの環境によってはこの仮説検定は難しくなる．

る，勾配を操作する方法 Craft(·) として 5 種類を使用する．こ5. 2 LDP における攻撃モデルの導入
上記の仮説検定に基づくプライバシレベルの測定を実施する
ため，検査を以下のフェーズで構成する．

•

Crafting phase. FL のクライアントは 2 つの勾配

g1 , g2 を生成し，どちらか 1 つをアルゴリズム 1 によってランダム化する．ランダム化した勾配は g̃ とする．

•

Distinguishing phase. g̃ からランダム化された勾配

こで構築する敵対者は，ベースラインとして最も現実的な勾配を提供するものと，アクセスレベル (入力データを操作できる，勾配を操作できるなど) に応じて 4. 1 節で分析されたワースト
ケースを達成するための勾配を操作するものに分けられる．

5. 4. 1 Benign setting
最も現実的な設定として，悪意のある勾配を生成しない場合を考える．クライアントはサーバから配布されたグローバルモ
デル θt を用いて，画像 x1 と x2 から勾配 g1 と g2 を生成する．

が g1 , g2 のどちらだったかを予想する．
アルゴリズム 3 には提案するプライバシ測定検査を示す．勾配の操作と判別をある設定のもとで十分な回数繰り返すことで式(2) より ϵempirical を得る．
5. 3 Distinguishing phase
ワーストケースの分析によると，LDP-SGD では出力から入

g1 = ∇ℓ(θt ; x1 ); g2 = ∇ℓ(θt ; x2 );この設定によって，悪意のある振る舞いをするエンティティを想定しない場合の経験的なプライバシ強度を測ることができる．

5. 4. 2 Label ﬂip
ワーストケースの分析によると，g1 と g2 が最も見分けやすくなるのは，ある程度ノルムが大きく，g1 と g2 が逆を向いて5いる場合であり，勾配を直接操作するのが最も単純なワースト

Theoretical
MNIST
CIFAR-10
Fashion-MNIST
SVHN

4Measured

ケースの実現方法である．しかしながら，デバイスのメモリア
クセスなどの制限によって勾配を操作できない場合がある．この設定では勾配に直接アクセスすることなく，ワーストケースに近づく攻撃として，入力画像の正解ラベルの付け替えを行う．

3
2
1

g1 = ∇ℓ(θt ; x1 , label1 ); g2 = ∇ℓ(θt ; x1 , label2 );

0

0.5

1

2

4

Theoretical

g1 と g2 の違いはラベルだけであるが，θt が事前に良く訓練されているほどこの 2 つの勾配は逆向きになりやすい．次にそのような操作が効果的である理由を説明する．

図 3: Benign setting: 現実的な設定では，想定されるプライ
バシレベルよりも勾配は強く保護される．
5

命題 2. θt が十分に事前学習されている場合，入力データの正4

証明 2. 2 値分類を行う NN モデルにおいて損失関数を交差

3

Measured

解ラベルを変更すると，反対方向の勾配が生成される．

エントロピー誤差 L = −y log(p) − (1 − y) log(1 − p) とする．

Theoretical
MNIST
CIFAR-10
Fashion-MNIST
SVHN

2

ここで，y は 0 または 1 のラベル，p は y = 1 の出力確率で，
1z+p = ez+e+ez− と表せる．z± はシグモイド変換前の最上位層からの出力 z+ = w+ x + b+ ，z− = w− x + b− で，w± と b± はそ

00.5

ルを y = 1 としたとき，勾配は連鎖律より以下のように表せる．

dL
dL dp dz+
1
dz+
dz+
=
·
·
= − · p(1 − p) ·= (p − 1) ·dW
dp dz+ dW
p
dW
dW
(4)
ここで，W は NN の重みである．ラベルを反転させる，すな
わち y = 0 のとき勾配は，dL
dL dp dz−
1
dz−
dz−
=
·
·
=
· −p(1 − p) ·= −p ·dW
dp dz− dW
1−p
dW
dW
(5)

2

4

図 4: Label ﬂip：モデルが十分に事前学習されている場合，入力データのラベルを変更するだけでも Benign setting より理論値に近づく．

バが事前に学習したモデルとし，g1 は θ̃t の学習に使用した正解ラベルとは別のラベルが付けられたデータから生成する．g2
は Gradient ﬂip と同様に g1 を反転させた勾配とする．

g1 = ∇ℓ(θ̃t ; x1 ); g2 = −g1 ;となる．p ≃ 1 をモデルが事前によく訓練されていると表現す
ると，z+ は大きく，z− は小さくなる．つまり，w+ ≈ −w−

1

Theoretical

れぞれ重みとバイアス, x は前の層のロジットとする．正解ラベ

5. 4. 5 Dummydzを満たすように重みが学習されることが予想される． dW+ =dz+ dxdz−
dz− dxdx
dx= w+ dW ， dW = dx dW = w− dW であるから，モdx dWする設定を考える．この設定では，Collusion のようにサーバ

デルが事前によく訓練されている，すなわち y = 1 で p ≃ 1と共謀せずにワーストケースを達成できるため，FL のクライ最も強力な攻撃として，クライアントがダミーの勾配を生成のときは，式 (4) の p − 1 と式 (5) の −p は符号が同じである．

アントだけで LDP-SGD が ϵ-LDP を満たすことを検証できる．

よって，十分に事前学習された NN の場合，ラベルを反転させg1 は Gradient Norm Projection を防ぐためにノルムが L とな

ると勾配が反対方向になる．y = 0 の場合も同様である．

るように値が埋められた勾配，Random Gradient Sampling の5. 4. 3 Gradient ﬂip

影響を受けにくくするために g2 は g1 を反転させた勾配とする．

クライアントによる勾配の操作が可能な場合，LDP-SGD の

g1 = (λ, λ, ..., λ); g2 = −g1 ;ワーストケースに近づく最も単純な攻撃は，逆向きの勾配の生√ここで λ = L/ d，d は勾配の次元である．

成である．したがって，g1 と g2 を以下のように操作する．

g1 = ∇ℓ(θt ; x1 ); g2 = −g1 ;5. 4. 4 Collusion

6 実験

本節では，FL における LDP のプライバシ測定テストの結果

Gradient Norm Projection によって，ノルムが L 未満の勾を示す．前述の 5 種類の Crafting phase においてアルゴリズム 3

配は確率的に符号が反転されやすいため，Gradient ﬂip のようのようなテストを 10 回行い，得られた ϵempirical を平均する．そに勾配のペアを逆向きにしてもワーストケースには到達しない

れぞれのテストの試行回数 K は 10,000 とした．使用したデータ場合が発生する．したがって，この設定では Gradient Norm

セットは MNIST [24]，CIFAR-10 [25]，Fashion-MNIST [26]，Projection を防ぐため，ノルムが小さくなりにくいモデル θ̃t を

SVHN [27] である．

故意に生成する．θ̃t は全て同じ正解ラベルを持つデータでサー55Theoretical
MNIST
CIFAR-10
Fashion-MNIST
SVHN

3
2
1
0

Theoretical
Dummy

4

Measured

Measured

4

3
2
1

0.5

1

2

0

4

0.5

1

2

4

Theoretical

Theoretical

図 5: Gradient ﬂip: 勾配のペアの符号が逆向きの場合，経図 7: Dummy: クライアントが持つ画像やモデルに関係なく験的なプライバシレベルはほとんど理論値に近づく．

ダミーの勾配を生成した場合，LDP-SGD が ϵ-LDP を保証していることを検証できる．

5

Theoretical
MNIST
CIFAR-10
Fashion-MNIST
SVHN

Measured43

表 1: MNIST における勾配の識別精度．例えば，勾配 g と −gが識別できる確率は，ϵ = 1 を保証した場合，70.5%となる．
Theoretical ϵ

2

0.5

1
0

0.5

1

2

4

Theoretical

1

2

4

Benign54.4 58.4 64.4 68.1

Label ﬂip

60.7 70.1 83.2 92.1

Gradient ﬂip 61.0 70.5 84.7 93.6

図 6: Collusion: サーバと共謀したモデルから符号が逆向き

Collusion

62.3 73.1 87.9 98.2の勾配のペアを生成することで，ワーストケースに到達する．

Dummy

62.2 73.2 88.2 98.2

6. 1 経験的なプライバシ強度の観測

タセットで ϵempirical が理論値に達している．すなわち，この攻6. 1. 1 Benign setting

撃を再現することでクライアントは LDP-SGD が ϵ-LDP を満

図 3 より，最も現実的な設定では理論値と経験的なプライバ

たしていることを検証できる．

シレベルの差が大きい．MNIST で ϵ = 4 を保証した勾配を生

6. 1. 6 結果のまとめ成すると，縦軸の経験的な ϵ の値は 0.94 であり，想定よりも強図 1(b) と表 1 には 5 つの設定における経験的なプライバ

いプライバシ保護がされている．この傾向は全てのデータセッ

シレベルをまとめている．図 1(b) より，ワーストケースを実トで同様に観測された．

現するには勾配を直接操作することが有効である．表 1 に示

6. 1. 2 Label ﬂip

す Crafting phase で操作された 2 つの勾配が Distinguishing

図 4 より，入力データを操作することで Benign setting よphase で判別に成功した確率は，クライアントがプライバシパ

りもワーストケースに近づく．この設定において，MNIST で

ϵ = 4 を保証して勾配を生成すると ϵempirical = 2.47 となった．
図 4 の結果は，我々の実験環境で限界まで事前学習したモデルを使用した場合であり，学習方法によってはさらにワースト
ケースに近づく可能性がある．

6. 1. 3 Gradient ﬂip
単純に勾配を反転させるだけの操作であっても，図 5 のように Benign setting よりもワーストケースに近づくことができる．

MNIST で ϵ = 4 を保証した勾配を生成すると ϵempirical = 3.99
でほとんど理論値に達しているが，その他のデータセットでは完全には到達していない．

6. 1. 4 Collusion
図 6 より，クライアントが勾配を直接操作でき，サーバと共謀した結果，全てのデータセットで ϵempirical が理論値に達し，ワーストケースを再現できていることがわかる．

6. 1. 5 Dummy
図 7 より，クライアントが持っているデータに関わらずダミーの勾配を生成した場合も Collusion と同様に，全てのデー

ラメータ ϵ について理解するのを助ける．

6. 2 議論

6. 2. 1 クライアントによるワーストケースの実現可能性
実験によって，ワーストケースを実現するにはクライアント
が勾配にアクセスできる必要があることが示されたが，デバイスのアクセス制御などの制限によってはワーストケースを再現できない可能性がある．Benign setting では理論値と経験的なプライバシレベルはかけ離れており，Label ﬂip のように入力
データを操作可能であればワーストケースに達する可能性があるが，事前学習されたモデルの精度に依存する．

6. 2. 2 プライバシパラメータの緩和
ワーストケースを想定した攻撃を防ぐ方法として，勾配へのアクセスの禁止が考えられる．実験結果より，勾配を直接操作しない場合は経験的なプライバシレベルは理論値と離れており，

LDP を保証した FL のプライバシ保護が過剰で，その実用性を低下させる可能性を示唆している．また，FL のエンティティに何らかの制限を加えることで，ϵ を緩和できる可能性がある．

7 結

論

FL におけるクライアントのプライバシを保護するため，本[12]

研究では LDP を保証した FL を想定し，勾配のランダム化メ
カニズムとして LDP-SGD を用いた．LDP はプライベート/
プライベートではない, のように 2 値ではなくプライバシパラ[13]

メータ ϵ によって制御されるため，クライアントにとって理解するのが難しく，LDP の明確な説明とメカニズムの信頼性を提供する必要がある．本研究では，クライアントが実行可能な経[14]

験的プライバシレベルのテストを提案した．また，メカニズム
が ϵ-LDP を満たすかどうかを検証するためのワーストケースを発見し，実験では様々な入力から経験的なプライバシレベル[15]を観測した．最後に，FL のクライアントによるワーストケー
スの実現可能性と，プライバシパラメータ ϵ の緩和の可能性について議論した．
文

献[1] Brendan McMahan, Eider Moore, Daniel Ramage, SethHampson, and Blaise Aguera y Arcas. Communicationeﬃcient learning of deep networks from decentralized data.
In Artiﬁcial intelligence and statistics, pages 1273–1282.
PMLR, 2017.
[2] Jonas Geiping, Hartmut Bauermeister, Hannah Dröge, andMichael Moeller. Inverting gradients-how easy is it to break
privacy in federated learning? Advances in Neural Information Processing Systems, 33:16937–16947, 2020.
[3] Alexandre Evﬁmievski, Johannes Gehrke, and Ramakrishnan Srikant. Limiting privacy breaches in privacy preserving data mining. In Proceedings of the twenty-second ACM
SIGMOD-SIGACT-SIGART symposium on Principles of
database systems, pages 211–222, 2003.
[4] Shiva Prasad Kasiviswanathan, Homin K Lee, Kobbi Nissim, Sofya Raskhodnikova, and Adam Smith. What can welearn privately? SIAM Journal on Computing, 40(3):793–
826, 2011.
[5] Cynthia Dwork, Frank McSherry, Kobbi Nissim, and Adam
Smith. Calibrating noise to sensitivity in private data analysis. In Theory of cryptography conference, pages 265–284.
Springer, 2006.
[6] Aiping Xiong, Tianhao Wang, Ninghui Li, and SomeshJha. Towards eﬀective diﬀerential privacy communication
for users data sharing decision and comprehension. In 2020
IEEE Symposium on Security and Privacy (SP), pages 392–
410, 2020.
[7] John C Duchi, Michael I Jordan, and Martin J Wainwright. Minimax optimal procedures for locally private estimation. Journal of the American Statistical Association,
113(521):182–201, 2018.
[8] Úlfar Erlingsson, Vitaly Feldman, Ilya Mironov, Ananth
Raghunathan, Shuang Song, Kunal Talwar, and Abhradeep
Thakurta.
Encode, shuﬄe, analyze privacy revisited:
Formalizations and empirical evaluation. arXiv preprint
arXiv:2001.03618, 2020.
[9] Jaewoo Lee and Chris Clifton. How much is enough? choosing ε for diﬀerential privacy. In International Conference on
Information Security, pages 325–340. Springer, 2011.
[10] Luise Mehner, Saskia Nuñez von Voigt, and Florian
Tschorsch. Towards explaining epsilon: A worst-case studyof diﬀerential privacy risks. In 2021 IEEE European Symposium on Security and Privacy Workshops (EuroS&PW),
pages 328–331, 2021.
[11] Kobbi Nissim, Sofya Raskhodnikova, and Adam Smith.

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]
[25]
[26]

[27]

Smooth sensitivity and sampling in private data analysis.
In Proceedings of the thirty-ninth annual ACM symposiumon Theory of computing, pages 75–84, 2007.
Daniel Franzen, Saskia Nuñez von Voigt, Peter Sörries, Florian Tschorsch, and Claudia Müller-Birn. ” am i private
and if so, how many?”-communicating privacy guarantees ofdiﬀerential privacy with risk communication formats. arXiv
preprint arXiv:2208.10820, 2022.
Sasi Kumar Murakonda and Reza Shokri. Ml privacy meter:
Aiding regulatory compliance by quantifying the privacy
risks of machine learning. arXiv preprint arXiv:2007.09339,
2020.
Reza Shokri, Marco Stronati, Congzheng Song, and Vitaly
Shmatikov. Membership inference attacks against machinelearning models. In 2017 IEEE symposium on security andprivacy (SP), pages 3–18. IEEE, 2017.
Brooke Bullek, Stephanie Garboski, Darakhshan J Mir, andEvan M Peck. Towards understanding diﬀerential privacy:
When do people trust randomized response technique? In
Proceedings of the 2017 CHI Conference on Human Factors
in Computing Systems, pages 3833–3837, 2017.
Matthew Jagielski, Jonathan Ullman, and Alina Oprea. Auditing diﬀerentially private machine learning: How private
is private sgd? Advances in Neural Information Processing
Systems, 33:22205–22216, 2020.
Changchang Liu, Xi He, Thee Chanyaswad, Shiqiang Wang,and Prateek Mittal. Investigating statistical privacy frameworks from the perspective of hypothesis testing. Proceedings on Privacy Enhancing Technologies, 2019:233–254, 07
2019.
Milad Nasr, Shuang Songi, Abhradeep Thakurta, Nicolas
Papemoti, and Nicholas Carlin. Adversary instantiation:
Lower bounds for diﬀerentially private machine learning.
In 2021 IEEE Symposium on Security and Privacy (SP),pages 866–882. IEEE, 2021.
Martin Abadi, Andy Chu, Ian Goodfellow, H Brendan
McMahan, Ilya Mironov, Kunal Talwar, and Li Zhang. Deeplearning with diﬀerential privacy. In Proceedings of the 2016
ACM SIGSAC conference on computer and communications security, pages 308–318, 2016.
Samuel Yeom, Irene Giacomelli, Matt Fredrikson, andSomesh Jha. Privacy risk in machine learning: Analyzing the connection to overﬁtting. In 2018 IEEE 31st computer security foundations symposium (CSF), pages 268–
282. IEEE, 2018.
Tianyu Gu, Brendan Dolan-Gavitt, and Siddharth Garg.
Badnets: Identifying vulnerabilities in the machine learning model supply chain. arXiv preprint arXiv:1708.06733,
2017.
Daniel Bernau, Günther Eibl, Philip W Grassal, Hannah
Keller, and Florian Kerschbaum. Quantifying identiﬁability
to choose and audit ϵ in diﬀerentially private deep learning.
arXiv preprint arXiv:2103.02913, 2021.
Peter Kairouz, Sewoong Oh, and Pramod Viswanath. The
composition theorem for diﬀerential privacy. In International conference on machine learning, pages 1376–1385.
PMLR, 2015.
Yann LeCun and Corinna Cortes. MNIST handwritten digit
database. 2010.
Alex Krizhevsky, Vinod Nair, and Geoﬀrey Hinton. Cifar-10(canadian institute for advanced research). 2010.
Han Xiao, Kashif Rasul, and Roland Vollgraf. Fashionmnist: a novel image dataset for benchmarking machinelearning algorithms.
arXiv preprint arXiv:1708.07747,
2017.
Yuval Netzer, Tao Wang, Adam Coates, Alessandro Bissacco, Bo Wu, and Andrew Y Ng. Reading digits in natural
images with unsupervised feature learning. 2011.