日本データベース学会和文論文誌
一般論文

Vol. 23-J, Article No. 2, 2025 年 3 月

連合学習におけるローカル差分プラ• RQ1: クリップサイズの値によって学習はどのように変化すイバシーメカニズムのハイパーパラ• RQ2: クリップサイズを学習途中で減衰していくことで学習るかを効率化できるか

メータ調整に関する一考察• RQ3: クリップサイズを適応的に増幅・減衰していくことで学習を効率化できるか

前田 若菜 1

長谷川 聡 2

高橋 翼 3

実験結果より，次のことがわかった．

• 学習初期においてはある程度の大きさのクリップサイズを用
ローカル差分プライバシー (LDP) を満たす連合学習では，モいることで学習を効率化できること

デルの更新情報に対してノイズを加算するメカニズム (LDP メカ• 学習が効率よく進んでいる際にクリップサイズを減衰するこニズム) を各クライアントに導入する．このとき，LDP メカニズとで，ノイズによる loss の増加を抑制することができ，結果

ムでは，モデルの更新情報のノルムをある定数以下に制限した上として学習の阻害を防ぐことができること

で，この定数 (クリップサイズ) を考慮したノイズの加算が求めら• 学習初期のクリップサイズが小さい場合，クリップサイズを増幅することで loss の減少を促進し，学習を効率化できるれる．クリップサイズの設定が不適切な場合，ノイズによって学習が発散する，または学習の進行が阻害される，等の不都合が生ことじることが知られている．本研究では，LDP 下での連合学習を• LDP を想定していないクリップサイズの設定方針や適応的

効率よく進行することを目的として，クリップサイズの設定方法

更新手法は LDP 下の連合学習では有効でない可能性があるや，適応的に変更していく方法に関して，いくつかの実験的な取こと

り組みについて報告する．
本稿の貢献は，LDP を満たす連合学習におけるクリップサイズの調整に関する知見と，LDP 下の連合学習を想定したクリッ1 はじめにプサイズの適応的更新手法の必要性を示したことにある．

連合学習 [19] は，複数のクライアントとサーバからなる分散2型機械学習である．この方式では，クライアントはサーバの持つ関連研究

グローバルモデルを手元の学習データで更新し，サーバはその更連合学習に差分プライバシー (DP) を適用することでプライバ

新情報を受け取ってグローバルモデルを更新する．サーバは学習

シー保護を強化することを目指す研究が進められている [8] [10]データを受け取らないものの，受信した更新情報から元の学習[11] [15] [17] [18]．連合学習での DP の適用には，セントラル

データを復元できてしまう恐れが文献 [9] で指摘されている．

差分プライバシー (CDP) に基づく方法とローカル差分プライバ

この対策として差分プライバシー (DP: Diﬀerential Privacy) [6]シー (LDP) に基づく方法が考えられる．CDP に基づく方法は，の導入が考えられる．DP とはプライバシー漏洩を制限，定量化

クライアントから集めた更新情報にサーバでノイズを加算するこするための概念である．DP 下の機械学習では，ノイズを加算すとでプライバシー保護を達成する．LDP に基づく方法は，クライるメカニズムを導入してプライバシーを保証する．

アントで更新情報にノイズを加算することでプライバシー保護を

クライアント側でノイズを加算するローカル差分プライバシー

達成する．LDP に基づく方法はサーバに対してもプライバシー(LDP: Local Diﬀerential Privacy) [13] 下の連合学習では，モデルの更新情報に対してノイズを加算するメカニズム (LDP メカニ

保護をするため，更新情報にノイズを加算することから，CDP にズム) をクライアントに導入する．このとき，LDP メカニズムである．近年，CDP に基づくアプローチにおいて，セキュアアグリ

基づく方法と比べ，加算されるノイズの総量が大きくなる傾向がは，モデルの更新情報のノルムをある定数以下に制限した上で，ゲーションと組み合わせる方式も提案されている [2] [14] [22]．

この定数 (クリップサイズ) を考慮したノイズの加算が求められセキュアアグリゲーションとは個々の入力データを開示せずに集る．クリップサイズの設定が不適切な場合，ノイズによって学習

め，そのデータの集約値を計算をするもので，実現方法の一つにが発散する，または学習の進行が阻害される，等の不都合 [2] がTrusted Execution Environment(TEE) [24] に基づくものがある．

LDP 下の連合学習でも生じると考えられる．

これは，ハードウェア上に通常の実行環境から分離された安全な

本稿では，LDP 下での連合学習を効率よく進行することを目

実行環境を構成し，処理するデータとプログラムに対して機密性的として，クリップサイズの設定方法や，適応的に変更する方法と完全性を保証するものである．

に関して，以下のリサーチクエスチョン (RQ) の検証を行う．

DP を満たす連合学習の手法として，機械学習における DP を満たすための手法である Diﬀerentially Private Stochastic Gradient

Descent (DP-SGD) [1] アルゴリズムに基づくものや，これを拡張

1 非会員

LINE ヤフー株式会社
wakana.maeda@lycorp.co.jp
2 非会員 LINE ヤフー株式会社
satoshi.hasegawa@lycorp.co.jp
3 正会員 LINE ヤフー株式会社
tsubasa.takahashi@lycorp.co.jp

したものがある [2] [10] [17] [18]．DP-SGD では，勾配に対して二つの処理を行う．一つは勾配ノルムをある定数（クリップサイズ）以下になるよう制限する処理（クリッピング）であり，もう1日本データベース学会和文論文誌
一般論文

Vol. 23-J, Article No. 2, 2025 年 3 月

定義 2. ((𝜖, 𝛿)-LDP [13])．𝜖 ≥ 0 と 0 ≦𝛿 < 1 が与えられたと一つはクリップサイズとノイズスケールに基づいて生成されたガ
ウスノイズをクリッピングされた勾配に加算する処理である．こき，あるランダム化メカニズム M : X → S が (𝜖, 𝛿)-LDP を満のクリップサイズが小さすぎると，勾配に含まれる情報の多くがたすとは，あらゆる入力の組 𝑥, 𝑥 ′ ∈ X ，および任意の出力の部分破棄されるためバイアスが大きくなる可能性がある．一方で，ク集合 𝑆 ⊆ S について，次式が成り立つときである．

リップサイズが大きすぎるとガウスノイズの量が大きくなり，学Pr[M (x) ∈ S] ≦ e 𝜖 · Pr[M (𝑥 ′ ) ∈ S] + 𝛿

習を阻害する可能性がある．そのため，適切なクリップサイズを設定する必要がある．

(2)

LDP は，直感的に説明すれば，メカニズム M に 𝑥, 𝑥 ′ を入力しでは，適切なクリップサイズをどう設定すればいいだろうか．

たとしてもそれら出力がどちらの入力から得られたものか識別で

連合学習における先行研究では，更新情報のノルムの分布の中央きないことを保証している．そのため，LDP を満たすメカニズム

値を推奨し，クリップサイズを適応的に更新する手法の提案 [2]の出力の元である入力が何であったかを推測することは難しい．

がある．ただし，これは CDP 下を想定しており，LDP 下でも3.1.2

有効かはわからない．LDP を満たす連合学習における先行研

ノイズの設計(𝜖, 𝛿)-CDP を満たすメカニズムとしてガウスメカニズムがあ究 [8] [11] [15] においては，クリップサイズと学習の関係についる．ガウスメカニズムでは，平均 0，分散 Δ2𝑓 · 𝜎 2 で設計されたガては議論されておらず，クリップサイズの適応的更新手法も提案

ウス分布 N (0, Δ2𝑓 · 𝜎 2 ) からノイズをサンプリングし， 𝑓 の出力されていない．一方，連合学習を想定していない先行研究においに加算する．𝜎 はノイズスケールであり，𝜖 ，𝛿 ∈ (0, 1) が与えらては，クリップサイズを途中で小さくすることでモデルの精度がれたとき，𝜎 =向上した報告 [20] や，勾配ノルムの分布の中央値を推奨するも√2log(1.25/𝛿)/𝜖 であるガウスメカニズムは (𝜖 ，の [1] がある．これらは，LDP 下の連合学習においても有効かは𝛿)-CDP を満たす [4]．なお，𝜖 > 1 を含む一般的なケースは [4]わからない．さらに，クリップサイズを適応的に更新する手法のを参照されたい. Δ 𝑓 は以下に定義するセンシティビティである．

提案 [12] [23] [25] などがあるものの，LDP 下の連合学習にはそ

定義 3. ( センシティビティ ) ． あらゆる二つの隣接するデータのまま適用できない．

ベース 𝐷, 𝐷 ′ ∈ D に対する関数 𝑓 のセンシティビティ Δ 𝑓 は以

本研究では，文献 [20] で報告されたようなクリップサイズの下のように表される．

減衰による学習の効率化が LDP 下の連合学習でも有効かを検証

Δ 𝑓 = supD,D’ ||f(𝐷) − f(𝐷 ′ )|| p

する．さらに，文献 [2] のクリップサイズの適応的更新手法や文献 [1] が推奨する勾配ノルムの分布の中央値をクリップサイズに(3)

ガウスメカニズムを用いて (𝜖, 𝛿)-LDP を満たす場合には，CDP用いる方針が LDP 下の連合学習でも有効かを検証する．

の 2 倍のセンシティビティを用いる必要がある *1 ．

3 準備

3.1.3

プライバシー消費の管理

DP では，メカニズムを通してデータにアクセスする度にプラ初めに差分プライバシーを定義し，次に連合学習と差分プライ

イバシーを消費すると考える．そのため，全体を通してどのくら

バシーを適用した連合学習を説明する．最後に，クリップサイズ

いのプライバシー消費があったかを求めるために，消費したプラの適応的更新手法を紹介する．

イバシーを合算する必要がある．

3.1 差分プライバシー

𝐾 がそれぞ定理 1. ( 直列合成定理 [6] [7])．メカニズム列 {𝑀𝑖 }𝑖=1

差分プライバシー (DP) の 2 つのプライバシーモデルを定義したのち，ノイズの設計とプライバシー消費の管理について述れ (𝜖 i , 𝛿i )-DP を満たすとき，メカニズム列は (ΣKΣK
i=1 𝜖 i ，
i=1 𝛿i )-DP

べる．

を満たす．

3.1.1

プライバシーモデル

なお，直列合成定理は最も単純な合算方法であり，より厳格にDP [6] の二つのプライバシーモデルを定義する．一つはセン
トラル差分プライバシー (CDP) で，サーバが収集したデータか消費を見積もる方法が研究されている [3] [21]．

3.2 連合学習ら算出した統計量を公開する際に，統計量に対してノイズを加え

本 稿 は 連 合 学 習 の う ち Federated stochastic gradient de-ることでプライバシーを保護する．もう一方はローカル差分プラ

scent(FedSGD) [19] に関して議論する．この方式のアルゴリズム

イバシー (LDP) [13] で，サーバに送信するデータにノイズを加を Algorithm 1，2 に示す．サーバ側は 𝑡 回目の学習において，𝑚えることでプライバシーを保護する．これらを以下のように定義

クライアントからなる集合 𝑆 𝑡 を取得し，それらにモデルのパラする．

*1 これは，CDP と LDP 間で隣接データベースの考え方が異なることに起因している．CDP では隣接データベースの概念を，追加と削除の処理による定義 1. ((𝜖, 𝛿)-CDP [6] )．𝜖 ≥ 0 と 0 ≦𝛿 < 1 が与えられたとき，あるランダム化メカニズム M : D → S が (𝜖, 𝛿)-CDP を満たす違いでデータベース間の距離を考える．そのため，一つの削除あるいは追加によるデータベース間の差分は 1 距離である．一方，LDP における隣接データベースの概念は，置換の処理による違いで距離を考える．置換の処理は，削除し新たに追加する 2 処理とみなすことができるため，LDP における隣接データベースの 1 距離は，CDP の観点では 2 距離である．したがって，CDP を想定して考えられたメカニズムを LDP に適用する場合，
CDP の 2 倍のセンシティビティを用いる必要がある．

とは，あらゆる二つの隣接するデータベース 𝐷, 𝐷 ′ ∈ D ，および任意の出力の部分集合 𝑆 ⊆ S について，次式が成り立つときである．

Pr[M (D) ∈ S] ≦ e 𝜖 · Pr[M (𝐷 ′ ) ∈ S] + 𝛿(1)2

日本データベース学会和文論文誌
一般論文

Vol. 23-J, Article No. 2, 2025 年 3 月

Algorithm 1: FedSGD; server-side
Input: learning rate 𝜂
1

Initialize model 𝜃 0

2for each round 𝑡 = 0, 1, . . . do

Algorithm 3: Federated LDP-SGD; client-side
Require: noise scale 𝜎, training data 𝐵, clipping size 𝐶, loss
function ℓ
1

Function ClientUpdate(𝜃):3𝑆𝑡 ← (sample 𝑚 clients randomly)

2𝑔 ← ∇ℓ(𝐵; 𝜃)4for each client 𝑘 ∈ 𝑆𝑡 do

3𝐶𝑔¯ ← 𝑔 · min(1, | |𝑔||2 )4

𝑔˜ ← 𝑔¯ + N (0, (𝐶𝜎) 2 𝐼).

5

return Noisy gradient 𝑔˜𝑔𝑡(𝑘 ) ← ClientUpdate(𝜃 𝑡 )

5
6

end

7

𝜃 𝑡+1 ← 𝜃 𝑡 − 𝜂 𝑚1∑

⊲ Add noise(𝑘 )𝑘 ∈𝑆𝑡 𝑔𝑡end

8

⊲ Clip gradient

更新する．
サーバはクリップサイズの学習率 𝜂𝐶 とクリップサイズとして

Algorithm 2: FedSGD; client-side
Require: training data 𝐵, loss function ℓ

指定したい更新情報のノルムの分布のパーセンタイル 𝛾 ∈ [0, 1]

Function ClientUpdate(𝜃):習 𝑡 回目で抽出されたクライアント 𝑘 ∈ 𝑆 𝑡 は，更新情報に加え12
3を指定する．中央値を指定するのであれば，𝛾 = 0.5 とする．学(𝑘 )𝑔 ← ∇ℓ(𝐵; 𝜃)て，更新情報のノルムをクリップしたか否かを表す 𝑏 𝑡

を送信

(𝑘 )
する．クリップしてないならば 𝑏 𝑡 = 1，クリップしたならば(𝑘 )𝑏 𝑡 = 0 とする．サーバは各クライアントから 𝑏 𝑡(𝑘 ) を収集し，(𝑘 )この総和 Σ 𝑘 ∈𝑆𝑡 𝑏 𝑡 を抽出されたクライアント数 |𝑆 𝑡 | で割ること

return 𝑔

メータ 𝜃 𝑡 を送信する．クライアント 𝑘 ∈ 𝑆 𝑡 は，受信したパラで，クリップされていない割合 𝑏¯𝑡 を求める．そして，次式のよ

メータ 𝜃 𝑡 と手元の 𝑛 個の 𝑑 次元の実数ベクトルからなる学習

うにクリップサイズ 𝐶 を更新する．

𝑛 (𝑥 ∈ R𝑑 ) を用いて loss 関数 ℓ の勾配 𝑔 (𝑘 ) を
データ 𝐵 = {𝑥 𝑖 }𝑖=1
𝑖𝑡𝐶𝑡+1 = 𝐶𝑡 · exp(−𝜂C ( 𝑏¯𝑡 − 𝛾))

計算し，これをサーバへ送信する．サーバは，クライアント集合

𝑆𝑡 から得た勾配から平均値 𝑚1 Σ 𝑘 ∈𝑆𝑡 𝑔𝑡(𝑘 ) を計算し，それに学習率(4)

なお，CDP を満たすようにする場合は，𝑏¯𝑡 の計算時にノイズ

𝜂 を乗算したものを使ってパラメータを 𝜃 𝑡+1 へ更新する．

を加算する．

3.3 ローカル差分プライバシーを満たす連合学習実験

4

CDP を満たす機械学習にて提案された Diﬀerentially private
stochastic gradient descent（DP-SGD) [1] を LDP を満たす連合学

本研究では，ローカル差分プライバシー (LDP) を満たす連合

習向けに拡張する．この拡張したものを Federated LDP-SGD と学習において適切なクリップサイズを設定できるようにするため呼ぶことにする．Federated LDP-SGD は，クライアントの勾配のに以下のリサーチクエスチョン (RQ) の検証を行う．

計算にガウスメカニズムを適用することで DP を満たすことを基• RQ1: クリップサイズの値によって学習はどのように変化す本とする．ただし，一般的に勾配は [0, ∞) の値を取りうるため，るか（実験 1: クリップサイズと学習との関係の探索的実験）

センシティビティが無限になってしまうことから，勾配をクリッ• RQ2: クリップサイズを学習途中で減衰していくことで学習

プサイズ 𝐶 以下に制限 (クリッピング) することでセンシティビを効率化できるか（実験 2: クリップサイズの単純減少実験）

ティを 𝐶 に抑える．

• RQ3: クリップサイズを適応的に増幅・減衰していくことでアルゴリズムは，サーバ側は通常の連合学習と同様に Algo-

学習を効率化できるか（実験 3: クリップサイズの適応的更

rithm 1，クライアント側は Algorithm 3 に示したものになる．ク

新実験）

ライアントは勾配 𝑔 を計算した後，勾配 𝑔 の ℓ2 ノルムが最大でもクリップサイズ 𝐶 になるようにクリッピングを行い，クリッピ

以下，基本的な実験設定とプライバシーモデルを説明した後，ングされた勾配 𝑔¯ を得る．次に，クリッピングされた勾配 𝑔¯ にガ各実験の詳細設定と結果を述べる．

ウスノイズを加算して勾配のランダム化を行い，勾配 𝑔˜ を得る．

4.1

基本的な実験設定

このとき，ガウスノイズのスケールは，クリップサイズ 𝐶 とノイ

データセット 実験データとして手書き数字のデータセット

ズスケール 𝜎 を用いて，𝐶𝜎 とする．クライアントはランダム化

MNIST [5] を用いる．これは数字 0〜9 に分類する 10 クラス分された勾配 𝑔˜ をサーバに送信する．

類タスクである．クライアントが持つ訓練データの数をクライア

3.4 クリップサイズの適応的更新

ントによらず一律でそれぞれ 5 つとし，テストデータは 1 つと

まず，DP を適用しない時の adaptive quantile clipping [2] を示し，これらを復元抽出によって得る．

し，その後 CDP の満たし方を示す．この手法では，クリップサ

学習モデル CNN モデルを用い，そのアーキテクチャは文献 [8]イズ 𝐶 を更新情報 (FedSGD の場合は勾配) のノルムの分布の 𝛾の TABLE XIII を参考にした．モデルの精度評価として，分類精パーセンタイルに収束するよう更新する．例えば，5 つの更新情度 (accuracy) を用いる．

報のノルムが 1, 2, 3, 4, 5 で 𝛾 = 0.5 の時，𝐶 = 3 に収束するよう

パラメータ 全クライアント数を 10, 000, 000 とし，モデルの3

日本データベース学会和文論文誌
一般論文

Vol. 23-J, Article No. 2, 2025 年 3 月

は，𝐶 = 0.01 は分類精度の向上が遅く，最も早いのは 𝐶 = 0.05
だとわかる．𝐶 = 0.5，1.0 については，いずれも同じような推移をしており，学習全体を通して分類精度が低かった．
図 2 では，𝐶 = 0.01 は loss の減少が進んでいる．一方で，𝐶 =0.05，0.1 については loss が途中で増加に転換している．転換の早さは 𝐶 = 0.1 の方が 𝐶 = 0.05 より早い．残りの 𝐶 = 0.5, 1.0については学習初期から loss の増加が続いており，うまく学習できていないことがわかる．
クリップサイズについて以下のことがわかった．

• 学習初期においてはクリップサイズが小さいと学習の進みが遅く，クリップサイズがある程度の大きさだと学習の進みが
図1

クリップサイズ C における分類精度の推移

早い．

• クリップサイズが小さいと学習が進んでも loss の増加がな
く，分類精度が高い．

• ある程度の大きさのクリップサイズでは学習初期から，もしくは，学習途中から loss が増加し学習がうまく進まない．

4.4 実験２：クリップサイズの単純減少実験
実験 1 では，クリップサイズの大きさによって学習初期とその後で分類精度，loss の推移に違いがあることがわかった．学習初期の学習効率を高めつつその後も継続して学習をうまく進める方法として，クリップサイズを学習初期はある程度の大きさにし，
その後にクリップサイズを減衰する方法が考えられる．
実験 2 では，クリップサイズを学習途中で減衰していくことで
図2

継続的に学習がうまく進行するかを検証する．

クリップサイズ C における loss の推移

4.4.1 クリップサイズ調整方法
クリップサイズを固定にする方法と更新する方法を比較する．

更新 1 回につき参加するクライアント数を 1, 000 とする．また，更新方式は 2 種類あり，一つは学習の一時点でのみクリップサイ

モデルの更新回数 (round) を 10, 000 とする．学習率は DP 非適ズを小さくする方式 (一時点切替) と，もう一つは学習の度にク

用時 (non-private) と LDP 下でそれぞれ 0.1，1 とする．プライバ

リップサイズを減衰する方式 (減衰) である．

シーパラメータは，(𝜖, 𝛿)=(8, 10 −7 ) とする．

4.2

ベースライン クリップサイズは固定にし，値として 0.01, 0.05を用いる．それぞれを clip0.01, clip0.05 とする．

プライバシーモデル

一時点切替

実験 1，2 と実験 3 ではプライバシーモデルがやや異なる．実初期値として実験１で初期の分類精度が高かっ験 1，2 では LDP モデルであり，実験 3 では LDP モデルとセンたクリップサイズ 0.05 を用い，最終的な分類精度が高かったク

トラル差分プライバシー (CDP) モデルの混合型となっている．

リップサイズ 0.01 に途中で切り替える方法を考える．切り替え

プライバシーモデルが異なる理由は，クライアントから取得するタイミングとして，クリップサイズ 0.05 と 0.01 の loss の高低

る情報の違いにある．実験 1，2 ではクライアントから勾配のみが逆転した 2, 000 回目と分類精度の高低が逆転した 6, 000 回目を取得するが，実験 3 ではクリップサイズの適応的更新をするたを用いる．2, 000 回目と 6, 000 回目に切り替える方法をそれぞれめに必要な補助情報を追加で取得する．

0.05to0.01(2000), 0.05to0.01(6000) とする．
減衰

補助情報取得に対して，文献 [2] に合わせて，CDP モデルを適

クリップサイズの減衰方法として，学習率減衰方法のpoly learning rate policy [16] [26] を次式のように応用する．

用する．なお，実験 3 でも実験 1，2 と同様に勾配には LDP モデルを適用する．

4.3

𝐶𝑡+1 = 𝐶0 × (1 −実験１：クリップサイズと学習との関係の探索的実験

実験 1 ではクリップサイズ 𝐶={0.01, 0.05, 0.1, 0.5, 1.0} によっ𝑡 𝑝𝑜𝑤𝑒𝑟)𝑇(5)て分類精度や loss がどのように変化するかを観測することで𝐶𝑡 は 𝑡 回目のクリップサイズ，𝑇 は最大ラウンド数である．

学習への影響を調査する．図 1，2 はクリップサイズ C を変え

𝐶0 = {0.01, 0.05}, power = {0.5, 1.0, 2.0} を用いる．それぞれをた時の分類精度と loss の推移を示したものである．黒の波線が初期値と power を使って poly(0.01)0.5 のように表記する．図 3

non-private の結果で，残りが LDP の結果である．

はクリップサイズの減衰の様子を示したもので，𝑝𝑜𝑤𝑒𝑟 = 0.5, 2.0

図 1 では，𝐶 = 0.01，0.05，0.1 の順で non-private の分類精度

はラウンドが進むごとに減衰がそれぞれ，大きくなる，小さくなに近い値となっている．ただし，これらのうち学習初期においてる．一方、 𝑝𝑜𝑤𝑒𝑟 = 1.0 はラウンドに関係なく一定で減衰する．

4

日本データベース学会和文論文誌
一般論文

Vol. 23-J, Article No. 2, 2025 年 3 月

クリップサイズ調整方法ごとの loss を図 5 に示す．図 5(a) をみると，クリップサイズを切り替えることで増加していた loss が減少に転換していることがわかる．次に，図 5(b) をみると，lossの減少が clip0.01 よりも減衰方法の方が遅く，学習の効率が落ちていることがわかる．最後に，図 5(c) をみると，減衰方法では

poly(0.05)1.0，poly(0.05)0.5 が 0.05to0.01(2000) よりも loss が大きく，poly(0.05)2.0 が 0.05to0.01(2000) よりも僅かに loss が小さかった．これら結果から，クリップサイズの初期値が小さい際にクリップサイズを減少させると学習が遅くなること，クリップ
サイズの初期値がある程度の大きさの際に更新回数を大きくして
図3もクリップサイズの更新が適切でないと loss の減少への影響は

クリップサイズ 𝐶 の減衰

大きくならないことがわかる．
これらの実験 2 の結果から，次のことがわかった• ある程度小さいクリップサイズを減衰していくことは lossの減少の妨げになり，学習の進みを遅くすること• ある程度大きいクリップサイズを減衰していくことは lossの減少に効果があり，学習の効率化につながること• 更新回数を多くしてもクリップサイズの更新が適切でないとloss の減少効果は大きくならないこと
図4

クリップサイズ調整方法と分類精度の推移

実験３：クリップサイズの適応的更新実験

4.5

実験２では，初期のクリップサイズがある程度の大きさならば
表1

学習が進むにつれクリップサイズを適宜小さくすることでより分

ベースラインと一時点切替の分類精度

0.05to0.01

0.05to0.01(2000)(6000)

clip0.01

clip0.05

Mean

92.98

92.03

93.75

93.35

Std

0.34

0.33

0.09

0.17

類精度を向上できるとわかった．一方で，初期のクリップサイズ
が小さい場合には逆効果であることもわかった．そのため，初期のクリップサイズが小さければクリップサイズを大きくするという更新方法も考える必要がある．
実験３では，クリップサイズを適応的に増幅・減衰といった更新をすることで学習を効率化できるかを検証する．

表 2 減衰の分類精度

poly(𝐶0 )0.5

poly(𝐶0 )1.0

pol(𝐶0 )2.0

𝐶0 = 0.01

92.16 ± 0.20

91.40 ± 0.29

89.65 ± 0.20

𝐶0 = 0.05

93.86 ± 0.08

94.04 ± 0.24

93.56 ± 0.11

クリップサイズを適応的に更新するには，クライアントから補助情報を取得する必要がある．補助情報の取得に対して，文献 [2] に合わせて CDP モデルを適用する．

4.5.1

クリップサイズ調整方法

クリップサイズを固定にする方法として，実験 2 と同様に
クリップサイズ調整方法ごとの分類精度の推移を図 4 に示す．

clip0.01，clip0.05 を使用する．
適応的更新方法として，adaptive quantile clipping [2] と，ヒス

図 4(a) が示すように，クリップサイズの初期値を 0.05 とし，学

トグラムから勾配ノルムの分布の中央値を推定してクリップサイ

習途中で 0.01 に切り替えることで，学習初期とその後の両方でズを更新する手法 adaptive median clipping を用いる．

4.4.2

実験結果

分類精度が向上した．図 4(b) が示すように，クリップサイズのAdaptive quantile clipping [2] では，デフォルト値のノイズス

初期値を 0.05 とし，毎回減衰させる方法でも同様の結果が得ら

ケール 𝜎 = 5 とクリップサイズの学習率 𝜂𝐶 = 0.2 を用いる．初れた．

期値 𝐶0 = 0.01，パーセンタイル 𝛾 = 0.1, 0.5 を用い，それぞれクリップサイズ調整方法ごとの最大ラウンド時の分類精度のquantile(0.01)10%，quantile(0.01)50% とする．クリップサイズ

5 試行の平均 (mean) と標準偏差 (std) を表 1，2 に示す．初期値

は毎回更新を行い，計算過程にはガウスノイズを加算し，これは0.01 について，固定方式の clip0.01 と比較すると，減衰方式はい(0.006, 10−7 )-CDP を満たす *2 ．
Adaptive median clipping は次節で説明する．

ずれも分類精度は下回った．一方，初期値 0.05 について，固定方式の clip0.05 と比較すると，クリップサイズを更新した方式全て

4.5.2 Adaptive median clippingの分類精度が上回った．これらの結果からある程度小さいクリッ

文献 [1] のクリップサイズの設定方針に従い，adaptive median

プサイズを減衰していくことは分類精度の向上に有効でなく，あclipping では勾配ノルムの分布の中央値へクリップサイズを更新

る程度大きいクリップサイズを減衰していくことは分類精度の向上に有効であることがわかる．

*2 Rényi diﬀerential privacy による合成から計算した [3]．

5

日本データベース学会和文論文誌
一般論文

Vol. 23-J, Article No. 2, 2025 年 3 月

図5

-./01

クリップサイズ調整方法と loss の推移!"#$%&'()*&'(

23,4$1++!"#$%&'(

!
"
#
$
%

!
"
#
($
)%
&
'

)$%*+,

図 6 Adaptive median clipping の構成する．手法の構成を図 6 に示す．まず，信頼できるサーバにてクライアントから勾配ノルムを集約し，CDP を満たすヒストグ
ラムを生成する．この時，ヒストグラムのビンは事前に設定しておく．サーバは CDP を満たすヒストグラムを受け取り，これに基づいて勾配ノルムの分布の中央値を算出する．そして，得られた中央値へクリップサイズを更新する．なお，補助情報の集約はTrusted Execution Environment(TEE) [24] などを用いて実装が可能である．
実 験 の 設 定 を 記 述 す る ．ヒ ス ト グ ラ ム の ビ ン と し て ，{[0, 2−7 ], ..., [2−4 , 2−3 ]} の範囲をもつ 5 つのビンを設定した．
2−3 より大きい値は全て 2−3 の値としてトップコーディングする．ビンの設定は実験１を踏まえており，一番小さい値のビンの

図7

クリップサイズ調整方法ごとの分類精度の推移

中央値が 0.01 の約 1/10，一番大きい値のビンの中央値が約 0.1になるように設定してある．勾配ノルムの分布の中央値として累積度数が 50% を超えたビンの中央値を用いる．ヒストグラムの害されていることを示している．一方，adaptive0.05 は clip0.05

ランダム化メカニズムは (0.8, 10 −8 )-CDP を満たすとし，クリッよりも loss が増加しており学習がうまく進んでいない．さらに，プサイズの更新は 1000 回ごとに行う．クリップサイズの初期値

quantile 方式では loss が早い段階で発散していた．なお，quantile

を 0.01, 0.05 とし，それぞれ adaptive0.01, adaptive0.05 と表記す方式では 50, 10 のいずれのパーセンタイルでもクリップサイズ

る．なお，本実験では TEE を使用していない．

が増加し続けていた．

4.5.3

実験結果

図 9 に adaptive0.01 における各更新ごとの勾配ノルムのヒス

クリップサイズ調整方法ごとの分類精度を図 7 に，loss を図

トグラムを示す．頻度へのノイズ加算前のものが raw，加算後が8 に示す．図 7 にあるように，adaptive0.01 は学習初期の分類精noisy とする．ノイズ加算前後でヒストグラムに大きな違いはな

度が clip0.01 や clip0.05 よりも向上しているものの，学習が進む

く，最も大きな勾配ノルムの値をもつ一番右のビンの頻度が最大

につれ adaptive 方式の分類精度は clip 方式よりも下回った．こかつ過半数を超えていた．このため，adaptive 方式ではクリップ

れら分類精度は，学習初期の最高値に比べて低くなっている．ま

サイズは初回の更新から最後まで 0.1 に更新されていた．学習がた，quantile 方式については学習がうまくいかなかった．図 8 で進むにつれ，一番右のビン [2 −3 , 2 −4 ] の頻度は減少し，一番左のは，adaptive0.01 は学習初期の loss の減少が clip0.01 と比べて早ビン [0, 2 −7 ] が増加しつつあるも，それでも一番右のビンが最もくなっているものの，途中から loss が増加に転換し，学習が阻頻度の高いビンとなっている．そのため，勾配ノルムの分布の中6日本データベース学会和文論文誌
一般論文

Vol. 23-J, Article No. 2, 2025 年 3 月

害されることがわかった．今回用いたクリップサイズの設定方
針 [1] と適応的更新手法 [2] は，それぞれセントラル差分プライ
バシー (CDP) 下の機械学習，及び，連合学習で有効とされていたものだが，いずれもローカル差分プライバシー (LDP) 下の連合学
習にとっては大きいクリップサイズへ更新していた．その結果，ノイズの影響が大きくなり学習が阻害されたのだと考えられる．

LDP 下の連合学習は CDP 下の学習と異なり，各クライアントの勾配にノイズを加算する必要がある．それゆえ，ノイズの影響を小さくするためには，CDP 下の学習よりも小さいクリップサイズに設定する必要があると考えられる．したがって，LDP 下の連合学習においては CDP 下と比べて小さいクリップサイズにな
図8るように設計された専用の適応的更新手法が必要だといえる．

クリップサイズ調整方法ごとの loss の推移

6

おわりに
本研究では，ローカル差分プライバシー (LDP) 下の連合学習

央値を使ったクリップサイズの更新ではクリップサイズが大きくを効率よく進行することを目的とし，クリップサイズの設定方法

なりやすい可能性がある．
これらの結果から，学習初期のクリップサイズが小さい場合，や，適応的に更新する方法に関して，いくつかの実験的な取り組

クリップサイズを大きくすることで初期の学習を効率化可能だとみを行なった．実験から，学習初期から継続的に学習を効率よくわかった．ただし，その後も適切にクリップサイズを更新しなけ

学習を進めるためには，初期のクリップサイズはある程度大きくれば学習が阻害され，分類精度が学習初期よりも低下する可能性

し，学習が進むにつれてクリップサイズを減衰することが有効でがあることがわかった．

あることがわかった．また，学習初期のクリップサイズが小さい
場合，クリップサイズを増幅することで初期の学習を効率化可能

5 考察

なことがわかった．そして，LDP 下を想定していないクリップ
サイズの設定方針や適応的更新手法は LDP 下の連合学習では有実験 1 では，クリップサイズの大きさによって学習初期とそ効ではない可能性を示した．

の後で分類精度，loss の推移に違いがあることがわかった．これは，学習初期においてはクリッピングの影響が大きく，学習が進

今後の課題として，複数のデータセットを用いて今回の実験結むにつれてその影響が小さくなり，ノイズの影響が相対的に大き果の一般性を確かめることと，LDP を満たす連合学習向けのクくなるからだと考えられる．各クリップサイズ調整方式における

リップサイズの適応的更新手法を確立することがある．

クリッピングとノイズ加算前の勾配ノルムの平均値の推移を図

参考文献

10 に示す．non-private の勾配ノルムは学習が進むにつれ減少す[1] Martin Abadi, Andy Chu, Ian Goodfellow, H Brendan McMahan, Ilya
Mironov, Kunal Talwar, and Li Zhang. Deep learning with diﬀerential
privacy. In Proceedings of the 2016 ACM SIGSAC conference on
computer and communications security, pages 308–318, 2016.
[2] Galen Andrew, Om Thakkar, Brendan McMahan, and Swaroop Ramaswamy. Diﬀerentially private learning with adaptive clipping. Advances in Neural Information Processing Systems, 34:17455–17466,
2021.
[3] Borja Balle, Gilles Barthe, Marco Gaboardi, Justin Hsu, and Tetsuya
Sato. Hypothesis testing interpretations and renyi diﬀerential privacy.
In International Conference on Artiﬁcial Intelligence and Statistics,
pages 2496–2506. PMLR, 2020.
[4] Borja Balle and Yu-Xiang Wang. Improving the gaussian mechanism
for diﬀerential privacy: Analytical calibration and optimal denoising.
In International Conference on Machine Learning, pages 394–403.
PMLR, 2018.
[5] Li Deng. The mnist database of handwritten digit images for machinelearning research [best of the web]. IEEE signal processing magazine,
29(6):141–142, 2012.
[6] Cynthia Dwork. Diﬀerential privacy. In Proceedings of the 33rd
International Conference on Automata, Languages and Programming- Volume Part II, ICALP’06, page 1–12, Berlin, Heidelberg, 2006.
Springer-Verlag.
[7] Cynthia Dwork, Guy N Rothblum, and Salil Vadhan. Boosting anddiﬀerential privacy. In 2010 IEEE 51st Annual Symposium on Foundations of Computer Science, pages 51–60. IEEE, 2010.
[8] Úlfar Erlingsson, Vitaly Feldman, Ilya Mironov, Ananth Raghunathan,
Shuang Song, Kunal Talwar, and Abhradeep Thakurta. Encode, shufﬂe, analyze privacy revisited: Formalizations and empirical evalua-

る一方で，LDP の勾配ノルムは値が大きく，クリップサイズの変化がない clip0.01, 0.5 はその値が増幅し続けている．これは，学習が進むにつれてノイズの影響が大きくなり，学習がうまく進まないのを補うように勾配ノルムが増幅しているからだと考えられる．クリップサイズを途中で切り替える 0.05to0.01(2000) 方式では勾配ノルムの増幅を抑えることができており，このことからクリップサイズを調整することで勾配ノルムの増幅を抑えることができることがわかる．
実験 2 で確認した通り，学習初期においてはクリップサイズを大きくすることでクリッピングの影響を小さくして学習初期の進行を早くし，適宜クリップサイズを小さくすることでその後のノイズの影響を小さくすることができると考えられる．ただし，学習初期の進行が遅くなるようなクリップサイズの時にこれを小さくすることは，より学習の進行を遅くし，分類精度の低下をまねくことになる．このことから，クリップサイズを小さくする更新だけでなく，クリップサイズが小さい場合には大きくする更新が必要なことがわかる．
実験 3 では，学習初期のクリップサイズが小さい場合，これを大きくすることで初期の学習を効率化可能だとわかった．ただし，その後も適切にクリップサイズを更新しなければ学習が阻

7

日本データベース学会和文論文誌
一般論文

Vol. 23-J, Article No. 2, 2025 年 3 月

図 9 各更新ごとの勾配ノルムのヒストグラム

図 10

ferentially private federated learning on medical data. arXiv preprint
arXiv:2101.11693, 2021.
[18] Virendra J Marathe and Pallika Kanani. Subject granular diﬀerential
privacy in federated learning. arXiv preprint arXiv:2206.03617, 2022.
[19] Brendan McMahan, Eider Moore, Daniel Ramage, Seth Hampson,and Blaise Aguera y Arcas. Communication-eﬃcient learning ofdeep networks from decentralized data. In Artiﬁcial intelligence andstatistics, pages 1273–1282. PMLR, 2017.
[20] H Brendan McMahan, Daniel Ramage, Kunal Talwar, and Li Zhang.
Learning diﬀerentially private recurrent language models. In International Conference on Learning Representations, 2018.
[21] Ilya Mironov. Rényi diﬀerential privacy. In 2017 IEEE 30th computer
security foundations symposium (CSF), pages 263–275. IEEE, 2017.
[22] John Nguyen, Kshitiz Malik, Hongyuan Zhan, Ashkan Yousefpour,
Mike Rabbat, Mani Malek, and Dzmitry Huba. Federated learningwith buﬀered asynchronous aggregation. In International Conferenceon Artiﬁcial Intelligence and Statistics, pages 3581–3607. PMLR,
2022.
[23] Venkatadheeraj Pichapati, Ananda Theertha Suresh, Felix X Yu,
Sashank J Reddi, and Sanjiv Kumar. Adaclip: Adaptive clipping
for private sgd. arXiv preprint arXiv:1908.07643, 2019.
[24] Mohamed Sabt, Mohammed Achemlal, and Abdelmadjid Bouabdallah. Trusted execution environment: what it is, and what it is not. In
2015 IEEE Trustcom/BigDataSE/ISPA, volume 1, pages 57–64. IEEE,
2015.
[25] Jun Wang and Zhi-Hua Zhou. Diﬀerentially private learning withsmall public data. In Proceedings of the AAAI Conference on Artiﬁcial
Intelligence, volume 34, pages 6219–6226, 2020.
[26] Hengshuang Zhao, Jianping Shi, Xiaojuan Qi, Xiaogang Wang, andJiaya Jia. Pyramid scene parsing network. In Proceedings of theIEEE conference on computer vision and pattern recognition, pages
2881–2890, 2017.

各クリップサイズ調整方式における加工前の勾配ノル

ムの平均値の推移

tion. arXiv preprint arXiv:2001.03618, 2020.
[9] Jonas Geiping, Hartmut Bauermeister, Hannah Dröge, and Michael
Moeller. Inverting gradients-how easy is it to break privacy in federated learning? Advances in Neural Information Processing Systems,
33:16937–16947, 2020.
[10] Robin C Geyer, Tassilo Klein, and Moin Nabi. Diﬀerentially private federated learning: A client level perspective. arXiv preprint
arXiv:1712.07557, 2017.
[11] Antonious M Girgis, Deepesh Data, Suhas Diggavi, Peter Kairouz,
and Ananda Theertha Suresh. Shuﬄed model of federated learning:
Privacy, accuracy and communication trade-oﬀs. IEEE journal on
selected areas in information theory, 2(1):464–478, 2021.
[12] Aditya Golatkar, Alessandro Achille, Yu-Xiang Wang, Aaron Roth,Michael Kearns, and Stefano Soatto. Mixed diﬀerential privacy incomputer vision. In Proceedings of the IEEE/CVF Conference on
Computer Vision and Pattern Recognition, pages 8376–8386, 2022.
[13] Shiva Prasad Kasiviswanathan, Homin K Lee, Kobbi Nissim, Sofya
Raskhodnikova, and Adam Smith. What can we learn privately? SIAM
Journal on Computing, 40(3):793–826, 2011.
[14] Fumiyuki Kato, Yang Cao, and Masatoshi Yoshikawa. Olive: Oblivious and diﬀerentially private federated learning on trusted execution
environment. arXiv preprint arXiv:2202.07165, 2022.
[15] Muah Kim, Onur Günlü, and Rafael F Schaefer. Federated learningwith local diﬀerential privacy: Trade-oﬀs between privacy, utility, andcommunication. In ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pages
2650–2654. IEEE, 2021.
[16] Wei Liu, Andrew Rabinovich, and Alexander C Berg. Parsenet: Looking wider to see better. arXiv preprint arXiv:1506.04579, 2015.
[17] Mohammad Malekzadeh, Burak Hasircioglu, Nitish Mital, Kunal
Katarya, Mehmet Emre Ozfatura, and Deniz Gündüz. Dopamine: Dif-8