プライバシ保護ディープラーニングのためのニューラルネットワークモデル
構築手法の提案
代表研究者
共同研究者

清雄一
大須賀昭彦

電気通信大学大学院情報理工学研究科 助教
電気通信大学大学院情報理工学研究科 教授

1 はじめに多数の個人に関するデータを保有していれば，年齢，性別，職業や身体の症状等の情報から，年収や罹患している病名等のセンシティブな情報を推測する機械学習モデルを構築することができる．さらにこのモデルを第三者に提供することで，受領者はある人物の年齢，性別，職業や身体の症状等の情報を持っていれば，その人が罹患している病名等を高精度に推測することが可能となる．これは病気の診断等に非常に有益である．しかしモデル構築には個人のデータが利用されており，個人の同意なく第三者にモデルを提供することには注意が必要である．
近年，プライバシを保護したままデータベースを共有するための匿名化手法が盛んに研究されている．匿
名化の指標として様々なものが提案されているが「差分プライバシ」と呼ばれる指標が最も有望視されている．しかし，差分プライバシに限らず，プライバシを保護したまま機械学習を適用するための手法はこれまで開発されていない．特に，ニューラルネットワークの一形態である「ディープラーニング」は最も注目を浴びている機械学習手法の一つであり，これに対応することが望まれる．
本研究では，差分プライバシを厳密に保証したままニューラルネットワークモデルを構築する手法を開発する．これにより，ニューラルネットワーク（ディープラーニング含む）の機械学習モデルを第三者に提供するシナリオにおいて，モデル作成に用いられた情報のプライバシを保護できるようになる．

2 背景
2-1 システムモデル
多数の個人に関するデータを保有している事業者がディープラーニング等のニューラルネットワークモデ
ルを構築してそれを第三者に提供するシナリオを想定し，差分プライバシを厳密に満たすような機械学習モ
デル構築アルゴリズムを開発することを研究の目的とする．システムモデルを図 1 に示す．

Privacy-preserved
deep neural network
Generation

Personal data
Data owner

Data analyzer

図 1 システムモデル
2-2 ディープニューラルネットワーク
図 2 にディープニューラルネットワーク（DNN: Deep Neural Network）の構造を示す．
𝐿𝐿(𝑙𝑙) は DNN の𝑙𝑙番目の層を表す．全体でℒ + 1個の層があり，入力層は𝐿𝐿(0) ，出力層は𝐿𝐿(ℒ) である．

1（公財）電気通信普及財団 研究調査助成報告書 No.32 2017

(𝑙𝑙)

(𝑙𝑙)

(𝑙𝑙)

𝑁𝑁𝑖𝑖 は層𝐿𝐿(𝑙𝑙) の𝑖𝑖番目のノードを表し，𝑛𝑛(𝑙𝑙) は層𝐿𝐿(𝑙𝑙) におけるノードの個数を表す．層𝐿𝐿(𝑙𝑙) にはノード𝑁𝑁1 , 𝑁𝑁2 ,(𝑙𝑙)…, 𝑁𝑁𝑛𝑛(𝑙𝑙) がある．

L(1)

L(0)

...

(2)
𝑛𝑛 ,𝑛𝑛(2)𝑤𝑤 (1)(0)𝑁𝑁𝑛𝑛(0)(𝑙𝑙)(𝑙𝑙−1)

𝑤𝑤𝑖𝑖𝑖𝑖 はノード𝑁𝑁𝑖𝑖

表す．

(2)

𝑏𝑏1

(2)
𝑛𝑛 ,1

𝑤𝑤 (1)

...

...

(0)

𝑁𝑁2

(2)
1,𝑛𝑛(2)

𝑤𝑤

...

(0)

𝑁𝑁1

L(L )

L(2)

(2)

𝑤𝑤1,1

(2)
𝑛𝑛

𝑏𝑏 (2)

図 2 ディープニューラルネットワーク（ℒ = 3）
(𝑙𝑙)

(𝑙𝑙)

(𝑙𝑙)

とノード𝑁𝑁𝑗𝑗 の間の重みパラメータを表し，𝑏𝑏𝑗𝑗 はノード𝑁𝑁𝑗𝑗 へのバイアスパラメータを
(𝑙𝑙)

(𝑙𝑙)

(𝑙𝑙)

(𝑙𝑙)

𝐹𝐹 (𝑙𝑙) は層𝐿𝐿(𝑙𝑙) の活性化関数を表す．𝑥𝑥𝑖𝑖 はノード𝑁𝑁𝑖𝑖 への入力を表し，𝑦𝑦𝑖𝑖 はノード𝑁𝑁𝑖𝑖 からの出力を表す．これら入出力の値は以下の式で計算される：(𝑙𝑙)𝑥𝑥𝑖𝑖 =
(𝑙𝑙)

𝑦𝑦𝑖𝑖

(ℒ)

𝑛𝑛(𝑙𝑙−1)(𝑙𝑙−1)

� 𝑦𝑦𝑗𝑗
𝑗𝑗=1
(𝑙𝑙)

(𝑙𝑙)

= 𝐹𝐹 (𝑥𝑥𝑖𝑖 ).

(𝑙𝑙)

(𝑙𝑙)

𝑤𝑤𝑗𝑗𝑗𝑗 + 𝑏𝑏𝑖𝑖

(1)

(ℒ)

𝑡𝑡𝑖𝑖 はノード𝑁𝑁𝑖𝑖 の目標出力値を表し，𝑀𝑀は誤差関数を表す．誤差関数𝑀𝑀は入力として𝑦𝑦𝑖𝑖 及び𝑡𝑡𝑖𝑖 を取り，その誤差の値を返す．
学習データは，いくつかのバッチと呼ばれるまとまりに分割される．以下のプロセスは各バッチに対して
行われる．
(ℒ)

(𝑙𝑙)

バッチ内の各レコードに対して，DNN は𝑦𝑦𝑖𝑖 を計算する（𝑖𝑖 = 1, … , 𝑛𝑛(ℒ) ）．次に，DNN は各ノード𝑁𝑁𝑖𝑖 におけ
(𝑙𝑙)

(ℒ)

る誤差信号（𝛿𝛿𝑖𝑖 とおく）を計算する．𝑙𝑙 = ℒのとき，𝛿𝛿𝑖𝑖 は以下のように計算される：
𝑛𝑛(ℒ)
(ℒ)
𝜕𝜕𝜕𝜕 𝜕𝜕𝑦𝑦(ℒ)
𝛿𝛿𝑖𝑖 = � (ℒ) 𝑘𝑘(ℒ)
𝜕𝜕𝑦𝑦𝑘𝑘 𝜕𝜕𝑥𝑥𝑖𝑖
𝑘𝑘=1

(𝑙𝑙)

𝑙𝑙 = 1, … , ℒ − 1に対しては，𝛿𝛿𝑖𝑖 は以下のように計算される：
(𝑙𝑙)

𝛿𝛿𝑖𝑖

(𝑙𝑙)

=

𝜕𝜕𝐹𝐹 (𝑙𝑙)(𝑙𝑙)𝜕𝜕𝑥𝑥𝑖𝑖𝑛𝑛(𝑙𝑙+1)(𝑙𝑙+1)

� 𝑤𝑤𝑗𝑗𝑗𝑗 𝛿𝛿𝑗𝑗
𝑗𝑗=1

.

(2)

(3)
(𝑙𝑙)

DNN は𝛿𝛿𝑖𝑖 をバッチ内の各レコードに対して計算し，その総和を新たに𝛿𝛿𝑖𝑖 とおく．
(𝑙𝑙)

次に，変動量Δ𝑤𝑤𝑖𝑖𝑖𝑖 を以下のように定義する：
(𝑙𝑙)

(𝑙𝑙)

(𝑙𝑙−1) (𝑙𝑙)𝛿𝛿𝑗𝑗 .

Δ𝑤𝑤𝑖𝑖𝑖𝑖 = 𝑦𝑦𝑖𝑖

(4)

最後に，DNN は各重みパラメータ𝑤𝑤𝑖𝑖𝑖𝑖 for 𝑙𝑙 = 1, … , ℒ, 𝑖𝑖 = 1, … , 𝑛𝑛(𝑙𝑙−1) , and 𝑗𝑗 = 1, … , 𝑛𝑛(𝑙𝑙) を以下のように更2（公財）電気通信普及財団 研究調査助成報告書 No.32 2017

新する：
(𝑙𝑙)

(𝑙𝑙)

(𝑙𝑙)

(𝑙𝑙)

𝑤𝑤𝑖𝑖𝑖𝑖 ← 𝑤𝑤𝑖𝑖𝑖𝑖 − 𝛼𝛼(Δ𝑤𝑤𝑖𝑖𝑖𝑖 + 𝜆𝜆𝑤𝑤𝑖𝑖𝑖𝑖 )/𝐵𝐵,

ここで，𝛼𝛼は学習率，𝜆𝜆は正則項を表し，これは事前に決定しておく．
バイアスパラメータに関しては，以下のように更新する：
(𝑙𝑙)
(𝑙𝑙)
(𝑙𝑙)
𝑏𝑏𝑗𝑗 ← 𝑏𝑏𝑗𝑗 − 𝛼𝛼Δ𝑏𝑏𝑗𝑗 /𝐵𝐵,
(𝑙𝑙)

(5)

(6)

(𝑙𝑙)

ここで，Δ𝑏𝑏𝑗𝑗 = 𝛿𝛿𝑗𝑗 である．

このプロセスを全てのバッチに対して行う．
また，上記プロセスを複数回繰り返す．この繰り返し回数をエポック数と呼ぶ．このエポック数は，事前に，または，学習を進めながら決定する必要がある．
2-3 差分プライバシ
プライバシ保護データマイニングの研究分野では，𝑘𝑘-anonymity[12]や𝑙𝑙-diversity[13]と呼ばれるプライ
バシ保護指標が提案されている. これらの指標を拡張した指標も数多く提案されている[14,15].
しかし近年では，𝜖𝜖-差分プライバシ[11]というプライバシ指標が最も注目を浴びている．
パラメータ𝜖𝜖に基づき以下のように定義される:

Definition 1. 𝜖𝜖-differential privacy

DとD′ は最大1レコードだけ異なるデータベースであるとする．ラン

ダム機構𝒜𝒜は，出力の全ての集合Yについて以下が成り立つとき，またそのときのみ，ϵ-差分プライバシを実
現する：
𝑃𝑃(𝒜𝒜(𝐷𝐷) ∈ 𝑌𝑌) ≤ 𝑒𝑒 𝜖𝜖 𝑃𝑃(𝒜𝒜(𝐷𝐷′ ) ∈ 𝑌𝑌) for all 𝐷𝐷, 𝐷𝐷′(7)

Dwork ら[16]は， Laplace mechanism と呼ばれる， Laplace distribution に基づくノイズを与えること
で𝜖𝜖-差分プライバシを実現する手法を提案している． Laplace mechanism を説明するために，まず global
sensitivity という概念を説明する．

Definition 2. Global sensitivity DとD′ を，1レコードだけ異なるデータベースであると考える．𝒟𝒟を，入力のデータベースとして理論上可能性のある全てのデータベースの集合であるとする．fを，f: 𝒟𝒟 → ℝである関数とする．全てのD及びD′ に対して以下が成立するとき，
Δ𝑓𝑓 = max′ | |𝑓𝑓(𝐷𝐷) − 𝑓𝑓(𝐷𝐷 ′ )||1 ,
(8)
𝐷𝐷,𝐷𝐷

Δfをfの global sensitivity であると定義する．
ここで，ラプラスメカニズムと呼ばれる，𝜖𝜖-差分プライバシを満たすメカニズムを紹介する．

Theorem 1. Laplace Mechanism Lap(v)を，平均0，スケールがvであるラプラス分布に基づいてランダ

ムな誤差を出力する関数であるとする．ある関数fに対して，ランダムメカニズム𝒜𝒜が，f(D) + Lap(Δf/ϵ)を出力するとき，𝒜𝒜はϵ-差分プライバシを満たす．
𝜖𝜖-差分プライバシは様々な領域において適用されている [7,8,17].

3 関連研究3-1 プライバシ保護 DNN
分散したデータベース内の情報を保護しつつ，中央サーバで DNN を生成する手法が提案されている．
[18,19,20] ．生成した DNN を第三者と共有する場合には，1 章で述べたような問題が生じる恐れがある．
Abadi ら[21]は本研究と類似の目標を持っている．しかし，𝜖𝜖-差分プライバシを対象とはしておらず，これを緩和した (𝜖𝜖, 𝛿𝛿)-差分プライバシ [22]を対象としている．
3-2 差分プライバシを満たすデータベース公開
差分プライバシを満たすようにデータベースを匿名化し，匿名化した結果を公開する手法が数多く提案さ3（公財）電気通信普及財団 研究調査助成報告書 No.32 2017

れている[23,8,25,26,27,7,28]．これらの研究成果は，後述する AnonymizingFirst の第一ステップで活用することが可能である．

4 提案手法4-1 パラメータベース差分プライバシ
深層学習の重みパラメータやバイアスパラメータは複数存在する．これらパラメータの集合に対して𝜖𝜖-差分プライバシを満たすこともできるが，個々のパラメータに対して𝜖𝜖-差分プライバシを満たすようにすることもできる．本論文では後者をパラメータベースϵ-差分プライバシと呼び，パラメータベースϵ-差分プライ
バシを対象とする．
Theorem 2. パラメータベースϵ-差分プライバシ DとD′ は最大1レコードだけ異なるデータベースであるとする．ランダム機構𝒜𝒜は，各パラメータにおける出力の全ての集合Yについて以下が成り立つとき，またそのときのみ，パラメータベースϵ-差分プライバシを実現する：
𝑃𝑃(𝒜𝒜(𝐷𝐷) ∈ 𝑌𝑌) ≤ 𝑒𝑒 𝜖𝜖 𝑃𝑃(𝒜𝒜(𝐷𝐷 ′ ) ∈ 𝑌𝑌) for all 𝐷𝐷, 𝐷𝐷′ .
(9)
4-2 3 つのアプローチ
図 3 に示すように 3 つのアプローチを提案する．

Differential private
anonymization
Original
database

Learning by DNN
Anonymized
database

Differential private
anonymization

Learning by DNN
Original
database

DNN

Anonymized
DNN

Anonymized
DNN

Differential private learning by DNN
Anonymized
DNN

Original
database

図 3 3 つのアプローチi) AnonymizingFirst: まず生データを差分プライバシに基づいて匿名化する．匿名化した結果のデータ（匿名データ）に対して通常の機械学習を行う．
ii) LearningFirst: まず生データに対して通常の機械学習を行い，生モデルを生成する．生モデルを差分
プライバシに基づいて匿名化する．
iii) AnonymizedLearning: 生データに対して，差分プライバシに基づく匿名化を行いながら機械学習を行う．
(1) AnonymizingFirst4（公財）電気通信普及財団 研究調査助成報告書 No.32 2017

ヒストグラム匿名化手法[7,28]を応用して匿名化を行い，その結果に対してニューラルネットワークによる学習を行うアルゴリズムを開発する．本アプローチのアルゴリズムは，どのような機械学習に対しても共通に利用できる．
(2) LearningFirst
(𝑙𝑙)

(𝑙𝑙)

まず，重みパラメータ𝑤𝑤𝑖𝑖𝑖𝑖 とバイアスパラメータ𝑏𝑏𝑗𝑗 に対して値の閾値を設定する．これは，global

sensitivity（1 レコードだけ異なるときに変わりうる値の，理論上の最大値）を減少させることで，パラメータに与える誤差を減少させ，これにより，深層学習モデルの精度低下を軽減するためである．𝑤𝑤𝑚𝑚𝑚𝑚𝑚𝑚 と𝑤𝑤𝑚𝑚𝑚𝑚𝑚𝑚
(𝑙𝑙)

(𝑙𝑙)

は，𝑤𝑤𝑖𝑖𝑖𝑖 の最大値，及び，最小値を表すものとする．また，𝑏𝑏𝑚𝑚𝑚𝑚𝑚𝑚 と𝑏𝑏𝑚𝑚𝑚𝑚𝑚𝑚 は，𝑏𝑏𝑗𝑗 の最大値と最小値を表すものとする．
また，同様に，DNN への入力値（学習データ）にも閾値を設定する．本論文では[0,1]とする．

(𝑙𝑙)

深層学習後，学習済重みパラメータに対して誤差を与える．つまり，全ての𝑖𝑖, 𝑗𝑗, and 𝑙𝑙に対して，𝑤𝑤𝑖𝑖𝑖𝑖 +(𝑙𝑙)

𝐿𝐿𝐿𝐿𝐿𝐿((𝑤𝑤𝑚𝑚𝑚𝑚𝑚𝑚 − 𝑤𝑤𝑚𝑚𝑚𝑚𝑚𝑚 )/𝜖𝜖)を計算する．この計算結果を𝑟𝑟𝑖𝑖𝑖𝑖
(𝑙𝑙)

(𝑙𝑙)

(𝑙𝑙)

とおく．もし𝑟𝑟𝑖𝑖𝑖𝑖 の値が𝑤𝑤𝑚𝑚𝑚𝑚𝑚𝑚 を超えた場合，𝑤𝑤𝑖𝑖𝑖𝑖 の値(𝑙𝑙)を𝑤𝑤𝑚𝑚𝑚𝑚𝑚𝑚 に設定する．同様にもし𝑟𝑟𝑖𝑖𝑖𝑖 の値が𝑤𝑤𝑚𝑚𝑚𝑚𝑚𝑚 を下回った場合，𝑤𝑤𝑖𝑖𝑖𝑖 の値を𝑤𝑤𝑚𝑚𝑚𝑚𝑚𝑚 に修正する．いずれにも当
(𝑙𝑙)

(𝑙𝑙)

てはまらない場合，𝑤𝑤𝑖𝑖𝑖𝑖 の値を𝑟𝑟𝑖𝑖𝑖𝑖 に設定する．同様のことをバイアスパラメータに対しても行う．つまり，
(𝑙𝑙)

(𝑙𝑙)

𝑏𝑏𝑗𝑗 の値をmin ( 𝑏𝑏𝑚𝑚𝑚𝑚𝑚𝑚 , max ( 𝑏𝑏𝑚𝑚𝑚𝑚𝑚𝑚 , 𝑏𝑏𝑗𝑗 + 𝐿𝐿𝐿𝐿𝐿𝐿((𝑏𝑏𝑚𝑚𝑚𝑚𝑥𝑥 − 𝑏𝑏𝑚𝑚𝑚𝑚𝑚𝑚 )/𝜖𝜖))に設定する．

以下の定理が成り立つ：
Theorem 3. LearningFirstで得られたパラメータは，パラメータベース𝜖𝜖-差分プライバシを満たす．
(𝑙𝑙)

Proof. 全ての𝑖𝑖, 𝑗𝑗, 𝑙𝑙について，𝑤𝑤𝑖𝑖𝑖𝑖 の global sensitivity は(𝑤𝑤𝑚𝑚𝑚𝑚𝑚𝑚 − 𝑤𝑤𝑚𝑚𝑚𝑚𝑚𝑚 )であり，また，全ての𝑖𝑖, 𝑗𝑗に(𝑙𝑙)

ついて，𝑏𝑏𝑗𝑗 の global sensitivity は(𝑏𝑏𝑚𝑚𝑚𝑚𝑚𝑚 − 𝑏𝑏𝑚𝑚𝑚𝑚𝑚𝑚 )である．従って，Lemma 1 より，深層学習で得られた学
(𝑙𝑙)

(𝑙𝑙)

習済みの重みパラメータ𝑤𝑤𝑖𝑖𝑖𝑖 の値をmin ( 𝑤𝑤𝑚𝑚𝑚𝑚𝑚𝑚 , max ( 𝑤𝑤𝑚𝑚𝑚𝑚𝑚𝑚 , 𝑤𝑤𝑖𝑖𝑖𝑖 + 𝐿𝐿𝐿𝐿𝐿𝐿((𝑤𝑤𝑚𝑚𝑚𝑚𝑚𝑚 − 𝑤𝑤𝑚𝑚𝑚𝑚𝑚𝑚 )/𝜖𝜖))に設定し，また，学
(𝑙𝑙)

(𝑙𝑙)

習済みのバイアスパラメータ𝑏𝑏𝑗𝑗 の値をmin ( 𝑏𝑏𝑚𝑚𝑚𝑚𝑚𝑚 , max ( 𝑏𝑏𝑚𝑚𝑚𝑚𝑚𝑚 , 𝑏𝑏𝑗𝑗 + 𝐿𝐿𝐿𝐿𝐿𝐿((𝑏𝑏𝑚𝑚𝑚𝑚𝑚𝑚 − 𝑏𝑏𝑚𝑚𝑚𝑚𝑚𝑚 )/𝜖𝜖))に設定することで，パラメータベース𝜖𝜖-差分プライバシが満たされる． �

Lemma 1. ランダムメカニズム𝒜𝒜がmin ( 𝑓𝑓𝑚𝑚𝑚𝑚𝑚𝑚 , (max ( 𝑓𝑓𝑚𝑚𝑚𝑚𝑚𝑚 , 𝑓𝑓(𝐷𝐷) + 𝐿𝐿𝐿𝐿𝐿𝐿(Δ𝑓𝑓/𝜖𝜖)))を出力するとき，𝒜𝒜は𝜖𝜖-差分プ
ライバシを実現する．ここで，𝑓𝑓𝑚𝑚𝑚𝑚𝑚𝑚 及び𝑓𝑓𝑚𝑚𝑚𝑚𝑚𝑚 は𝑓𝑓(𝐷𝐷)が取り得る理論上の最大値と最小値である．
Proof. 1 レコードだけ異なるデータベースを𝐷𝐷と𝐷𝐷′ とおく．
また，𝐹𝐹(𝐷𝐷) = 𝑓𝑓(𝐷𝐷) + 𝐿𝐿𝐿𝐿𝐿𝐿(Δ𝑓𝑓/𝜖𝜖)とおく．𝐹𝐹(𝐷𝐷)の値が[𝑓𝑓𝑚𝑚𝑚𝑚𝑚𝑚 , 𝑓𝑓𝑚𝑚𝑚𝑚𝑚𝑚 ]の範囲に入るとき，定理 1 より，式 7 が成立する．
次に，𝐹𝐹(𝐷𝐷)の値が𝑓𝑓𝑚𝑚𝑚𝑚𝑚𝑚 を下回る場合を考える．このとき，𝒜𝒜(𝐷𝐷)の出力値は𝑓𝑓𝑚𝑚𝑚𝑚𝑚𝑚 となる．𝒜𝒜(𝐷𝐷)の出力が𝑓𝑓𝑚𝑚𝑚𝑚𝑚𝑚となる確率は以下の式で表される：
𝑓𝑓𝑚𝑚𝑚𝑚𝑚𝑚 −𝑓𝑓(𝐷𝐷)
1
𝜖𝜖
(10)
�
𝔏𝔏 𝔞𝔞𝔞𝔞(Δ𝑓𝑓/𝜖𝜖, 𝑡𝑡) = exp(𝑓𝑓 − 𝑓𝑓(𝐷𝐷)),
2
𝛥𝛥𝛥𝛥 𝑚𝑚𝑚𝑚𝑚𝑚
𝑡𝑡=−∞
ここで，𝔏𝔏𝔏𝔏𝔏𝔏(𝑣𝑣, 𝑢𝑢)は，スケールパラメータが𝑣𝑣であり，平均との差が𝑢𝑢である，ラプラス分布の確率密度関数の値を表す．
同様に，𝒜𝒜(𝐷𝐷′ )の出力値が𝑓𝑓𝑚𝑚𝑚𝑚𝑚𝑚 となる確率は以下の式で表される：
𝑓𝑓𝑚𝑚𝑚𝑚𝑚𝑚 −𝑓𝑓(𝐷𝐷′ )
1
𝜖𝜖
(11)
�
𝔏𝔏 𝔞𝔞𝔞𝔞(Δ𝑓𝑓/𝜖𝜖, 𝑡𝑡) = exp(𝑓𝑓𝑚𝑚𝑚𝑚𝑚𝑚 − 𝑓𝑓(𝐷𝐷′ )).
2
𝛥𝛥𝛥𝛥
𝑡𝑡=−∞
5
（公財）電気通信普及財団 研究調査助成報告書 No.32 2017

式 10 と式 11 の比は最大で，exp

𝜖𝜖|𝑓𝑓(𝐷𝐷) − 𝑓𝑓(𝐷𝐷′ )|
.
𝛥𝛥𝛥𝛥

(12)

となる．
|𝑓𝑓(𝐷𝐷) − 𝑓𝑓(𝐷𝐷 ′ )| ≤ Δ𝑓𝑓であるから，式 12 の値はexp 𝜖𝜖以下である．
次に，𝐹𝐹(𝐷𝐷)の値が𝑡𝑡𝑚𝑚𝑚𝑚𝑚𝑚 以上となる場合を考える．このとき，𝒜𝒜(𝐷𝐷)の出力値は𝑓𝑓𝑚𝑚𝑚𝑚𝑚𝑚 となる．𝒜𝒜(𝐷𝐷)の出力が𝑓𝑓𝑚𝑚𝑚𝑚𝑚𝑚 となる確率は以下の式で表される：∞
1𝜖𝜖�
𝔏𝔏 𝔞𝔞𝔞𝔞(Δ𝑓𝑓/𝜖𝜖, 𝑡𝑡) = exp ( −(𝑓𝑓(𝐷𝐷) − 𝑡𝑡𝑚𝑚𝑚𝑚𝑚𝑚 )).
(13)
2
𝛥𝛥𝛥𝛥
𝑡𝑡=𝑓𝑓(𝐷𝐷)−𝑓𝑓𝑚𝑚𝑚𝑚𝑚𝑚
同様に，𝒜𝒜(𝐷𝐷′ )の出力値が𝑓𝑓𝑚𝑚𝑚𝑚𝑚𝑚 となる確率は以下の式で表される：∞
1𝜖𝜖�
𝔏𝔏 𝔞𝔞𝔞𝔞(Δ𝑓𝑓/𝜖𝜖, 𝑡𝑡) = exp ( −(𝑓𝑓(𝐷𝐷′ ) − 𝑡𝑡𝑚𝑚𝑚𝑚𝑚𝑚 ))
(14)
2
𝛥𝛥𝛥𝛥
′
𝑡𝑡=𝑓𝑓(𝐷𝐷 )−𝑓𝑓𝑚𝑚𝑚𝑚𝑚𝑚
式 13 と式 14 の比は最大で，𝜖𝜖|𝑓𝑓(𝐷𝐷) − 𝑓𝑓(𝐷𝐷′ )|
exp
.
(15)
𝛥𝛥𝛥𝛥
となる．
|𝑓𝑓(𝐷𝐷) − 𝑓𝑓(𝐷𝐷 ′ )| ≤ Δ𝑓𝑓であるから，式 15 の値はexp 𝜖𝜖以下である．
この議論は全てのパラメータに対して成立する．したがって，パラメータベース𝜖𝜖-差分プライバシが成り立つ． �(3) AnonymizedLearning
本論文では，活性化関数と誤差関数を事前に決めて，AnonymizedLearning を行う．
𝑓𝑓(𝑥𝑥) = max ( 0, 𝑥𝑥)で定義される ReLU が，深層学習の，最終層を除く活性化関数として広く利用されている[29]．
深層学習の利用目的として，カテゴリ分類（例：将来破産しそうか否か，将来の借金額が 100 万円以下・
100－200 万・200-300 万・それ以上）の場合，最終層の活性化関数（𝐹𝐹 (ℒ) ）としてソフトマックス関数が，また，誤差関数としてクロスエントロピー誤差関数が広く利用されている（[30,31]）．
ソフトマックス関数は以下のように定義される：(ℒ)(ℒ)
𝐹𝐹 (ℒ) ((𝑥𝑥1 , … , 𝑥𝑥𝑛𝑛(ℒ) ), 𝑗𝑗) =

𝑥𝑥

(ℒ)

𝑒𝑒 𝑗𝑗
(ℒ)

(ℒ)

𝑛𝑛
∑𝑘𝑘=1
𝑒𝑒 𝑥𝑥𝑘𝑘
また，クロスエントロピー誤差関数は以下のように定義される：
𝑛𝑛(ℒ)

,

(16)

(ℒ)

𝑀𝑀(𝑡𝑡1 , … , 𝑡𝑡𝑛𝑛(ℒ) , 𝑦𝑦1 , … , 𝑦𝑦𝑛𝑛(ℒ) ) = − � 𝑡𝑡𝑖𝑖 ln 𝑦𝑦𝑖𝑖 .
𝑖𝑖=1

(17)

本論文では，AnonyizedLearning を行う場合，最終層を除く層は活性化関数として ReLU を，最終層の活性化関数としてソフトマックス関数を，誤差関数としてクロスエントロピー誤差関数を利用することを想定す
る．
最終層の活性化関数がソフトマックス関数であり，誤差関数がクロスエントロピー誤差関数の場合，誤差(ℒ)

信号𝛿𝛿𝑗𝑗for 𝑗𝑗 = 1, … , 𝑛𝑛(ℒ) の値は次のように計算される：
(ℒ)

(ℒ)

(ℒ)

𝛿𝛿𝑗𝑗

(ℒ)

(ℒ)

= 𝑦𝑦𝑗𝑗(ℒ)− 𝑡𝑡𝑗𝑗 ,

(18)

(ℒ)

ここで𝑦𝑦𝑗𝑗 はノード𝑁𝑁𝑗𝑗 の出力値を表し，𝑡𝑡𝑗𝑗 はノード𝑁𝑁𝑗𝑗 の目標出力値を表す．

(𝑙𝑙)

最終層以外の層において活性化関数として ReLU を使っている場合，最終層以外の各ノードの誤差信号𝛿𝛿𝑗𝑗

6（公財）電気通信普及財団 研究調査助成報告書 No.32 2017for 𝑙𝑙 = 1, … , 𝔏𝔏 − 1は次のように計算される：

(2)

(1)

+ ∑𝑖𝑖( 𝑏𝑏𝑖𝑖

(1)
(2)
∑𝑘𝑘 max ( 𝑤𝑤𝑘𝑘,𝑖𝑖, 0)) max ( 𝑤𝑤𝑖𝑖,𝑗𝑗 , 0)]．
(𝑙𝑙)

深層学習では，𝑥𝑥𝑗𝑗(𝑙𝑙)= � � 𝑤𝑤𝑗𝑗𝑗𝑗 𝛿𝛿𝑘𝑘

(1)

+ ∑𝑖𝑖 min ( 𝑤𝑤𝑖𝑖,𝑗𝑗 , 0), 𝑏𝑏𝑗𝑗

𝑥𝑥𝑗𝑗 の値として取り得る範囲は，[𝑏𝑏𝑗𝑗

して取り得る範囲は，[𝑏𝑏𝑗𝑗(𝑙𝑙+1)

(𝑙𝑙)

𝛿𝛿𝑗𝑗

(1)

𝑛𝑛(𝑙𝑙+1)
𝑘𝑘=1

0(𝑥𝑥𝑗𝑗 > 0)(19)(𝑜𝑜𝑜𝑜ℎ𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒. )

(1)

(1)

(1)

(1)

(2)

+ ∑𝑖𝑖 max ( 𝑤𝑤𝑖𝑖,𝑗𝑗 , 0)]である．また，𝑥𝑥𝑗𝑗 の値と
(2)

(2)

+ ∑𝑘𝑘 max ( 𝑤𝑤𝑘𝑘,𝑖𝑖 , 0)) min ( 𝑤𝑤𝑖𝑖,𝑗𝑗 , 0), 𝑏𝑏𝑗𝑗

(1)

+ ∑𝑖𝑖 ( 𝑏𝑏𝑖𝑖+

for 𝑙𝑙 = 1, … , ℒは次のように計算される：
𝑛𝑛(𝑙𝑙−1)

⎧
(𝑙𝑙)
(𝑙𝑙)
(𝑙𝑙−1)(𝑙𝑙)) min ( 𝑤𝑤𝑖𝑖,𝑗𝑗 , 0)⎪min ( 𝑥𝑥𝑗𝑗 ) = 𝑏𝑏𝑗𝑗 + � max ( 𝑦𝑦𝑖𝑖
𝑖𝑖=1𝑛𝑛(𝑙𝑙−1)

(0)

(20)

⎨
(𝑙𝑙)
⎪max ( 𝑥𝑥𝑗𝑗(𝑙𝑙) ) = 𝑏𝑏𝑗𝑗(𝑙𝑙) + � max ( 𝑦𝑦𝑖𝑖(𝑙𝑙−1) ) max ( 𝑤𝑤𝑖𝑖,𝑗𝑗
, 0).
⎩
𝑖𝑖=1
(0)

ここで，min ( 𝑦𝑦𝑖𝑖 ) = 0であり，また，max ( 𝑦𝑦𝑖𝑖 ) = 1である．何故なら，深層学習の第 1 層目への入力値

を 0 以上 1 以下の範囲に正規化しているためである．また，最終層以外の層の活性化関数として ReLU を使っ(𝑙𝑙)ているので，𝑙𝑙 = 1, … , ℒ − 1において，𝑦𝑦𝑗𝑗 は次のように計算される：
�

(𝑙𝑙)

(𝑙𝑙)

(𝑙𝑙)

min ( 𝑦𝑦𝑗𝑗 ) = max ( min ( 𝑥𝑥𝑗𝑗 ),0)
(𝑙𝑙)

(𝑙𝑙)

max ( 𝑦𝑦𝑗𝑗 ) = max ( 𝑥𝑥𝑗𝑗 ).

(21)

max ( 𝑦𝑦𝑗𝑗 )の値は常に 0 以上であることがわかる．
(𝑙𝑙)

次に誤差信号𝛿𝛿𝑗𝑗 の取り得る値の範囲を計算する．DNN の出力値の範囲は-1 から 1 までであるから，である．
𝑙𝑙 = 1, … , ℒ − 1について，

�(ℒ)

min ( 𝛿𝛿𝑗𝑗 ) = −1

(22)

(ℒ)

max ( 𝛿𝛿𝑗𝑗 ) = 1.

𝑛𝑛(𝑙𝑙+1)(𝑙𝑙+1)(𝑙𝑙+1)𝑖𝑖=1
𝑛𝑛(𝑙𝑙+1)

𝑗𝑗𝑗𝑗

𝑖𝑖

𝑤𝑤𝑗𝑗𝑗𝑗max ( 𝛿𝛿𝑖𝑖)⎧(𝑙𝑙)min ( 𝛿𝛿𝑗𝑗 ) = � � (𝑙𝑙+1)⎪(𝑙𝑙+1)⎪𝑤𝑤
min ( 𝛿𝛿)(𝑙𝑙+1)(𝑙𝑙+1)⎨
𝑤𝑤𝑗𝑗𝑗𝑗max ( 𝛿𝛿𝑖𝑖)
(𝑙𝑙)⎪⎪max ( 𝛿𝛿𝑗𝑗 ) = � � (𝑙𝑙+1)(𝑙𝑙+1)
𝑤𝑤𝑗𝑗𝑗𝑗min ( 𝛿𝛿𝑖𝑖
)
⎩
𝑖𝑖=1
(𝑙𝑙)

𝑤𝑤𝑗𝑗𝑗𝑗 < 0𝑜𝑜𝑜𝑜ℎ𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒(23)

𝑤𝑤𝑗𝑗𝑗𝑗 > 0

𝑜𝑜𝑜𝑜ℎ𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒.

(𝑙𝑙)である．ここで，for all 𝑗𝑗 and 𝑙𝑙について，min ( 𝛿𝛿𝑗𝑗 ) ≤ 0であり，また，max ( 𝛿𝛿𝑗𝑗 ) ≥ 0である．
最終的に以下が得られる：

�
(𝑙𝑙)

(𝑙𝑙)

(𝑙𝑙−1)min ( Δ𝑤𝑤𝑖𝑖𝑖𝑖 ) = max ( 𝑦𝑦𝑖𝑖(𝑙𝑙)(𝑙𝑙−1)max ( Δ𝑤𝑤𝑖𝑖𝑖𝑖 ) = max ( 𝑦𝑦𝑖𝑖(𝑙𝑙)) min ( 𝛿𝛿𝑗𝑗 )(𝑙𝑙)) max ( 𝛿𝛿𝑗𝑗 ).

(24)𝑏𝑏𝑗𝑗 については，

7（公財）電気通信普及財団 研究調査助成報告書 No.32 2017

であり，また，𝑙𝑙 = 1, … , ℒ − 1について
である．

�
�

(ℒ)

min ( Δ𝑏𝑏𝑗𝑗 ) = −1

(25)

(ℒ)

max ( Δ𝑏𝑏𝑗𝑗 ) = 1,
(𝑙𝑙)

(𝑙𝑙)

min ( Δ𝑏𝑏𝑗𝑗 ) = min ( 𝛿𝛿𝑗𝑗 )
(𝑙𝑙)

(26)

(𝑙𝑙)

max ( Δ𝑏𝑏𝑗𝑗 ) = max ( 𝛿𝛿𝑗𝑗 ).
(𝑙𝑙)

(𝑙𝑙)

前述のように，重みパラメータの変動量Δ𝑤𝑤𝑖𝑖𝑖𝑖 と，バイアスパラメータの変動量Δ𝑏𝑏𝑗𝑗 に基づいて，重みパラメータとバイアスパラメータを式 5 と式 6 に基づいて更新する．AnonymizedLearning では，この変動量にラプラス分布に基づく誤差を与える．
(𝑙𝑙)

(𝑙𝑙)

重みパラメータの変動量Δ𝑤𝑤𝑖𝑖𝑖𝑖 と，バイアスパラメータの変動量Δ𝑏𝑏𝑗𝑗 についても，global sensitivity を(𝑙𝑙)減少させるために値の閾値を設定する．Δ𝑤𝑤𝑚𝑚𝑚𝑚𝑚𝑚 とΔ𝑤𝑤𝑚𝑚𝑚𝑚𝑚𝑚 を，重みパラメータの変動量Δ𝑤𝑤𝑖𝑖𝑖𝑖 の最大値と最小値(𝑙𝑙)とする．また，Δ𝑏𝑏𝑚𝑚𝑚𝑚𝑚𝑚 とΔ𝑏𝑏𝑚𝑚𝑚𝑚𝑚𝑚 をバイアスパラメータΔ𝑏𝑏𝑗𝑗 の最大値と最小値とする．
(𝑙𝑙)

(𝑙𝑙)

DNN のエポック数を𝐸𝐸とおく．各バッチに対して学習を行う際に，for each 𝑤𝑤𝑖𝑖𝑖𝑖 and 𝑏𝑏𝑗𝑗 に対して，重み
(𝑙𝑙)

(𝑙𝑙)

パラメータの変動量Δ𝑤𝑤𝑖𝑖𝑖𝑖 をmin ( Δ𝑤𝑤𝑚𝑚𝑚𝑚𝑚𝑚 , (min ( Δ𝑤𝑤𝑚𝑚𝑚𝑚𝑚𝑚 , 𝑤𝑤𝑖𝑖𝑖𝑖 + 𝐿𝐿𝐿𝐿𝐿𝐿((Δ𝑤𝑤𝑚𝑚𝑚𝑚𝑚𝑚 − Δ𝑤𝑤𝑚𝑚𝑚𝑚𝑚𝑚 ) ⋅ 𝐸𝐸/𝜖𝜖)))に設定し，バイア
(𝑙𝑙)

(𝑙𝑙)

スパラメータの変動量Δ𝑏𝑏𝑗𝑗 をmin ( Δ𝑏𝑏𝑚𝑚𝑚𝑚𝑚𝑚 , (max ( Δ𝑏𝑏𝑚𝑚𝑚𝑚𝑚𝑚 , 𝑏𝑏𝑗𝑗 + 𝐿𝐿𝐿𝐿𝐿𝐿((Δ𝑏𝑏𝑚𝑚𝑚𝑚𝑚𝑚 − Δ𝑏𝑏𝑚𝑚𝑚𝑚𝑚𝑚 ) ⋅ 𝐸𝐸/𝜖𝜖)))に設定する．

Theorem 4. AnonymizedLearningにより生成されたモデルはパラメータベース𝜖𝜖-差分プライバシを満たす．
Proof. 各重みパラメータとバイアスパラメータは，式 5 と式 6 に基づいて更新される．式 5 および式 6
(𝑙𝑙)

(𝑙𝑙)

において，重みパラメータの変動量Δ𝑤𝑤𝑖𝑖𝑖𝑖 とバイアスパラメータの変動量Δ𝑏𝑏𝑗𝑗 は学習の入力値に依存して変わ(𝑙𝑙)

る が ， そ れ 以 外 の 値 は 入 力 値 に 依 存 し な い ． し た が っ て ， Lemma 1 よ り ， Δ𝑤𝑤𝑖𝑖𝑖𝑖 を
(𝑙𝑙)

(𝑙𝑙)

min ( Δ𝑤𝑤𝑚𝑚𝑚𝑚𝑚𝑚 , (max ( Δ𝑤𝑤𝑚𝑚𝑚𝑚𝑚𝑚 , 𝑤𝑤𝑖𝑖𝑖𝑖 + 𝐿𝐿𝐿𝐿𝐿𝐿((Δ𝑤𝑤𝑚𝑚𝑚𝑚𝑚𝑚 − Δ𝑤𝑤𝑚𝑚𝑚𝑚𝑚𝑚 ) ⋅ 𝐸𝐸/𝜖𝜖))) に 設 定 し ， ま た ， Δ𝑏𝑏𝑗𝑗

を

(𝑙𝑙)

𝑚𝑚𝑚𝑚𝑚𝑚(Δ𝑏𝑏𝑚𝑚𝑚𝑚𝑚𝑚 , (max ( Δ𝑏𝑏𝑚𝑚𝑚𝑚𝑚𝑚 , 𝑏𝑏𝑗𝑗 + 𝐿𝐿𝐿𝐿𝐿𝐿((Δ𝑏𝑏𝑚𝑚𝑚𝑚𝑚𝑚 − Δ𝑏𝑏𝑚𝑚𝑚𝑚𝑚𝑚 ) ⋅ 𝐸𝐸/𝜖𝜖)))に設定することで，各エポックのイテレーショ
ンは，パラメータベース(𝜖𝜖/𝐸𝐸)-差分プライバシを満たす．

全体で𝐸𝐸エポックあるので，Lemma 2 より，最終的に𝜖𝜖-差分プライバシを満たす． �
Lemma 2. ランダムメカニズム𝒜𝒜が，𝑑𝑑個のランダムメカニズム𝒜𝒜1 , … , 𝒜𝒜𝑑𝑑 から成り立っており，これを1回ず
つ続けて実施するものとする（𝑖𝑖 ≥ 2において𝒜𝒜𝑖𝑖 は入力として𝒜𝒜𝑖𝑖−1 の出力値を取る．𝒜𝒜𝑑𝑑 の出力値が，𝒜𝒜の出力値となる）．ここで，各𝒜𝒜𝑖𝑖 はパラメータベース𝜖𝜖𝑖𝑖 -差分プライバシを満たすものとする．このとき，𝒜𝒜はパラメータベース(∑𝑑𝑑𝑖𝑖=1 𝜖𝜖𝑖𝑖 )-差分プライバシを実現する．
Proof. [32]より，ランダムメカニズム𝒜𝒜が，𝑑𝑑個のランダムメカニズム𝒜𝒜1 , … , 𝒜𝒜𝑑𝑑 から成り立っておりこれを 1 回ずつ続けて実施するものとする（𝑖𝑖 ≥ 2において𝒜𝒜𝑖𝑖 は入力として𝒜𝒜𝑖𝑖−1 の出力値を取る．𝒜𝒜𝑑𝑑 の出力値が，𝒜𝒜の出力値となる）．ここで，各𝒜𝒜𝑖𝑖 は𝜖𝜖𝑖𝑖 -差分プライバシを満たすものとする．このとき，𝒜𝒜は(∑𝑑𝑑𝑖𝑖=1 𝜖𝜖𝑖𝑖 )-差分
プライバシを実現する．
𝒜𝒜 in Lemma 2 は各パラメータに対して実行されるので，Lemma 2 における𝒜𝒜はパラメータベース(∑𝑑𝑑𝑖𝑖=1 𝜖𝜖𝑖𝑖 )差分プライバシを実現する． �8（公財）電気通信普及財団 研究調査助成報告書 No.32 2017

5 評価
5-1 データセットとネットワーク構造
評価用のデータセットとして，プライバシ保護データマイニングの分野で広く利用されている Adult data
set [33]を利用する．Adult data set は 15 属性(e.g., Age, Sex, Race, Salary)から構成されており，欠損値を含むレコードを除外して，45,222 レコードから成る．属性 Salary は，各レコードの人物の年収が 50Kドルを超えているか（50K 以下 or 50K より多い）どうかの 2 値を取る．
評価として，Salary を除く 14 属性から，Salary が 50K ドルを超えるかどうかを予測する，DNN を構築す
る．
差分プライバシを満たすような匿名化を行わない，生データに対して事前実験を行い，DNN の精度が高くなるような DNN の構造を決定した．学習率は 0.01，バッチサイズは 50，エポック数は 500，正則項は 0.001，
中間層の数は 4（入力層，出力層を含めると，全部で 5 層）が良い結果を出した．
10 分割交差検定を行って精度を計測した．
精度を計測する指標として，accuracy と f-measure を用いた（どちらも 0 から 1 までの値を取り，1 に近いほど精度が高い）．この，生データに対して実施した結果では，accuracy は 0.85，f-measure は 0.79 となった．
5-2 結果3 アプローチの比較結果を図 5 に示す．

図 5 3 アプローチの比較
3 アプローチとも概ねベースラインを上回る結果となった．

6 おわりに近年，プライバシを保護したままデータベースを共有するための匿名化手法が盛んに研究されており，「差分プライバシ」と呼ばれるプライバシ保護指標が最も有望視されている．しかし，差分プライバシに限らず，
プライバシを保護したまま機械学習を適用するための手法はこれまでほとんど開発されていない．特に，深層学習は最も注目を浴びている機械学習手法の一つであり，これに対応することが望まれる．本研究では，差分プライバシを厳密に保証したまま深層学習モデルを構築する手法を提案した．これにより，深層学習モ
デルを第三者に提供するシナリオにおいて，モデル作成に用いられた情報のプライバシを保護できるようになるベースライン手法と比較して，同レベルのプライバシ保護レベルにおいて，精度を向上させることを，
実データを用いたシミュレーション評価において確認した．

【参考文献】[1] H.-I. Suk and D. Shen, “Deep Learning-Based Feature Representation for AD/MCI Classification,”

9（公財）電気通信普及財団 研究調査助成報告書 No.32 2017

in International Conference on Medical Image Computing and Computer-Assisted Intervention, 2013,
pp. 583–590.
[2] J. Fombellida, S. Torres-Alegre, J. Pinuela-Izquierdo, and D. Andina, “Artificial Metaplasticity for
Deep Learning: Application to WBCD Breast Cancer Database Classification,” in Bioinspired
Computation in Artificial Systems.Springer International Publishing, 2015, pp. 399–408.
[3] R. S. P. Huang, E. Nedelcu, Y. Bai, A. Wahed, K. Klein, H. Tint, I. Gregoric, M. Patel, B. Kar,
P. Loyalka, S. Nathan, R. Radovancevic, and A. N. Nguyen, “Post-Operative Bleeding Risk Stratificationin Cardiac Pulmonary Bypass Patients Using Artificial Neural Network,” Annals of Clinical &Laboratory Science, vol. 45, no. 2, pp. 181–186, 2015.
[4] D. D. Wu, D. L. Olson, and C. Cuicui Luo, “A Decision Support Approach for Accounts Receivable
Risk Management,” IEEE Transactions on Systems, Man, and Cybernetics: Systems, vol. 44, no. 12, pp.
1624–1632, 2014.
[5] I. S. Duma, B. Twala, and T. Marwala, “Predictive modeling for default risk using a multilayered
feedforward neural network with Bayesian regularization,” in Proc. International Joint Conference on
Neural Networks (IJCNN), 2013, pp. 1–10.
[6] J. Yi, J. Wang, and R. Jin, “Privacy and Regression Model Preserved Learning,” in Proc. AAAI,
2015, pp. 1341–1347.
[7] J. Soria-Comas, J. Domingo-Ferrer, D. Sánchez, and S. Martínez, “Enhancing data utility indifferential privacy via microaggregation-based k-anonymity,” The VLDB Journal, vol. 23, no. 5, pp.
771–794, 2014.
[8] J. Xu, Z. Zhang, X. Xiao, Y. Yang, G. Yu, and M. Winslett, “Differentially private histogram
publication,” VLDB Endowment, vol. 22, no. 6, pp. 797–822, 2013.
[9] M. Terrovitis, N. Mamoulis, and P. Kalnis, “Local and global recoding methods for anonymizing
set-valued data,” The VLDB Journal, vol. 20, no. 1, pp. 83–106, 2011.
[10] M. Xue, P. Karras, C. Raïssi, J. Vaidya, and K.-L. Tan, “Anonymizing set-valued data by
nonreciprocal recoding,” in Proc. ACM KDD, 2012, pp. 1050–1058.
[11] C. Dwork, “Differential Privacy,” in Automata, Languages and Programming, 2006, vol. 4052, pp.
1–12.
[12] P. Samarati, “Protecting respondents’ identities in microdata release,” IEEE Trans. Knowl. Data
Eng., vol. 13, no. 6, pp. 1010–1027, 2001.
[13] A. Machanavajjhala, J. Gehrke, D. Kifer, and M. Venkitasubramaniam, “l-diversity: Privacy
Beyond k-Anonymity,” in Proc. IEEE ICDE, 2006, pp. 24:1–24:12.
[14] F. Zhang, V. E. Lee, and R. Jin, “k-CoRating: filling up data to obtain privacy and utility,” in Proc.
AAAI, 2014, pp. 320–327.
[15] Y. Sei, T. Takenouchi, and A. Ohsuga, “(l1, ..., lq)-diversity for Anonymizing Sensitive
Quasi-Identifiers,” in Proc. IEEE TrustCom, 2015, pp. 596–603.
[16] C. Dwork, F. McSherry, K. Nissim, and A. Smith, “Calibrating Noise to Sensitivity in Private
Data Analysis,” in Proc. Theory of Cryptography (TCC), 2006, pp. 265–284.
[17] C. Task and C. Clifton, “A Guide to Differential Privacy Theory in Social Network Analysis,” inIEEE/ACM International Conference on Advances in Social Networks Analysis and Mining (ASONAM),
2012, pp. 411–417.
[18] J. Jiawei Yuan and S. Shucheng Yu, “Privacy Preserving Back-Propagation Neural Network
Learning Made Practical with Cloud Computing,” IEEE Transactions on Parallel and Distributed
Systems, vol. 25, no. 1, pp. 212–221, 2014.
[19] T. Tingting Chen and S. Sheng Zhong, “Privacy-Preserving Backpropagation Neural Network
Learning,” IEEE Transactions on Neural Networks, vol. 20, no. 10, pp. 1554–1564, 2009.
[20] Y. Kokkinos and K. G. Margaritis, “Confidence ratio affinity propagation in ensemble selection ofneural network classifiers for distributed privacy-preserving data mining,” Neurocomputing, vol. 150,
pp. 513–528, 2015.

10（公財）電気通信普及財団 研究調査助成報告書 No.32 2017[21] M. Abadi, A. Chu, I. Goodfellow, H. B. McMahan, I. Mironov, K. Talwar, and L. Zhang, “DeepLearning with Differential Privacy,” arXiv, vol. 1607.00133, no. 1, 2016.
[22] C. Dwork, K. Kenthapadi, F. McSherry, I. Mironov, and M. Naor, “Our data, ourselves: privacy via
distributed noise generation,” in Proc. Eurocrypt, vol. 4004, 2006, pp. 486–503.
[23] G. Acs, C. Castelluccia, and R. Chen, “Differentially Private Histogram Publishing through Lossy
Compression,” in Proc. IEEE ICDM, dec 2012, pp. 1–10.
[24] B. C. M. F. Rui Chen, Bipin C. Desai, Noman Mohammed, Li Xiong, “Publishing set-valued data
via differential privacy,” Proc. VLDB, vol. 4, no. 11, pp. 1087–1098, 2011.
[25] J. Zhang, G. Cormode, C. M. Procopiuc, D. Srivastava, and X. Xiao, “PrivBayes: private data
release via bayesian networks,” in Proc. ACM SIGMOD, 2014, pp. 1423–1434.
[26] W. Qardaji, W. Yang, and N. Li, “PriView: practical differentially private release of marginalcontingency tables,” in Proc. ACM SIGMOD, 2014, pp. 1435–1446.
[27] R. Chen, Q. Xiao, Y. Zhang, and J. Xu, “Differentially Private High-Dimensional Data Publication
via Sampling-Based Inference,” in Proc. ACM KDD, 2015, pp. 129–138.
[28] D. Sánchez, J. Domingo-Ferrer, S. Martínez, and J. Soria-Comas, “Utility-preserving
differentially private data releases via individual ranking microaggregation,” Information Fusion,
vol. 30, pp. 1–14, 2016.
[29] Y. LeCun, Y. Bengio, and G. Hinton, “Deep learning,” Nature, vol. 521, no. 7553, pp. 436–444,
2015.
[30] D. Yu, L. Deng, and F. Seide, “The Deep Tensor Neural Network With Applications to Large
Vocabulary Speech Recognition,” IEEE Transactions on Audio, Speech, and Language Processing, vol. 21,
no. 2, pp. 388–396, 2013.
[31] S. Shaofei Xue, O. Abdel-Hamid, H. Hui Jiang, L. Lirong Dai, and Q. Qingfeng Liu, “FastAdaptation of Deep Neural Network Based on Discriminant Codes for Speech Recognition,” IEEE/ACM
Transactions on Audio, Speech, and Language Processing, vol. 22, no. 12, 2014.
[32] S. P. Kasiviswanathan, H. K. Lee, K. Nissim, S. Raskhodnikova, and A. Smith, “What Can We
Learn Privately ?” SIAM Journal on Computing, vol. 40, no. 3, pp. 793–826, 2013.
[33] UCI Machine Learning Repository, “Adult Data Set, http://archive.ics.uci.edu/ml/datasets/Adult.”

〈発
題

名

Privacy-Preserving Publication of Deep
Neural Networks
Differential Private Data Collection andAnalysis Based on Randomized Multiple
Dummiesfor
Untrusted
MobileCrowdsensing

表

資

料〉

掲載誌・学会名等

発表年月

Proc.
IEEE
International
Conference on Data Scienceand Systems

2016 年 12 月

IEEE
Transactions
Information
Forensics
Security

2017 年 4 月

on
and

11
（公財）電気通信普及財団 研究調査助成報告書 No.32 2017