暗号技術とAIの融合による秘密計算技術
国立研究開発法人情報通信研究機構
サイバーセキュリティ研究所
セキュリティ基盤研究室主任研究員
レ チュウ フォン2019年7月18日
1

データ統合利活用：
新たな成長戦略の鍵
産業システム
交通

脳

顧客
医療

農業
宇宙

金融・経済
環境

気象

2

データセキュリティの確保とプライバシー保護が課題
産業システム
データ漏洩対策は大丈夫？

交通

脳

私のプライバシーは守られている？

移動履歴
購買履歴

医療

興味・関心
検索キーワード

農業
宇宙

金融・経済
環境

気象

3

暗号技術＋人工知能技術
プライバシーを保護した状態でデータ分析

データ漏洩対策は大丈夫？

ビッグデータ
統合利活用
お客様のプライバシー確保

暗号によりデータの機密性を確保することで組織横断でのデータ利活用を促進

次世代AI 技術によるデータ解析

新たな知見・イノベーション
多様な経済分野でのビジネス創出4

現状 と めざす構想
現状（従来技術）とその問題点
データ１

組織A

データ

データ２

アナリスト

めざす構想
組織A

組織B

データ１

データ２

データ2

データ

データ

組織B組織C

個々の組織内で分析、組織横断でのデータ利活用ができていない

他組織
データ

etc...

プライバシー保護データマイニングエンジン

統合化
データ1

組織
C

自動化

分析結果
データを開示せずに、良い分析結果が得られる
応用：
銀行の顧客のデータ、病院の患者のデータなど

5プライバシー保護データ解析
利用シナリオ（二つ）
データ
提供者
データ
提供者
データ
提供者

暗号化して送信

解析結果
(暗号文)

解析結果
(平文)

組織内で解析
組織A

代理計算
サーバ
暗号化したまま
解析

分析者

解析結果を暗号化して送信

組織B

解析結果を復号
組織C暗号化したまま
統合解析

解析結果
(暗号文)

6

暗号化したままビッグデータ予測• ビッグデータ解析で多用されている線形回帰分析をデータを暗号化したまま計算可能に• 100万件のデータに対する線形回帰計算を暗号化したまま行い、30分程度で処理ができることをシミュレーションで確認• NICTプレスリリース(2015.1.19) ：「暗号化状態でセキュリティレベ
ルの更新と演算の両方ができる準同型暗号方式を開発」

7

暗号化したままビッグデータ分類• ビッグデータ解析で多用されているロジスティック回帰分析をデータを暗号化したまま計算可能に• 暗号化された1億件のデータを30分以内で複数グループに 分類できることをシミュレーションで確認– NICTプレスリリース「暗号化したままデータを分類できるビッグデータ向け解析技術を開発」(2016.1.14)

8

プライバシー保護
ディープラーニング (予測・分類)• 組織が持つデータを外部に開示することなく深層学習を行う
プライバシー保護深層学習システム①各組織から学習済モデルのパラメータを暗号化して中央サーバに送信②中央サーバでは暗号化したまま学習モデルを更新③各組織では更新された学習モデルをダウンロード、精度の高い分析が可能に

オープンデータセットを用いた実用性検証◆欧州のクレジットカード取引データ◆284,807件の取引レコード（内0.2%程度が不正利用）
取引レコードから1ms以下で不正利用を検出

〇〇
データ

A銀行

△△
データ

××
データ

ディープラーニング
による学習〇〇
データ

B銀行

△△
データ

××
データ

ディープラーニング
による学習〇〇
データ△△
データ

C銀行

複数組織で連携した分散協調型の深層学習

××
データ

ディープラーニングによる学習

9オープンデータを用いたプロトタイプの検証
オープンデータセットを用いた実用性検証◆欧州のクレジットカード取引データ◆284,807件の取引レコード（内0.2%程度が不正利用）
取引レコードから1ms以下で不正利用を検出

複数組織からのデータ提供をシミュレーションするため、公開データを計21個のグループに分割• 学習用20セット＋テスト用1セット

学習用データセット1,…,20
テストセット

不正利用

正当な利用

13 ∼ 27≈ 11379985686310プロトタイプ

ラウンド1

中央サーバ
データ
所有者

データ所有者（計20組織）（計20組織）学習ラウンド１終了時には、テストセット内の98件の不正利用が検出できていない11プロトタイプ

ラウンド3

中央サーバ
データ
所有者

データ所有者（計20組織）（計20組織）学習が進むにつれて、不正利用の検出率が上がっていく

12プロトタイプ

ラウンド6

中央サーバ
データ
所有者

データ
所有者

（計20組織）（計20組織）

学習アルゴリズムの 収 束 後 、 98 件
中 85 件 の 不 正 利
用が検出可能になっている

13

提案システムのため準備１/２：ニューラルネットワーク

人工知能（AI）のニューラルネットワーク

生物の神経細胞（ニューロン）

入力

重み重み

重み出力0
電気信号

数字の０の画像

ニューラルネットの学習： 大量のデータ（＝入出力のペア）に対して、できる限りそれを再現するように重みベクトル を調整1414関数 ( ,) : 現在の重み を用いたニューラルネットによるデータ再現性の指標

重みベクトル をランダムに初期する
REPEATFORIN Dataset:←,（勾配 を計算）再現性：高提案システムのため
準備２/２：確率的勾配降下法(SGD)
関数 ( ,)

関数の勾配 の方向に進む← − ⋅（重みベクトルの更新）
ENDFOR
UNTIL (good accuracy)

確率的勾配降下法(SGD)
15

NICT DeepProtect 1：加法型準同型暗号を用いたシステム• 勾配情報を暗号化すれば、データ漏洩は防げる• 中央サーバにおける計算は加算のみなので、暗号化したまま加算ができれば良い

中央サーバ
加法準同型暗号を用いた計算( )←勾配情報の暗号文,

重みの暗号文( )データセット

組織1( )−,⋅

勾配情報の暗号文,…

重みの暗号文( )データセット

組織16

NICT DeepProtect 2：共通鍵暗号をシステム

中央サーバ

共通鍵暗号を用いた計算(重みの暗号文

重みの暗号文( )データセット

組織1)を保存、共有
重みの暗号文…

各組織でローカルに重みベクトルを計算

重みの暗号文( )データセット

組織17

類似技術：Google’s Federated Learning（連合した学習）• https://www.tensorflow.org/federated• オープンソース: 2019年3月

18Google’s Federated Learningの製品化“We’re already using Federated Learning toimprove several Google products. The Pixel firstand second generation phones, for example, use
Federated Learning to surface more accurate,
useful settings search results so that people canfind what that they’re looking for faster. The Pixel
has thousands of settings to adjust, from font sizeand brightness to app preferences and battery
use. Different settings apply to different people
and use cases, so personalizing users’ experienceswith machine learning can help people moreeasily find the one that they care about.”
https://ai.google/stories/ai-in-hardware/

Google Pixel 32018/11から
日本で販売されている

19

通信の比較
GoogleのFederated Learning

応用

通信の仕方

Shokri & Smartikov ACM CCS 2015
NICT DeepProtect 1••••

Parameter server

P1

P2

NICT DeepProtect 2

Parameter server

…

P1

P2

Parameter server

…

P1

P2

…

非同期、或いは、同期↑: 勾配の和↓:ニューラルネットワークの重み

同期のみ↑:ニューラルネットワークの重み↓:ニューラルネットワークの重み

同期のみ↑:ニューラルネットワークの重み↓:ニューラルネットワークの重み

学習参加者Piは、（銀行や病院のような）組織

学習参加者Piは、スマートフォン

学習参加者Piは、（銀行や病院のような）組織

R. Shokri, V. Shmatikov: Privacy-Preserving Deep Learning.
ACM Conference on Computer and Communications Security 2015: 1310-1321
B. McMahan et al.: Communication-Efficient Learning of Deep Networks from Decentralized Data.
AISTATS 2017: 1273-1282(DeepProtect1) L. T. Phong et al. :Privacy-Preserving Deep Learning via Additively Homomorphic Encryption.
IEEE Trans. Information Forensics and Security 13(5): 1333-1345 (2018)(DeepProtect2) L.T. Phong, T.T. Phuong: Privacy-Preserving Deep Learning via Weight Transmission,
IEEE Trans. IFS, 2019, accepted20安全性と学習精度の比較
技術

中央サーバに対する安全性

中央サーバ＋不正の学習参加者に対する安全性

学習精度

暗号技術

Shokri andShmatikov(ACM CCS 2015)

Onewayness
under subsetsum*

Onewayness undersubset sum*

非同期SGDTLS/SSL

NICTのDeepProtect 1

Semantic security
under encryption

Onewayness undersubset sum*

非同期
SGD

TLS/SSL+
準同型暗号

Googleの連合学習

Onewayness
under subset sum

Onewayness undersubset sum*

同期
SGD

TLS/SSLNICTのDeepProtect 2

Semantic security
under encryption

Onewayness undersubset sum*

同期
SGD

TLS/SSL+
共通鍵暗号*More generally, solving a system of non-linear equations where #unknowns > #equations

21

他データセット（医療や個人データ）を用いた実験（1/2）

プライバシー保護ロジスティックス回帰(Aono et al., IEICE Trans. 2016)

UCIデータセット
https://archive.ics.uci.edu/ml/index.php

プライバシー保護ディープラーニング(DeepProtect 2)

22他データセット（医療や個人データ）を用いた実験(2/2)
プライバシー保護なしのアルゴリズム

プライバシー保護ロジスティックス回帰(Aono et al., IEICE Trans. 2016)

プライバシー保護
ディープラーニング(DeepProtect 2)

プライバシー保護しながらも、Adult Incomeデータセットにおいて、従UCIデータセット
来技術（プライバシー保護なし）の精度と比べても、ほぼ同等以上ある。
https://archive.ics.uci.edu/ml/index.php

23

画像を用いた実験:
ResNet + CIFAR (10/100)
DeepProtect2:
暗号なしの学習時間は、暗号ありの学習時間とほぼ変わらない

ResNetNetwork m odel, Dataset
CNN, CI FAR-10
ResNet-20v1, CI FAR-10
ResNet-32v1, CI FAR-10
ResNet-44v1, CI FAR-100
ResNet-110v2, CI FAR-100(i)

T origin al37 (sec.)
59 (sec.)
87 (sec.)122 (sec.)
322 (sec.)(i )T u ploadC txt
0.056 (sec.)
0.013 (sec.)
0.023 (sec.)
0.032 (sec.)
0.165 (sec.)(i)

T d ow n l oa d C tx t
0.056 (sec.)
0.013 (sec.)
0.023 (sec.)
0.032 (sec.)
0.165 (sec.)(i)

T en c0.130 (sec.)
0.064 (sec.)
0.066 (sec.)
0.091 (sec.)
0.179 (sec.)⇤In the table, the time for training over plain local data T ( i )the others.

origin al(i)T d ec0.06 (sec.)
0.06 (sec.)
0.06 (sec.)
0.085 (sec.)
0.138 (sec.)

dominates

CIFARデータセット(a) Experiments with CIFAR-10

https://arxiv.org/pdf/1512.03385.pdf
https://www.cs.toronto.edu/~kriz/cifar.html(b) Experiments with CIFAR-100

24

想定される用途• 金融分野において不正送金（振り込め詐欺等）の自動検知の精度向上に期待。
• 医療分野においても、プライバシーを保護したまま解析の精度を向上することが可能。
• プライバシー保護の目的外でも、データが分散するシナリオにおいて学習の通信量を削減する効果も可能。
25

実用化に向けた課題
現在、一つマシンでのシミュレーションやオープンデータの実験は開発済み。しかし、
a) 複数台のマシンの（効率かつ安定の）通信b) 複数組織のコラボレーション（契約）の２点は、未解決である。

26

企業への期待• 未解決のa)については、GPUを持つマシンとマシンの通信技術により、克服できると考えている。
• 未解決のb)については、データを持つ企業や組織の協力により、克服できると考えている。
• 上記に関して、企業との共同開発を希望。
• また、深層学習を開発中の企業、組織横断の学習への展開を考えている企業には、本技術の導入が有効と思われる。
27

本技術に関する知的財産権（１）• 発明の名称 ： サーバ、サービス方法• 特許番号 ： 6490429• 出願人： 国立研究開発法人

情報通信研究機構• 発明者： レ チュウ フォン、青野 良範、林 卓也、王 立華
28

本技術に関する知的財産権（２）• 発明の名称 ： 学習システム及び学習方法• 出願番号 ： 特願2018-001656• 出願人： 国立研究開発法人

情報通信研究機構• 発明者： レ チュウ フォン

29

お問い合わせ先
国立研究開発法人情報通信研究機構
イノベーション推進部門
技術移転コーディネータ 宇梶、橘田
ＴＥＬ ０４２－３２７ － ６９５０
ＦＡＸ ０４２－３２７ － ６６５９e-mail ippo＠ml.nict.go.jp

30