Sep.2023

AI時代のプライバシー保護
ー技術的解決策とはー
早稲田大学 情報理工学科教授
山名早人
yamana@waseda.jp
http://www.yama.info.waseda.ac.jp/
謝辞 本資料の中で紹介する内容の一部は、2015-2021年に実施したJST CREST「ビッグデータ統合利用のための.セキュアなコンテンツ共有・流通基盤の構築」の成果であり、研究室メンバーに感謝する。 http://www.yama.info.waseda.ac.jp/crest/目次

１．背景 - 不正アクセス他
２．大規模言語モデル（LLM）の基本的な仕組み
３．これからのデータ漏洩防止技術
４．完全準同型暗号（FHE）
５．FHE関連研究と今後
６．おわりに
2

１．背景

3

1．背景

米国におけるデータ漏洩（2005～2022）
ビッグデータ時代
データ漏洩対策が必須

件数

影響を受けた人数（百万人）

出典：https://www.statista.com/statistics/273550/data-breaches-recorded-in-theunited-states-by-number-of-breaches-and-records-exposed/

4

1．背景
不正アクセス

2020年 第一四半期
任天堂は、30万件のアカウント情報が漏洩したと報告（名前、電子メールアドレス、生年月日、国籍）
著作権保護のため、以下URLより参照ください。

データ漏洩の危険性
出典：https://techcrunch.com/2020/06/09/nintendo-accounts-affected-breach/

5

1．背景
不正アクセス
歴史上最も大規模なデータ漏洩
2013年 Yahoo! のアカウント30億件が影響
著作権保護のため、以下URLより参照ください。

データ漏洩の危険性
出典： https://www.nytimes.com/2017/10/03/technology/yahoo-hack-3-billion-users.html

6

1．背景 （ある翻訳サービスの事例）
AI学習用データから漏洩

AI翻訳結果に、原文（英語）に存在しない、個人名が表示された事例（学習データに含まれていたと思われる）

著作権保護のため、原文の英語を隠しています

データ漏洩の危険性
7

1．背景 （事例:ChatGPT） ※GPT: Generative Pre-trained Transformer
 ChatGPT (OpenAI)のプライバシーポリシー (2023.6.23版)

入力データ漏洩の危険性
出典：https://openai.com/ja/policies/privacy-policy

8

1．背景 （事例:ChatGPT）

出典：https://openai.com/ja/policies/privacy-policy

9

1．背景 （事例:ChatGPT）

出典：https://help.openai.com/en/articles/8055555-chatgptと当社の言語モデルはどのように開発されたか

10

２．大規模言語モデルの基本的な仕組み

11２．１ 大規模言語モデル(LLM)登場前 (DeepQA(Watson)) 2011年2月 IBM Watson (DeepQA)が米国で有名なクイズ番組「Jeopardy !」で歴代チャンピオンを破る。

出典: https://commons.wikimedia.org/wiki/File:IBM_Watson_w_Jeopardy.jpg12

２．１ 大規模言語モデル(LLM)登場前(DeepQA(Watson))
知識データベース

証拠（根拠）データベース

質問入力
検索候補抽出

確信度計算

ランキング

候補抽出

出典: Figure 6 of Ferrucci, D., Brown, E., Chu-Carroll, J., Fan, J., Gondek, D., Kalyanpur, A. A., Lally,A., Murdock, J. W., Nyberg, E., Prager, J., Schlaefer, N., & Welty, C. (2010). Building Watson: An
Overview of the DeepQA Project. AI Magazine, 31(3), 59-79. https://doi.org/10.1609/aimag.v31i3.2303

13

２．２ LLMの基本的な仕組み（概要）
基本的な仕組み※膨大な文章を学習（1,750GB/ChatGPT3.5≒新聞1万年分のテキスト)

雨 に も 負け ず 風 に も 負け ず
雨 に も 負け ず 風 に も 負け ず

←形態素（品詞）に分割 (mono-gram)

雨 に も 負け ず 風 に も 負け ず

←2品詞毎にスライド(bi-gram)
長いほど精度向上

例←ｎ品詞毎にスライド(n-gram)

雨 に も 負け ず が入力された時、次に出現する単語を予測

？ ？

？ ？

入力に沿った人間らしい出力が得られる
14

２．２ LLMの基本的な仕組み（概要）

雨 に も 負け ず

風(70%)
海(10%)
私(5%)
台風(4%)
ハリケーン(2%)
・・・に(60%)
が(20%)
を(10%)
は(4%)
・・・

懸念点
① 頻出するパターンにプライベートな情報が含まれていれば出力される可能性② 前提となる文が特殊な文であれば、頻出でなくても出力される可能性

15２．２ LLMの基本的な仕組み（学習）
学習の仕組み（基本）：
次の単語を予測（自己回帰）

雨 に も 負け ず

雪にも夏の暑さにも負けぬ

マスク部分を予測（穴埋め）

雨 に も 負け ず （？）
雪にもLLMでは、自己回帰、穴埋め等により事前学習を行っている。

夏の （？） にも負けぬ
暑さ

16

２．２ LLMの基本的な仕組み（翻訳の事例）
学習の仕組み（例：翻訳）シーケンスtoシーケンスの学習③学習した結果が出力される

despite the rain

入力と出力の関係を学習させる②入力の特徴量が渡される

入力用学習器（入力単語パターンを順列を考慮して学習）

出力用学習器（②と事前に和えられた対訳を順列を考慮して学習）

雨 に も 負け ず

despite the rain

①被翻訳文が順に入力される

学習時に入力17

２．２ LLMの基本的な仕組み（多様な質問への対応）
学習の仕組み（汎化）プロンプトを使った学習

日本語を英語に翻訳してください。
＋
雨にも負けず①プロンプト（指示文）と一緒に入力する②学習した結果を出力

despite the rain
LLM

プロンプトと一緒に学習することで、様々な質問への回答が可能に

18

２．３ LLMにおけるプライバシー注意点
プライバシーに関連した問題①超大規模な文章から、様々な単語をパターンとして学習学習に利用された単語の羅列は、LLM利用時、出力される可能性がある
プライバシーに関わる単語（単語のシーケンス）を学習させない（入力しない）！

②利用者が入力したクエリから解答を生成（サーチエンジン等も同様）
利用者が入力した文章はサービス事業者に漏洩している利用者が「何をしようとしているのか」がサービス事業者に筒抜け
19

３．これからのデータ漏洩防止技術
ーオンラインサービス事業者を例にとってー20３．１ どこで何が漏れるか？
多くのデータはクラウドに保存され、クラウドで処理(LLMを含む）される時代へ
データ

データ提供者

結果

サービス利用者
サービス提供社
データ漏洩の危険性
21

３．２ 現在のデータ保護対象（一般的な保護）
よくあるデータ漏洩対策－通信路の暗号化 (1)Encryption
暗号化通信incommunication（e.g. AES)

データ

データ提供者

結果

サービス利用者
サービス提供社
データ漏洩の危険性
22

３．２ 現在のデータ保護対象（高度な保護）
よくあるデータ漏洩対策－通信路の暗号化 (2)暗号化通信（e.g. AES)

データ

データ提供者

結果

サービス利用者
サービス提供社
保存データのEncryption in
暗号化
communication23

３．２ 現在のデータ保護対象（高度な保護）
よくあるデータ漏洩対策－通信路の暗号化 (2)

十分か？

データ提供者

暗号化通信（e.g. AES)

データ

結果

サービス利用者
サービス提供会社
保存データのEncryption in
暗号化
communication24

３．２ 現在のデータ保護対象（高度な保護）
よくあるデータ漏洩対策－通信路の暗号化 (2)

十分か？

データ提供者

暗号化通信（e.g. AES)

データ

結果

サービス利用者
サービス提供会社
保存データのEncryption in
暗号化
communication25

３．３ 現在のデータ保護対象（高度な保護）の弱点
クラウドでの処理中、暗号化されたデータは復号される。
↓攻撃を受ける危険性

データ

結果

データ提供者

サービス利用者
サービス提供社

サービス提供者は、入力や出力を把握できる

26

３．４ 対策
データ結果

データ提供者

Cloud

サービス利用者

全プロセスにおいてデータを暗号化（秘密計算）

27

４．完全準同型暗号

４．１ 完全準同型暗号（FHE：Fully Homomorphic Encryption）
 任意の「掛け算」「足し算」が暗号のままできる（耐量子暗号）

𝑥𝑥 + 𝑦𝑦 = 復号(暗号 𝑥𝑥 + 暗号 𝑦𝑦 )𝑥𝑥 × 𝑦𝑦 = 復号(暗号 𝑥𝑥 × 暗号 𝑦𝑦 )

 2009年 IBM Watson研究所 Craig Gentry氏により提案（Stanford大Ph.D論文）
 特徴



利点：暗号のまま加算、乗算可
利点：同一の値を暗号化しても同一の暗号とはならない（ノイズを含むため）
欠点：平文に比較して６桁～８桁実行速度が遅い（暗号文が大きい（数MB））
欠点：条件分岐が利用できない
欠点：計算中にノイズが大きくなるので計算中にノイズリセットが必要（数秒）

29

４．２ 主要なFHEライブラリ Helib 2.1（IBM Research) released in 2013
 BGV(RLWE version), CKKS Bootstrapping 対応

 SEAL 4.1.1（Microsoft） released in 2018
 BFV, CKKS Bootstrapping 未対応

 PALISADE 1.11 （NJIT） released in 2017
 BGV, BFV, CKKS, FHEW, TFHE Bootstrapping 対応

 OpenFHE 1.1.1 （OpenFHE community） released in 2022
 BGV, BFV, CKKS, TFHE Bootstrapping 対応
30

４．３ 既に実用化されているサービス
 Webブラウザでのパスワード漏洩チェックで実用化(Microsoft, Google)
ブラウザ保存パスワードを暗号化しサーバに送信、暗号のまま漏洩チェック31

５．FHE関連研究と今後

32

５．１ FHE関連研究
 FHE関連論文数の推移「Fully Homomorphic Encryption」で検索（Web of Scienceを利用）
120#papers

100
80
60
40
2002010 2011 2012 2013 2014 2015 2016 2017 2018 2019 202033

５．２ 研究分野

34５．３ 応用事例 （遺伝子をキーとした症例検索）
検索語（パターン）を暗号化して送信

QueryGTG
PK: Public Key

Disease-1 GT A …
Disease-2 GAG …
Disease-3 TTC …
Disease-4 GTG …

Possibility of Diseases
PK: Public Key
SK: Secret Key

暗号文上で検索遺伝子データベース（暗号化済）35

５．４ 研究事例（１） - 山名研究室(2023)
 暗号のままデータ統合し匿名化する技術[1]②暗号化データを復号せずに匿名化処理（差分プライバシーを適用）

例：病院群

データ提供者1③匿名化後にデータベース作成し復号

生データクエリ（レンジクエリ）①暗号化したままデータ収集生データ

データ提供者n

攻撃を防御（生データ無）匿名化後のデータベース
（平文）

結果

データ解析者
クラウドサーバ（事業者）[1] S.Ushiyama , T.Takahashi , M.Kudo , H.Yamana, “Accelerationof a Differentially Private Partitioning Algorithm over Homomorphic
Encryption,” IPSJ Transactions on Databases (TOD),16(3), pp.1-16(2023-07-21)

データベース内の生データ推定を困難化（匿名化のため）
36

５．４ 研究事例（２） - 山名研究室(2022)
電力会社

 電力使用量を暗号化して収集・改ざんを検知[2]電力使用量に対する攻撃を検知[2] R. Li, S. Bhattacharjee, S. K. Das, and H. Yamana, Look-Up
Table based FHE System for Privacy Preserving Anomaly Detection
in Smart Grids, Proc. of 8th International Conference on Smart
Computing (SMARTCOMP2022), pp.1-8 (June 2022)

電力計

電力計からの使用量を暗号化したまま攻撃検知

電力計37

６．おわりに38

６．おわりに 攻撃事例・ LLMを用いた生成系AI等でのプライバシー問題を概観
 対応策：完全準同型暗号による秘密計算を紹介
 研究動向を紹介

秘密計算の利用拡大は、今後５年で様々な分野に浸透か

自社・自国データをそのままでは公開したくないが、結果はほしい

マネーロンダリングの各国間での共有・解析・予測（金融庁ヒアリング）
素材メーカー（化学、樹脂、ゴム）間でのデータ統合・解析

オンラインサービスでの消費者保護


生成系AI、検索エンジンなど
39