暗号化画像を用いたプライバシー保護を考慮した深層学習
Privacy-Preserving Deep Learning with Encrypted Images

２．研究の背景
急速な発展を続ける DNN は、様々な分野において有効性の確認や実用化が進んでいる。しかし、最先端のDNN モデルは多くのパラメータを有し、それらの決定には膨大な量の学習用データの確保が必須である。しかし、画像の多くは、個人、時間、撮影場所の特定な

貴家 仁志 ( Hitoshi Kiya, Ph. D.)

どに関係する個人情報を含んでいるため、プライバシ

東京都立大学 システムデザイン学部 特別先導教授

ーを保護し高性能な DNN に基づくシステムを実行する(Leading Professor, Tokyo Metropolitan University, Faculty ofSystem Design)

こととは容易ではない[1]。さらに、膨大なメモリコストと計算コストの理由から、クラウド環境においてシIEEE 電子情報通信学会
受賞：電子情報通信学会論文賞 (2008 年). 電気通信普及財団テレコムシ
ステム技術賞 ( 2011 年) 他
著書：ディジタル信号処理, コロナ社 (2014 年) 他
研究専門分野：信号処理 コンピュータビジョン 情報セキュリティ

ステムを実行する必要性が生じるが、プライバシー保護と不正利用回避の観点からクラウド環境は、一般に信頼できる環境ではない[2]。このことがプライバシー保護を考慮した深層学習複数をより困難にし、DNN の活用に大きな制約を与えている。

あらまし

これらの背景から、本研究では、学習可能な画像暗視覚情報を保護した形式で画像データを、深層ニュ号化という新しい暗号化を提案して、それを直接 DNNーラルネットワーク（DNN）モデルに活用する新しいモデルに適用することによって、上述の課題の解決を方法について研究を行った。高性能な DNN モデルの目指す[3]。図１は、プライバシー保護を考慮した DNN

有効活用には、膨大なデータを必要とし、かつ画像デのための二つのシナリオである。シナリオ１では、モータの多くには生体画像に代表されるように個人情報デルの学習及び各テスト画像に対するモデルによる推が含まれる。そのため、DNN モデルのための十分な量定を、共に信頼できない環境（クラウド）で行う。一の良質なデータを確保することは容易ではない。本研

方、シナリオ２では、モデルの学習は信頼できる環境

究では、学習可能な画像暗号化という新しい暗号化をで行い、モデルによる推定のみをクラウド環境で行う。

提案して、それを直接 DNN モデルに適用することに先行研究の多くは、シナリオ１を想定して進められてよって、上述の課題の解決を試みた。また暗号化画像きた。本研究では、シナリオ２の想定を考察した場合の利用がモデル性能に及ぼす影響と、使用する暗号化には、より高性能な DNN モデルが構築可能であることの安全性の観点から提案法の有効性を評価した。

を示す。

１．研究の目的
本研究の目的は、プライバシー保護を考慮した新しい深層学習法を構築するために、深層学習に直接適用可能な画像暗号化法、すなわち学習可能な画像暗号化法を提案して、関連する研究分野に貢献することである。本研究では、特に DNN モデルの性能劣化を生じさせない画像暗号化法の開発と最先端の DNN モデルの特徴を活用したプライバシー保護法の考察に焦点をあて、目的の達成を目指す。

1

TELECOM FRONTIER No.121 2023 AUTUMN

暗号化画像を用いたプライバシー保護を考慮した深層学習
Privacy-Preserving Deep Learning with Encrypted Images

このシナリオを実現するために、以下の要求条件をできる限り満たす必要がある。
（a）正しい鍵を持たない攻撃者は、暗号化画像から視覚情報の復元が困難であること。
（b）モデル学習に使用した画像の視覚情報をモデルから復元することが困難であること。
（c)暗号化画像を使用した場合も、モデル本来の性能の低下がないこと。
（d)鍵の更新が容易で、かつ複数のクライアントに対して異なる暗号化鍵の提供が可能であること。
提案法では、上述の要求条件を考慮している。特に、条件（b）及び(c)を満たす手法の提案は初めてであり、(a) シナリオ１

当該分野に対して大きな貢献がある。さらに、暗号文攻撃（Ciphertext-only attack: COA）の仮定の下で、暗号化画像の安全性評価を行った。
３．２

テスト画像の暗号化

図２に示すように、プライバシー保護のために、テスト画像と学習済みのモデルの両方を連動させた形式で暗号化する[1]。最初に、テスト画像の暗号化法の概要を以下に示す。
（a）画像 x を N 個の隣接するブロック（ブロックサイズ B×B）に分割する。
（b）整数 1 から N を要素とする長さ N の乱数列を生成して、その乱数列に従いブロックの位置をランダムに入れ換える。
(b)シナリオ 2（c)サイズ L×L のランダム直交行列を生成して、それを用いて各ブロック内の L=B×B 個の画素値を変換

図１ プライバシー保護の二つのシナリオする。
３．研究の方法と結果

ここで、暗号化の鍵は、(b)及び(c)で使用されるラ画像分類問題を例にして、提案法を説明する。提案ンダムな整数列と行列である。それらの生成には幾つ法は、高性能な画像分類モデルの一つである Visionかの方法がある。図２に暗号化された画像例を示す。

Transformer (ViT) [4] への適用を前提に説明される。

上述のブロック分割に基づく暗号化法によって、画像３．１の視覚情報が保護されているのが確認される。

プライバシー保護のための要求条件

図１(b)は、プライバシー保護を考慮した画像分類問
題のシナリオの一つである。このシナリオでは、クラウドプロバイダーを不正利用やデータを流出させる可能性があると位置づけ、テスト画像の視覚情報を保護した形式で、画像分類を実行する。さらに、モデルの学習に使用した画像も、モデルから視覚情報の復元を困難とすることを目指す。
2

TELECOM FRONTIER No.121 2023 AUTUMN

暗号化画像を用いたプライバシー保護を考慮した深層学習
Privacy-Preserving Deep Learning with Encrypted Images

図２
３．３

画像の暗号化例

図３

モデルの暗号化

３．４

提案法の概要実験結果

図２に示すように、モデルの暗号化は、モデルを学

CIFAR-10 データセットを用いて 10 クラスの画像分習した後、テスト画像の暗号化で使用される鍵と連動類実験を実行し、提案法の有効性を確認した。CIFAR-するように実行される[1]。

10 は 60,000 枚の画像からなり、モデル学習用に 50,000*1

ViT は、パッチ という単位でデータをブロック単位枚、テスト用に 10,000 枚が使用される。また各クラスで処理し、二つの埋め込み構造（patch embedding,は 6,000 枚である。また、CIFAR-10 の各画像は、サイposition embedding）を持つという特徴を有する。こズ 3×32×32 であるが、ViT に入力するために 3×224のパッチ処理と埋め込み構造は、パッチサイズと暗号×224 にリサイズして使用された。ViT のパッチサイ化のためのブロックサイズを一致させたとき、先のブズと暗号化のためのブロックサイズは、共に 16×16 でロック分割に基づく画像暗号化と高い親和性を持ち、ある。

本研究において重要な役割を果たす。

表１に実験結果を示す。ここで、ベースラインとは、ViT モデルは、図３に示すように、三つの処置部か暗号化せずに画像分類を実行した結果である。表から、らなる。その処理部の一つの埋め込みにランダム線形提案法は、ベースラインと同じ分類精度を達成できて変換を施すことによって、モデルを暗号化する。モデいることがわかる。

ルの暗号化の目的は二つである。第一は、モデルを暗参考までに暗号化画像を用いた先行研究の結果と比号化されたテスト画像に対応させるためであり、他は較している。先行研究の方法では、暗号化の影響が回モデルから学習使用した画像情報を復元されるのを防避できず、ベースラインと比べ精度の低下が生じる。

御するためである。詳細は割愛するが、テスト画像の一方、提案法は暗号化の影響を回避可能であり、かつ暗号化の手順(b)及び(c)を用いて、パッチと位置情報最先端高性能モデルの ViT に適用可能であるため、よをそれぞれ変換する。したがって、モデル暗号化の鍵り高い分類精度が達成できている（従来法は ResNet-は、テスト画像の暗号化のための鍵と共通である。

20 を使用）。

モデルの学習とモデルの暗号化は独立の処理である。
したがって、モデルの再学習の処理を鍵の更新のために必要としない。さらに、一つのモデルから複数のクライアントに異なる鍵で暗号化されたモデルを提供することも容易である。

3TELECOM FRONTIER No.121 2023 AUTUMN

暗号化画像を用いたプライバシー保護を考慮した深層学習
Privacy-Preserving Deep Learning with Encrypted Images

表１

画像分類精度の評価結果

用語解説*1 機械学習では、最適なパラメータを発見するためにも、関数の最小値を探す「勾配降下法」と呼ばれる手法が広く使われる。勾配降下法では、一般に学習するデータセットをパッチと呼ばれるいくつかのグループに分ける。
参考文献[1] H. Kiya, A. P. M. Maung, Y. Kinoshita, S.
Imaizumi, and S. Shiota, “An overview of４．将来展望

compressible

andtransformation

withlearnable
secretkeyimageandits

DNN のプライバシー保護を目的とする本研究は、applications,” APSIPA Transactions on Signal

図 1(b)のシナリオのもとで進められた。同図(a)及びand Information Processing, vol. 11, no. 1, e11,(b)以外にも、DNN のさらなる発展のために解決される

2022.
[2] T. Chuman, W. Sirichotedumrong, and H. Kiya,

べき重要なシナリオが存在する。その一つが連合学習“Encryption-then-compressionである [10,11]。

grayscale-based

高性能な DNN モデルの学習には、充分な学習データ

imagesystems

encryption

usingforjpegが必須となる。一方、データの多くには個人情報や公images,” IEEE Transactions on Information

表できない情報を含むため、データの確保は容易ではForensics and Security, vol. 14, no. 6, pp. 1515–

ない。特に、複数の異なる機関からデータを集めたい

1525, 2019.

場合には、問題は複雑であり、連合学習がその解決策

・・・・・・・・・・・・・・・・の一つして期待されている。しかし、幾つかの未解決[3] H. Kiya, R. Iijima, A. P. M. Maung, and Y.

な急務な課題がある。今回の暗号化画像に関する研究

Kinoshita, “Image and model transformation

で得られた知見をさらに発展することによって、連合with secret key for vision transformer,” IEICE

学習の課題解決に応用できると考えている。

transactions

on

InformationandSystems,

vol.106, no.1, pp.2-11, 2023.
[4] A. Dosovitskiy et al., “An image is worth 16x16
words:Transformers for image recognition at

おわりに
本研究では、画像分類問題を例にして、画像の視覚

scale,” in 9th International Conference on

情報を保護した形式で実行可能な DNN の開発を目指し

Learning Representations, ICLR 2021, Virtual

た。ViT の埋め込み構造が、画像のブロック分割に基Event, Austria, May 3-7. Open Review.net, 2021.

づく暗号化と高い親和性を持つことを発見して、それ[5] H. Ito, Y. Kinoshita, M. Aprilpyone, and H. Kiya,

課題解決に応用した。暗号化鍵を持たない攻撃者は、“Image to perturbation: An image transformation

暗号化画像やモデルから視覚情報の復元が困難である。

network for generating visually protected images

さらに、暗号化画像を使用した場合も、モデル本来のfor privacy-preserving deep neural networks,”

性能の低下がなく、かつ鍵の更新が容易であるという

IEEE Access, vol. 9, pp. 64629–64638, 2021.
[6] H. Kiya, R. Iijima, A. P. M. Maung, and Y.

特徴を開発した手法は持つ。

Kinoshita, “Image and model transformation
with secret key for vision transformer,” IEICE
4TELECOM FRONTIER No.121 2023 AUTUMN

暗号化画像を用いたプライバシー保護を考慮した深層学習
Privacy-Preserving Deep Learning with Encrypted Images

transactions on information and systems, vol.106,
no.1, pp.2-11, 2023.
[7] M. Tanaka, “Learnable image encryption,” in2018

IEEEInternational

Conference

onConsumer Electronics-Taiwan (ICCE-TW), pp.
1–2, 2018.
[8] W. Sirichotedumrong, T. Maekawa, Y. Kinoshita,and H. Kiya, “Privacy-preserving deep neuralnetworks with pixel-based image encryptionconsidering data augmentation in the encrypted
domain,” in 2019 IEEE International Conference
on Image Processing (ICIP), pp. 674–678, 2019.
[9] W. Sirichotedumrong and H. Kiya, “A ganbased
image

transformation

schemeforprivacypreserving deep neural networks,” in 2020 28th
EuropeanSignal

Processing

Conference(EUSIPCO), pp. 745–749, 2021.
[10] J. Konečný, H. B. McMahan, F. X. Yu, P.
Richtárik,A.

T.

Suresh,andD.

Bacon,“Federated learning: Strategies for improving
communication efficiency,” arXiv, 2016. [Online].
Available: https://arxiv.org/abs/1610.05492[11] T. Nagamori, and H. Kiya,” Combined Use ofFederated Learning and Image Encryption forPrivacy-Preserving Image Classification withVision

Transformer,”arXiv2023.

[Online].

Available: https://arxiv.org/abs/2301.09255
この研究は、令和元年度ＳＣＡＴ研究助成の対象として採用され、令和２～４年度に実施されたものです。

5

TELECOM FRONTIER No.121 2023 AUTUMN