Beyin MR görüntülerinde gizlilik tabanlı yaklaşım : Federe öğrenme
Privacy-based approach to brain MRI: Federated learning
Yazar: ŞEVKET AY
Danışman: DR. ÖĞR. ÜYESİ EKİN EKİNCİ ; DR. ÖĞR. ÜYESİ ZEYNEP GARİP
Sakarya Uygulamalı Bilimler Üniversitesi / Lisansüstü Eğitim Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Güçlü derin öğrenme modelleri, çok fazla veriye ve veri çeşitliliğine ihtiyaç 
duymaktadır. Tıp alanı modellerin kullanımı açısından en popüler olan alanlardan bir
tanesidir. Tıp alanında çok fazla veri vardır ancak gizlilik nedeniyle tıbbi verilere 
erişim oldukça sınırlıdır. Bu durum sağlık sektöründeki AI çözümlerinin gelişimini 
yavaşlatmakta ve olumsuz anlamda etkilemektedir. Gizlilik sorununu ele alan bir 
yaklaşım federe öğrenmedir. Federe öğrenme, kurumların verilerini dışarıya 
çıkarmadan diğer kurumlar ile işbirlikçi model gelişimini sağlayarak veri gizliliğini 
korumaktadır böylece derin öğrenme modellerinin geliştirilmesine katkıda 
bulunabilmektedir. Bu çalışmada, Federe öğrenme ile tıp alanındaki mahremiyet 
sorununa odaklanılmıştır. Beyin tümörü görüntülerini sınıflandırmak amacıyla 
görüntü sınıflandırma problemlerinde en çok tercih edilen derin öğrenme ağı olan 
Evrişimli Sinir Ağı'na (CNN) dayalı bir model federe öğrenme ile entegre edilmiştir. 
Yerel CNN modelleri, simule edilen üç farklı kuruluşun yerel cihazlarının Manyetik 
Rezonans Görüntüleri (MRI) kullanılarak başlatılmıştır. Sunucuda bulunan global 
CNN modeli yerel CNN modellerinin ağırlıkları ile beslenmektedir. Yerel model
ağırlıkları sunucuda optimize edilen yerel model ağırlığı ile güncellenmiştir. Federe
Ortalama (FedAvg), FedAvg ile kuantum Federe ortalama (QFedAvg), Hata 
Toleranslı FedAvg ve diferansiyel gizlilik ile birlikte FedAvg olmak üzere dört farklı 
Federe öğrenme stratejisi kullanılmıştır. FedAvg olarak adlandırılan ilk stratejide üç 
farklı istemciden gelen model ağırlıkları sunucuda model ağırlıklarının ortalaması 
alınarak optimize edilmektedir. İkinci strateji olan QFedAvg yönteminde ise standart 
FedAvg yöntemine bir q parametresi eklenmektedir. Bu parametre ile istemciler arası 
olabilecek farklılıklar toplanan model ağırlıklarının optimize edilmesinde dikkate 
alınmaktadır. Üçüncü strateji ise Hata Toleranslı FedAvg stratejisidir. Hata toleranslı
yaklaşım eğitim sürecinde herhangi bir sebepten dolayı bir istemcide oluşabilecek 
hata veya kopmaların tolere edilmesini içermektedir. Son stratejide ise sunucuda 
standart FedAvg model ağırlıklarını optimize ederken kullanılmıştır fakat ilk 
yöntemden farklı olarak sunucuya model ağırlığı gönderilmeden önce bir istemcinin 
model ağırlıklarına diferansiyel gizlilik ile gürültü eklenmiştir. Dördüncü stratejinin
amacı her ne kadar sadece model ağırlıklarının iletilmesi olsa da olası herhangi bir 
saldırıda model ağırlıklarının elde edilmesini engellemektir. Her bir strateji 10 turda 
eğitilmiş ve en başarılı stratejinin FedAvg olduğu görülmüştür. FedAvg'e göre son
turda eğitilen modelin ilk turda eğitilen modele göre %41 daha başarılı olduğu
kanıtlanmıştır. Önerilen tüm stratejiler kullanılarak yerel verilerin istemcilerde 
kalması sağlanarak istemciler arası ortak bir model geliştirilmiştir. Gizliliğin 
korunmadığı ve verilerin bir sunucuda toplanarak eğitim yapıldığı klasik derin 
öğrenme modellerine kıyasla hem gizlilik korunmuş hem de istemcilerin daha az 
yerel veri ile yüksek model başarımı elde etmesi sağlanmıştır.

Abstract:
Powerful deep learning models need a lot of data and data diversity. The medical 
field is one of the most popular fields in terms of the use of models. There is a lot of 
data in the medical field, but access to medical data is very limited due to 
confidentiality. This slows down and negatively affects the development of AI 
solutions in the healthcare industry. One approach to addressing the privacy issue is 
federated learning. Federated learning protects data confidentiality by providing 
collaborative model development with other institutions without exposing the data of 
institutions, so it can contribute to the development of deep learning models. This 
study focuses on the problem of privacy in the medical field with Federated learning. 
In order to classify brain tumor images, a model based on Convolutional Neural 
Network (CNN), which is the most preferred deep learning network in image 
classification problems, is integrated with federated learning. Local CNN models 
were initiated using Magnetic Resonance Imaging (MRI) of local devices from three 
different organizations simulated. The global CNN model on the server is fed with 
the weights of the local CNN models. The local model weights have been updated 
with the local model weight optimized on the server. Four different Federated 
learning strategies were used: Federated Average (FedAvg), FedAvg with quantum 
Federated average (QFedAvg), FedAvg with Fault Tolerance, and FedAvg with 
differential privacy. In the first strategy, called FedAvg, the model weights from 
three different clients are optimized by averaging the model weights on the server. In 
the second strategy, the QFedAvg method, a q parameter is added to the standard 
FedAvg method. With this parameter, differences between clients are taken into 
account in optimizing the collected model weights. The third strategy is the Fault 
Tolerant FedAvg strategy. This approach includes tolerating errors or breaks that 
may occur in a client for any reason during the training process. In the last strategy, 
the standard FedAvg model weights are used on the server, but unlike the first 
method, differential privacy and noise are added to the model weights of a client 
before the model weight is sent to the server. The goal of the fourth strategy is to 
prevent model weights from being acquired in any possible attack, although only the 
model weights are transmitted. Each strategy was trained for 10 rounds and it was 
seen that the most successful strategy was FedAvg. According to FedAvg, the model 
trained in the last round proved to be 41% more successful than the model trained in 
the first round. A common client-to-client model has been developed by keeping the 
local data on the clients by using all the suggested strategies. Compared to classical 
deep learning models, where confidentiality is not protected and data is collected and 
trained on a server, both confidentiality is preserved and clients are provided with 
high model performance with less local data.