Federe makine öğrenmesi: Kavramlar, zorluklar, yöntemler
Federated machine learning: Concepts, challenges, and methods
Yazar: MAKBULE MELİSA KILIÇ
Danışman: PROF. DR. EMRE AKTAŞ
Hacettepe Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering

Özet:
MC MAHAN ve ekibinin öncülük ettiği Federe öğrenmesi, ilk defa 2016 yılında Google'da ele alınmış olup, o tarihten beri bu konu ile ilgili çalışmalar artarak devam etmektedir. Ele alınan istemci-sunucu modelinde, istemciler veri içeren cihazlardır, bu istemciler sisteme eklenirler ve katılımcı olarak da adlandırılırlar. Hedef istemcilerdeki veriyi kullanarak makine öğrenmesinin eğitimini yapmaktır. Daha sonrasında eğitilmiş model yine istemcilerde kullanılacaktır. Bunun için bir yöntem, katılımcıların verilerini merkezi sunucuya aktarmaları, sunucuda bütün verinin kullanılarak eğitimin gerçekleştirilmesi, daha sonra eğitilmiş modelin katılımcılarla geri paylaşılmasıdır. Bu yöntem geleneksel merkezi makine öğrenmesidir. Federe öğrenmede ise katılımcılar ham veriyi merkezi sunucuya göndermezler. Bu yöntemde, sunucu ve katılımcılar birleşik olarak çalışarak verilerin cihazlardan çıkmamasına olanak tanınır. Gelişen teknoloji ile, verinin merkezi sunucu yerine kenar katılımcılarda olduğu uygulamalar artmakta, aynı zamanda kenar katılımcıdaki verinin büyüklüğü artmaktadır. Kenardaki büyük verinin merkeze aktarılmasının maliyeti ve ayrıca buradaki kişisel verilerin paylaşılmamasının hassasiyeti, federe öğrenmenin önemini gelecekteki sistemler için artırmaktadır ve bu araştırma konusunu çok incelenen bir alan haline getirmektedir. Federe öğrenmede istemciler, sunucudan gelen modelleri, kendi verilerini kendi cihazlarında kullanarak eğitirler. Oluşturulan yeni modeller sunucuda birleştirilerek tekrar cihazlara dağıtılır. 
Bu tez çalışmasında, federe makine öğrenmesinin temelleri incelenmiş ve anlatılmıştır. Federe öğrenmenin temel zorlukları olan sistem heterojenliği, istatistiksel heterojenlik ve veri düzensizliğinin ele alınmış ve etkileri incelenmiştir. Bu zorlukların üstesinden gelmek üzere literatürde yeni birleştirme yöntemleri geliştirilmesi güncel bir konudur. Bu tezde bu yöntemlerden FEDSGD, FEDAVGM ve FEDAVG incelenmiştir. 
Federe öğrenmeyi ve parametre değişikliklerinin sistem üzerindeki etkilerini incelemek için deneyler düzenlenmiştir. Yapılan deneylerde ayrıca federe öğrenme zorluklarından olan sistem heterojenliği, istatistiksel heterojenlik ve veri düzensizliği kavramlarının doğruluk, kayıp ve hesaplama süresi performansı üzerindeki etkisi FEDAVGM yöntemi için incelenmiştir. Model parametrelerinin her yinelemede değişim hızını kontrol etmek için farklı yöntemler vardır. Bunun için iki farklı yöntem olan FEDAVGM ve FEDAVG yöntemleri deneylerde karşılaştırılmıştır.
Sonuç olarak öğrenme parametre seçiminin sistem performansı üzerinde belirgin etkilerinin olabileceği görülmüştür. Verilen parametre değerlerinin duruma en uygun şekilde seçilmediği durumlarda aşırı öğrenme yatkınlığı oluşabilmektedir. Sistem heterojenliğin öğrenme süresini nasıl uzattığı, veri düzensizliğinin cihazlarda farklılığa sebep olup hesaplama süresini uzatabildiği ve bunun çeşitli sorunlara yol açabileceği, istatistiksel heterojenliğin öğrenmeyi azaltıp dalgalanmaları arttırdığı deneylerde gözlemlenmiştir. Belirli durumlarda FEDAVGM, momentum ile sistemin geçmiş gradyan hesaplamalarına dayanarak sonuç verdiği için daha başarılı olduğu görülmüştür.

Abstract:
The Federated Learning (FL) research, led by MC Mahan and his team, was first introduced at Google in 2016. Since then, this field has been increasing interest and ongoing research. In the client-server model used, the clients are devices that hold data and are referred to as participants. The goal is to train machine learning models using the data on the participating clients. The trained model is then used again on the clients. One approach is to have the participants send their data to a central server, where the training is performed using the entire data, and then share the trained model with the participants. This approach follows the traditional centralized machine learning paradigm. In federated learning, however, the participants do not send their raw data to the central server. Instead, the server and participants collaborate to ensure the data remains on the devices. With advancing technology, applications where data resides on edge participants rather than a central server, are increasing, and the size of data on edge participants is also growing. The cost of transferring large amounts of data from the edge to the center and the privacy concerns associated with sharing personal data highlight the importance of federated learning for future systems and make it a widely studied research area. In federated learning, the clients train the received models from the server using their data on their own devices. The newly generated models are then aggregated on the server and redistributed to the devices.
This thesis examines and explains the fundamentals of federated machine learning. The critical challenges of federated learning, such as system heterogeneity, statistical heterogeneity, and data sparsity, are addressed, and their impacts are studied. Developing new aggregation methods to overcome these challenges is a current topic in the literature. In this thesis, three of these methods, FEDSGD, FEDAVGM, and FEDAVG, are investigated.
Experiments are conducted to examine federated learning and the effects of parameter changes on the system. In these experiments, the impact of system heterogeneity, statistical heterogeneity, and data sparsity on accuracy, loss, and computation time performance is explicitly analyzed for the FEDAVGM method. Different methods exist to control the rate of parameter changes in each iteration. For this purpose, two different methods, FEDAVGM and FEDAVG, are compared in the experiments.
The results show that selecting learning parameters can significantly affect the system's performance. Overfitting tendencies can arise when the parameter values are not chosen appropriately for the situation. It is observed through the experiments that system heterogeneity prolongs the learning time, data sparsity introduces variations across devices and increases computation time, and statistical heterogeneity reduces learning and increases oscillations. In specific cases, FEDAVGM has shown better performance, relying on past gradient calculations with momentum.