Nesnelerin interneti için adilliğe duyarlı derin pekiştirmeli öğrenme tabanlı GF-NOMA tasarımı
Design of fairness aware deep reinforcement learning-based GF-NOMA for internet of things
Yazar: ABDULLAH BALCI
Danışman: PROF. DR. RADOSVETA İVANOVA SOKULLU
Ege Üniversitesi / Fen Bilimleri Enstitüsü / Elektrik-Elektronik Mühendisliği Ana Bilim Dalı / Elektronik Bilim Dalı
Derece: Doktora, 2024
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Makine öğrenmesi = Machine learning

Özet:
Yeni nesil ağların, Nesnelerin İnterneti gereksinimlerini karşılamak adına hücresel ağların verimliliğini artırması beklenmektedir. Hibesiz dikgen olmayan çoklu erişim (GF-NOMA) yöntemi, makine tipi iletişim cihazlarının farklı güç seviyelerine sahip sinyallerini aynı zaman ve frekans kaynakları üzerinden iletmelerine olanak tanıyan bir çözüm olarak görülmektedir. Ancak rastgelelik ve MTC cihazlarının güç seviyesi seçiminin yönetimi, GF-NOMA yönteminin dezavantajları arasındadır.
6G ağında, GF-NOMA'nın rastgele erişim ve tam koordineli erişim gibi iki uç yöntem arasında yer alması için, yapay zeka yöntemlerinin erişim yöntemine entegre edilmesi gerekmektedir. Derin-Q-Ağı (DQN), MTC cihazlarının verimliliğini artırmak için akıllı kararlar almasını sağlayan yeni bir araştırma konusudur. 
Bu tezde, güç alanı GF-NOMA için yeni bir öğrenme modeli önerilmiştir. Öğrenme modelinin amacı, IoT ağında güç tüketiminde MTC cihazları arasında adaleti sağlayarak verimliliği en üst düzeye çıkarmaktır. Öğrenme algoritması ile MTC cihazları, zaman içinde farklı kaynakları kullanabilmektedir. Sonuçlar, öğrenme tabanlı yöntemin, rastgele kaynak seçimi yapan geleneksel yönteme göre verimlilik açısından daha iyi performansa sahip olduğunu ve adalete duyarlı öğrenme modeli ile güç kaynaklarının kullanımında adaletin artırıldığını göstermektedir.

Abstract:
Next generation networks have special areas related with the Internet of Things (IoT) to improve the performance of cellular networks in terms of throughput. Grant-free non-orthogonal multiple access (GF-NOMA) seems a feasible solution, letting machine type communication (MTC) devices transmits their packets by using the superimposing signals with different power levels over the same time and frequency resources. However, the main drawback of GF-NOMA is the high probability of collisions while selection of power level of MTC devices.
In 6G the intelligence should be met to multiple access to solve the GF-NOMA issues that should be between the two extremes of randomness and fully coordinated medium access. Deep-Q-Network (DQN) has become a very hot research topic in recent years that let the MTC devices to make a smart decision in an intelligent way to improve the throughput. 
A novel learning framework for power domain GF-NOMA is proposed in this thesis. The goal of learning framework is to maximize the throughput considering fairness in power consumption which provides long-life to the IoT network. The learning algorithm push the MTC devices to exchange the resources between each other over time. The results show that the proposed method outperform the NOMA scheme with random selection in terms of throughput and increase the fairness index when the DQN with selfish behavior is employed.