Rasgele erken algılama bilgisayar ağları tıkanıklık kontrolü algoritmasının başarımının sezgisel yöntemlerle iyileştirilmesi
Improving the performance of random early detection algorithm for computer network congestion control using heuristic methods
Yazar: MAJID HAMID ALI ALI
Danışman: DOÇ. DR. SERKAN ÖZTÜRK
Erciyes Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Doktora, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Internet uygulamalarının sayısı ve çesitliliği arttıkça, veri iletim darboğazlarında ağtıkanıklıgı önemli bir sorun haline gelmiştir. Transfer Kontrol Protokolü (TCP), Aktif Kuyruk Yönetimi (Active Queue Management AQM) tıkanıklık kontrol stratejisini kullanarak bu sorunu çözebilmektedir. AQM, genellikle ag˘ tıkanıklıg˘ını azaltmak veya uçtan uca gecikmeyi iyilestirmek amacıyla, yönlendiriciler ve anahtarlar için arabellekler dolmadan önce paketleri bırakma is¸lemidir. Bu tez çalısmasında, Rasgele Erken Algılama (Random Early Detection, RED) AQM algoritmasının bas¸arımını artırmak için Genetik Algoritma (Genetic Algorithm, GA) ve derin pekistirmeli öğrenme (deep reinforcement learning, DRL) algoritmaları kullanılarak üç yeni yöntem önerilmistir. Önerilen GA temelli yöntemde, verim, gecikme ve gecikme deg˘is¸imi açısından ag basarımını iyilestirmek için RED tıkanıklık kontrol parametreleri GA kullanılarak dinamik olarak optimize edilmistir. Önerilen ikinci yöntemde, RED parametrelerini kendi kendine ayarlayarak RED algoritmasını deg˘is¸en ag˘ kos¸ullarına uyarlanabilir hale getirmek için DRL temelli bir model gelis¸tirilmis¸tir. Gelistirilen bu modelde Deep Q-Learning (DQN) ve Deep Deterministic Policy Gradient (DDPG) DRL algoritmaları ayrı ayrı kullanılarak paket kayıp oranı, gecikme ve verim açısından ağ başarımı değerlendirmiştir. Önerilen üçüncü yöntemde, farklı ag˘ koşullarında yüksek verim, düşük gecikme ve daha az paket kaybı elde etmek için DQN, Proximal Policy Optimisation (PPO), DDPG ve Twin Delayed DDPG (TD3) DRL algoritmaları birleştirilerek ağırlıklı topluluk yaklaşımı ile bir model geliştirilmiştir. Farklı ağ koşullarında önerilen yöntemlerin gecikme değişimi, gecikme, paket kayıp oranı ve verim açısından başarımları deneysel çalışmalarla gösterilmistir.
Anahtar Kelimeler: Tıkanıklık kontrolü, aktif kuyruk yönetimi, rastgele erken algılama, genetik algoritma, derin pekis¸tirmeli ögrenme.

Abstract:
With an increasing number and variety of Internet applications, network congestion in data transmission bottlenecks has become a major problem. Transmission Control Protocol (TCP) can solve this problem by using Active Queue Management (AQM) congestion control strategy. AQM is the process of dropping packets before the buffers for routers and switches are full, often to reduce network congestion or improve end-to-end latency. In this thesis, in order to improve the performance of Random Early Detection (RED) AQM algorithm, three novel methods have been proposed using Genetic Algorithm (GA) and deep reinforcement learning (DRL) algorithms. In the proposed GA-based method, RED congestion control parameters have been dynamically optimized using GA to improve network performance in terms of throughput, delay, and jitter. In the second proposed method, a DRL-based model has been developed to make the RED algorithm adaptable to changing network conditions by self-tuning the RED control parameters. In this model, Deep Q-Learning (DQN) and Deep Deterministic Policy Gradient (DDPG) DRL algorithms have been used separately to evaluate network performance in terms of packet loss rate, delay, and throughput. In the third proposed method, in order to achieve high throughput, low latency and less packet loss in different network conditions, a novel weighted ensemble DRL model has been developed by combining DQN, Proximal Policy Optimization (PPO), DDPG, and Twin Delayed DDPG (TD3) DRL algorithms. The performance of the proposed methods in terms of jitter, delay, packet loss rate, and efficiency has been demonstrated by experimental studies.
Keywords:	Congestion control, active queue management, random early detection, genetic algorithm, deep reinforcement learning