IETF 6TiSCH ağlar için q-öğrenme algoritmasından esinlenilmiş amaç fonksiyonu optimizasyonu
Q-learning algorithm inspired objective function optimization for IETF 6TiSCH networks
Yazar: TAYFUN BEKAR
Danışman: DOÇ. DR. SEDAT GÖRMÜŞ
Karadeniz Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı
Derece: Yüksek Lisans, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Bilgisayar ağ protokolleri = Computer network protocols ; Bilgisayar ağları = Computer networks ; IPv4 = IPv4 ; IPv6 = IPv6 ; Kablosuz iletişim = Wireless communication ; Kablosuz sistemler = Wireless systems ; Protokoller = Protocols ; Yönlendirme protokolleri = Routing protocols ; İnternet = Internet ; İnternet protokolleri = Internet protocols

Özet:
Nesnelerin İnterneti (IoT) ve Kablosuz Duyarga Ağları (KDA) gibi teknolojiler günümüzde popüler bilimsel araştırma alanları olarak ön sıralarda bulunmakta ve gelecek vadeden teknolojiler arasında yer alacakları düşünülmektedir. KDA'lar çevresel izleme, ev otomasyonları, tarımsal üretim süreçlerinin kontrolü, sağlık takip sistemleri, askeri gözlem, endüstriyel otomasyon sistemleri, akıllı şebekeler ve akıllı şehirler gibi çok çeşitli uygulama alanlarında etkin olarak kullanılmaktadır. Ancak KDA uygulamalarında karşılaşılan düşük gecikme süresi, düşük enerji tüketimi, gerçek zamanlı çalışma, yüksek performans, minimum paket kaybı, güvenilir yönlendirme gibi problemlere verimli çözümler geliştirilmesi gerekmektedir.

KDA'ların internete bağlanabilirliğini sağlamak amacıyla IETF (İnternet Mühendisliği Görev Gücü) tarafından geliştirilen protokol yığınları kullanılmaktadır. IETF 6TiSCH protokol yığını endüstriyel uygulamalarda kullanılabilecek verimli, güvenli ve ölçeklenebilir nitelikleriyle düşük güçlü kablosuz duyarga ağlarını desteklemek amacıyla IPv6 internet protokolünün bir uzantısı olarak tanımlanmıştır. 6TiSCH protokolü zaman paylaşımlı/kanal atlamalı ve dinamik kaynak gereksinimi olan bir mekanizmaya sahiptir. Ancak kablosuz düğümlerin sık sık yönlendirme rotası değiştirmesi kaynakların tekrar düzenlenmesi gerektirmektedir. Bu durum ek hesaplama yükünden dolayı fazla enerji tüketimine ve yüksek haberleşme maliyetine sebep olmaktadır. 6TiSCH ağların yönlendirme katmanında Düşük Güçlü ve Kayıplı Ağlar için IPv6 Yönlendirme Protokolü (RPL) kulllanılır. RPL, paket yönlendirme kararlarını amaç fonksiyonlarına göre belirler. Bu çalışmada Q-Öğrenme algoritmasından esinlenilerek geliştirilen RPL amaç fonksiyonu optimizasyonuyla ağı oluşturan düğümlerin sık rota değiştirmesi sorununa yeni bir çözüm sunulmuştur. Ayrıca geliştirilen yöntemle, yönlendirme süreçlerinde karşılaşılan uçtan uca paket iletim süresinin yüksekliği, tampon bellekteki paket kayıplarının fazlalığı gibi gerçek zamanlı uygulama sorunları da iyileştirilmektedir. Önerilen algoritma ile güç, bellek ve hesaplama kapasitesi sınırlı KDA'larda önceki durumlar ve kritik öneme sahip metrikler kullanılarak daha kararlı bir ağ yapısı elde edilmekte, ağın başarımı ve güvenilirliği artırılmaktadır.

Abstract:
Technologies such as the Internet of Things (IoT) and Wireless Sensor Networks (WSN) are currently at the forefront of popular scientific research areas and these are considered to be among the promising technologies. WSNs are effectively used in a wide range of application areas such as environmental monitoring, home automation, control of agricultural production processes, health monitoring systems, military surveillance, industrial automation systems, smart grids and smart cities. However, it is necessary to develop efficient solutions to the problems encountered in WSN applications such as low latency, low energy consumption, real-time operation, high performance, reliability, minimum packet loss and reliable routing.

Protocol stacks developed by the IETF (Internet Engineering Task Force) are used to ensure the connectivity of WSNs to the Internet. The IETF 6TiSCH protocol stack, with efficient, secure and scalable features, is defined as an extension of the IPv6 Internet protocol to support low power lossy networks for industrial applications. The 6TiSCH protocol has a time-slotted/channel-hopping mechanism with dynamic resource requirements. However, these resources need to be reorganized in case of frequent path changes in the network. This leads to extra energy consumption due to additional computational overhead and higher communication cost. The routing layer of 6TiSCH networks uses the IPv6 Routing Protocol for Low Power and Lossy Networks (RPL). RPL protocol makes routing decisions based on objective functions. In this paper, a new solution to the problem of frequent path changes of nodes is presented by optimizing the RPL objective function inspired by the Q-Learning algorithm. With the developed method, real-time application problems such as high end-to-end packet delivery time and high packet losses in the buffer, which are  encountered in routing processes, are also improved. The proposed algorithm, a more stable network structure is provided by utilising the previous states and critical metrics in the WSNs with limited power, limited memory and limited computational capacity and reliability of the network are increased.