Uzaktan algılama sistemleri için performans bilinçli büyük veri yönetimi
Performance-aware big data management for remote sensing systems
Yazar: MUSTAFA KEMAL PEKTÜRK
Danışman: PROF. DR. HADİ GÖKÇEN ; DR. MUHAMMET ÜNAL
Gazi Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Doktora, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Günümüzde yaşanan teknolojik gelişmeler sonucunda birçok organizasyon tarafından günlük olarak üretilen veri miktarı aşırı olarak artmıştır. Yeni teknolojiler sayesinde hem uzamsal hem de spektral çözünürlüklerinin artmasıyla boyutları üstel olarak artan ve büyük veriye dönüşen uzaktan algılayıcı verileri depolama, taşıma ve işleme konusunda büyük zorluklara neden olmaktadır. İlgili büyük verilerin gerçek/yakın gerçek zamanlı analizinin gerektiği zaman kritik uygulamalarda, yetersiz kalan geleneksel yöntemler yerine dağıtık yaklaşımların uygulanması bir zorunluluk haline gelmiştir. Bu tez kapsamında, uzaktan algılama sistemlerinde gerçek/yakın gerçek zamanlı büyük veri analizini mümkün kılabilmek amacıyla ağ topolojisinin avantajlarından yararlanan ve kaynak kullanımını optimize eden, coğrafi dağıtılmış bulut üzerinde çalışacak yeni bir büyük veri yönetimi sistemi önerilmiştir. Önerilen iki fazlı PAA metodu, algılayıcılar ve veri merkezleri arasındaki gecikme, bant genişliği ve sıçrama sayısı metriklerini; diğer yandan veri merkezlerindeki işlemci, depolama, bellek ve IOPS miktarlarını gözeterek en uygun atamayı yapar. Önerilen yaklaşımın başarısını ölçebilmek için bir küme bilgisayarı üzerinde sanal makinelerden oluşan sanal bir ağ kurulmuştur. Bunun yanında önerilen PAA metodunu kıyaslayabilmek adına RA, HA ve HDFS metotları geliştirilmiştir. Deneysel sonuçlara göre PAA metodu, daha hızlı şekilde veri depolamakla birlikte veri merkezlerinde oluşabilecek aşırı kullanımı engelleyerek kaynak kullanımını iyileştirmiştir.

Abstract:
As a result of today's technological advancements, many organizations produce an excessive amount of data on a daily basis. Remote sensing data whose spatial and spectral resolutions increase with technology turns into big data causes great difficulties in storing, transferring, and processing. Therefore, when real-time/near real-time analysis of big data is required, it becomes a necessity to apply distributed approaches instead of traditional ones. In this thesis, a novel big data management system is proposed to enable near real-time processing of big data emerging in remote sensing applications on a geographically distributed cloud. In this new system, the advantages of network topology are utilized, and workloads are balanced by taking into account the usages of processor, storage, and memory resources of data centers. Thus, the data to be taken from the sensors and stored in the data center will be sent to the data center with the most appropriate resource and network speed, and this will ensure faster transfer, storage, and processing of the relevant data. The proposed two-phase PAA method makes the most appropriate assignment by considering the metrics of latency, bandwidth, and hops between sensors and data centers; on the other hand, the amount of processor, storage, memory, and IOPS in the data centers. In order to measure the success of the proposed approach, a virtual network consisting of virtual machines was established on a cluster computer. In addition, RA, HA, and HDFS methods have been developed to compare the proposed PAA method. According to the experimental results, the PAA method not only stores data faster but also improves resource usage by preventing excessive use that may occur in data centers.